다음을 통해 공유

통합 개요

  • 아티클

수집, 오케스트레이션, 출력 및 데이터 쿼리를 위해 플랫폼과 원활하게 작동하는 많은 데이터 커넥터, 도구 및 통합이 있습니다. 이 문서는 사용 가능한 커넥터, 도구 및 통합에 대한 개략적인 개요입니다. 전체 설명서에 대한 링크와 함께 각 커넥터에 대한 자세한 정보가 제공됩니다.

특정 유형의 통합에 대한 개요 페이지의 경우 다음 단추 중 하나를 선택합니다.

데이터 통합

쿼리 통합

시각화 통합

비교 테이블

다음 표에서는 각 항목의 기능을 요약합니다. 커넥터 또는 도구 및 통합에 해당하는 탭을 선택합니다. 각 항목 이름은 자세한 설명에 연결됩니다.

다음 표에는 사용 가능한 커넥터 및 해당 기능이 요약이 되어 있습니다:

속성 수집 내보내기 오케스트레이션 쿼리
Apache Kafka ✔️
Apache Flink ✔️
Apache Log4J 2 ✔️
Apache Spark ✔️ ✔️ ✔️
Azure Synapse Analytics용 Apache Spark ✔️ ✔️ ✔️
Azure Cosmos DB ✔️
Azure Data Factory ✔️ ✔️
Azure Event Grid ✔️
Azure Event Hubs ✔️
Azure Functions ✔️ ✔️
Azure IoT Hubs ✔️
Azure Stream Analytics ✔️
Cribl Stream ✔️
Fluent Bit ✔️
JDBC ✔️
논리 앱 ✔️ ✔️ ✔️
Logstash ✔️
Matlab ✔️
NLog ✔️
ODBC ✔️
원격 분석 열기 ✔️
Power Apps ✔️ ✔️
Power Automate ✔️ ✔️ ✔️
Serilog ✔️
Splunk ✔️
Splunk 범용 전달자 ✔️
Telegraf ✔️

자세한 설명

다음은 커넥터 및 도구 및 통합에 대한 자세한 설명입니다. 커넥터 또는 도구 및 통합에 해당하는 탭을 선택합니다. 사용 가능한 모든 항목은 위의 비교 표에 요약되어 있습니다.

Apache Kafka

Apache Kafka는 시스템 또는 애플리케이션 간에 데이터를 신뢰성 있게 이동시키는 실시간 스트리밍 데이터 파이프라인을 빌드하기 위한 분산 스트리밍 플랫폼입니다. Kafka Connect는 Apache Kafka와 기타 데이터 시스템 간에 측정 가능하면서 안정적으로 데이터를 스트리밍하기 위한 도구입니다. Kafka 싱크는 Kafka의 커넥터 역할을 해주며 코드를 사용하실 필요는 없습니다. Confluent에서 골드 인증을 받은 제품으로 품질, 기능 완성도, 표준 준수 및 성능을 위한 포괄적인 검토 및 테스트를 거쳤습니다.

Apache Flink는 바인딩되지 않은 데이터 스트림과 바인딩된 데이터 스트림에 대한 상태 저장 계산을 위한 프레임워크이자 분산 처리 엔진입니다. 이 커넥터에는 Azure Data Explorer 및 Flink 클러스터를 가로질러 데이터 이동을 위한 데이터 싱크를 실현해 보세요. Azure Data Explorer 및 Apache Spark를 사용하시게 되면 데이터 기반 시나리오를 대상으로 하는 빠르고 확장 가능한 애플리케이션을 만들어 보실 수 있습니다. 예를 들어 ML(기계 학습), ETL(추출-변환-로드) 및 Log Analytics가 있습니다.

Apache Log4J 2

Log4J 는 Apache Foundation에서 유지 관리하며 Java 애플리케이션에 널리 사용되는 로깅 프레임워크입니다. Log4j를 사용하시게 되면 개발자가 로거 이름, 로거 수준 및 메시지 패턴을 기반으로 임의 세분성으로 출력되는 로그 문을 제어하실 수 있습니다. Apache Log4J 2 싱크를 사용하시게 되면 로그 데이터를 데이터베이스로 스트리밍하셔서 실시간으로 로그를 분석하시고 시각화하실 수 있습니다.

Apache Spark

Apache Spark는 대규모 데이터를 처리하기 위한 통합 분석 엔진입니다. Spark 커넥터는 모든 Spark 클러스터에서 실행하실 수 있는 오픈 소스 프로젝트입니다. Spark 클러스터로 데이터를 이동하시거나 이동하시기 위해서 데이터 소시 및 데이터 싱크를 만들어 보세요.위한 데이터 원본 및 데이터 싱크를 실행해 보세요. Apache Spark 커넥터를 사용하시게 되면 사용하여 데이터 기반 시나리오를 대상으로 빠르고 확장 가능한 애플리케이션을 구축하실 수 있습니다. 예를 들어 ML(기계 학습), ETL(추출-변환-로드) 및 Log Analytics가 있습니다. 커넥터를 사용하셔서 데이터가 읽기, 쓰기, writeStream과 같이 표준 Spark 소스 및 싱크 작업에 적합한 데이터 저장소가 되는 것입니다.

Azure Synapse Analytics용 Apache Spark

Apache Spark는 빅 데이터 분석 애플리케이션의 성능을 향상하기 위해 메모리 내 처리를 지원해주는 병렬 처리 프레임워크입니다. Azure Synapse Analytics의 Apache Spark 는 Microsoft가 클라우드에서 Apache Spark를 만든 하나의 제품인 것입니다. Azure Synapse Analytics용 Apache Spark를 사용하셔서 Synapse Studio에서 Azure Data Explorer 데이터베이스에 액세스하실 수 있습니다.

Azure Cosmos DB

Azure Cosmos DB 변경 피드 데이터 연결은 Cosmos DB 변경 피드를 수신 대기하고 데이터를 데이터베이스에 수집하는 수집 파이프라인입니다.

Azure Data Factory

ADF(Azure Data Factory)는 다양한 데이터 저장소를 통합하고 데이터에 대한 작업을 수행할 수 있는 클라우드 기반 데이터 통합 서비스입니다.

Azure Event Grid

Event Grid 수집은 Azure Storage를 수신 대기하고 구독 이벤트가 발생할 때 정보를 끌어오도록 데이터베이스를 업데이트하는 파이프라인입니다. Blob 또는 Blob 이름이 바뀐 알림에 대한 Azure Event Grid 구독을 사용하여 Azure Storage(Blob Storage 및 ADLSv2)에서 지속적인 수집을 구성하고 Azure Event Hubs를 통해 알림을 스트리밍할 수 있습니다.

  • 기능: 수집
  • 지원된 수집 형식: 일괄 처리 및 스트리밍
  • 사용 사례: 이벤트 처리
  • 설명서: Event Grid 데이터 연결

Azure Event Hubs

Azure Event Hubs는 빅 데이터 스트리밍 플랫폼 및 이벤트 수집 서비스입니다. 고객 관리 이벤트 허브에서 계속해서 수집을 구성하실 수 있습니다.

Azure 기능

Azure Functions를 사용시게 되면 일정에 따라 혹은 이벤트에 대한 응답으로 클라우드에서 서버리스 코드를 실행하실 수 있습니다. Azure Functions에 대한 입력 및 출력 바인딩을 사용하시게 되면 데이터베이스를 워크플로에 통합하셔서 데이터를 수집하시기 위해 데이터베이스에 대해 쿼리를 실행하실 수 있습니다.

Azure IoT Hubs

클라우드에서 호스팅되는 관리형 서비스인 Azure IoT Hub는 IoT 애플리케이션과 관리하는 디바이스 간의 양방향 통신을 위한 중앙 메시지 허브의 역할을 합니다. 디바이스-클라우드 메시지의 엔드포인트에서 기본 제공되는 Event Hubs 호환을 사용하여 고객 관리형 IoT Hubs에서 지속적인 수집을 구성할 수 있습니다.

  • 기능: 수집
  • 지원된 수집 형식: 일괄 처리 및 스트리밍
  • 사용 사례: IoT 데이터
  • 설명서: IoT Hub 데이터 연결

Azure Stream Analytics

Azure Stream Analytics는 실시간 분석 및 복잡한 이벤트 처리 엔진으로, 여러가지 소스에서 대량의 빠른 스트리밍 데이터를 처리하기 위해 만들어 진 것입니다.

Cribl Stream

Cribl 스트림 은 모든 원본에서 컴퓨터 이벤트 데이터를 안전하게 수집, 처리 및 스트리밍하는 처리 엔진입니다. 분석 대상에 대해 해당 데이터를 구문 분석하고 처리할 수 있습니다.

Fluent Bit

Fluent Bit는 다양한 원본에서 로그, 메트릭 및 추적을 수집하는 오픈 소스 에이전트입니다. 이를 통해 이벤트 데이터를 스토리지로 보내기 전에 필터링, 수정 및 집계할 수 있습니다.

JDBC

JDBC(Java Database Connectivity)는 데이터베이스에 연결하고 쿼리를 실행하는 데 사용되는 Java API입니다. JDBC를 사용하여 Azure Data Explorer에 연결할 수 있습니다.

Logic Apps

Microsoft Logic Apps 커넥터를 사용하면 예약되거나 트리거된 작업의 일부로 쿼리 및 명령을 자동으로 실행할 수 있습니다.

Logstash

Logstash 플러그 인을 사용하시게 되면 분석을 위해 Logstash의 이벤트를 Azure Data Explorer 데이터베이스로 처리하실 수 있습니다.

Matlab

MATLAB은 데이터를 분석하고, 알고리즘을 개발하고, 모델을 만드는 데 사용되는 프로그래밍 및 숫자 컴퓨팅 플랫폼입니다. AZURE Data Explorer에서 데이터를 쿼리하기 위한 권한 부여 토큰을 MATLAB에서 가져올 수 있습니다.

NLog

NLog는 .NET 표준을 포함한 다양한 .NET 플랫폼을 위한 유연성 있는 무료 로깅 플랫폼입니다. NLog를 사용하시게 되면 데이터베이스, 파일 혹은 콘솔과 같은 여러 대상에 글을 작성해 보실 수 있는 것입니다. NLog를 사용하시게 되면 즉시 로깅 구성을 변경하실 수 있습니다. NLog 싱크는 로그 메시지를 데이터베이스로 보내실 수 있는 NLog의 대상인 것입니다. 플러그 인은 클러스터에 로그를 싱크하기 위한 효율적인 방법을 제공해 드립니다.

ODBC

ODBC(Open Database Connectivity)는 데이터베이스 액세스를 위해 널리 사용되는 API(애플리케이션 프로그래밍 인터페이스)입니다. Azure Data Explorer는 MS-TDS(SQL Server 통신 프로토콜)의 하위 집합과 호환됩니다. 이 호환성을 통해 Azure Data Explorer와 함께 SQL Server용 ODBC 드라이버를 사용할 수 있습니다.

원격 분석 열기

OpenTelemetry 커넥터는 많은 수신기에서 Azure Data Explorer로 수집하실 수 있게 해드리기 위하여 지원해 드립니다. 필요에 따라서 내보낸 데이터의 형식을 사용자 지정을 해주셔서 데이터베이스의 개방형 원격 측정으로 만들어진 데이터를 수집하기 위한 브리지 역할을 해주는 것입니다.

Power Apps

Power Apps 는 비즈니스 데이터에 연결하는 사용자 지정 앱을 빌드하는 신속한 애플리케이션 개발 환경을 제공하는 앱, 서비스, 커넥터 및 데이터 플랫폼 제품군입니다. Power Apps 커넥터는 Azure Data Explorer에서 스트리밍 데이터의 컬렉션이 크고 증가하며 이 데이터를 사용하기 위해 낮은 코드의 고도로 기능적인 앱을 빌드하려는 경우에 유용합니다.

Power Automate

Power Automate 비즈니스 프로세스를 자동화하기 위해 사용되는 오케스트레이션 서비스인 것입니다. Power Automate (이전의 Microsoft Flow)용 Azure Data Explorer 커넥터를 사용하시게 되면 예약이나 혹은 트리거된 작업의 일부로 흐름을 조정하시고 예약하시며 알림 및 경고를 보내실 수 있습니다.

Serilog

Serilog는 .NET 애플리케이션에서 널리 사용되고 있는 로깅 프레임워크입니다. Serilog를 사용하기게 되면 개발자가 로거 이름, 로거 수준 및 메시지 패턴에 따라 임의 세분성으로 어떤 로그 명령문을 출력할지에 관해 제어하실 수 있는 것입니다. 부록이라고도 알려진 Serilog 싱크는 로그 데이터를 데이터베이스로 스트리밍을 하셔서 실시간으로 로그를 분석하시고 시각화 해보 실 수 있습니다.

Splunk

Splunk Enterprise 는 여러 가지 소스에서 동시에 데이터를 수집하실 수 있는 소프트웨어 플랫폼입니다. Azure Data Explorer 추가 기능에서는 Splunk에서 클러스터의 테이블로 데이터를 보내드립니다.

Splunk 유니버설 전달자

Telegraf

Telegraf는 로그, 메트릭 및 IoT 데이터를 포함한 원격 분석 데이터를 수집, 처리 및 작성하기 위한 오픈 소스, 경량, 최소 메모리 풋 인쇄 에이전트입니다. Telegraf는 수백 개의 입력 및 출력 플러그 인을 지원합니다. 오픈 소스 커뮤니티에서 널리 사용되고 잘 지원됩니다. 출력 플러그 인은 Telegraf의 커넥터 역할을 해주며 다양한 형식의 입력 플러그 인에서 데이터베이스로 데이터 수집하실 수 있게 지원해 드립니다.

관련 콘텐츠