Azure Stream Analytics의 Azure Data Explorer 출력
웹 사이트, 애플리케이션, IoT(사물 인터넷) 디바이스 등과 같은 데이터 원본의 다양한 대용량 데이터를 분석하기 위해 Azure Data Explorer를 출력으로 사용할 수 있습니다. Azure 데이터 탐색기는 로그 및 원격 분석 데이터에 사용 가능한 빠르고 확장성이 우수한 데이터 탐색 서비스입니다. 최신 소프트웨어에서 생성되는 많은 데이터 스트림을 처리할 수 있으므로 데이터를 수집, 저장 및 분석할 수 있습니다. 이 데이터는 진단, 모니터링, 보고, 기계 학습 및 추가 분석 기능에 사용됩니다.
Azure Data Explorer는 Azure Event Hubs 같은 일반 서비스에 대한 커넥터, SDK(예: .NET 및 Python)를 통한 프로그래밍 방식 수집, 탐색을 위한 엔진 직접 액세스를 비롯하여 여러 가지 수집 방법을 지원합니다. Azure 데이터 탐색기는 데이터의 추가 분석 및 시각화를 위해 분석 및 모델링 서비스와 통합됩니다.
Azure Data Explorer에 대한 자세한 내용은 Azure Data Explorer란?을 참조하세요.
Azure Portal을 사용하여 Azure Data Explorer 클러스터를 만드는 방법에 대한 자세한 내용은 빠른 시작: Azure Data Explorer 클러스터 및 데이터베이스 만들기를 참조하세요.
참고 항목
Azure Stream Analytics의 Azure Data Explorer는 Azure Synapse Data Explorer에 대한 출력을 지원합니다. Azure Synapse Data Explorer의 클러스터에 쓰려면 Azure Stream Analytics 작업의 Azure Data Explorer 출력에 대한 구성 블레이드에서 클러스터의 URL을 지정해야 합니다.
출력 구성
다음 표에는 Azure Data Explorer 출력을 만들기 위한 속성 이름 및 해당 설명이 나와 있습니다.
| Property name | Description |
|---|---|
| 출력 별칭 | 쿼리 출력을 이 데이터베이스로 보내기 위해 쿼리에서 사용되는 식별 이름입니다. |
| 구독 | 클러스터에 사용할 Azure 구독입니다. |
| 클러스터 | 클러스터를 식별하는 고유한 이름입니다. 입력한 클러스터 이름에 도메인 이름 <지역>.kusto.windows.net이 추가됩니다. 이름에는 소문자와 숫자만 포함할 수 있습니다. 4~22자를 포함해야 합니다. |
| 데이터베이스 | 출력을 받는 데이터베이스의 이름입니다. 데이터베이스 이름은 클러스터 내에서 고유해야 합니다. |
| 인증 | Microsoft Entra ID의 관리 ID를 사용하면 클러스터가 Azure Key Vault 등의 다른 Microsoft Entra 보호 리소스에 쉽게 액세스할 수 있습니다. ID는 Azure 플랫폼에서 관리되며, 비밀을 프로비저닝하거나 회전하지 않아도 됩니다. 관리 ID 구성은 현재 클러스터에 대해 고객 관리형 키를 사용하는 경우에만 지원됩니다. |
| 테이블 | 출력을 기록되는 테이블 이름입니다. 테이블 이름은 대/소문자를 구분합니다. 이 테이블의 스키마는 작업 출력에서 생성하는 필드 수 및 해당 형식과 정확히 일치해야 합니다. |
분할
파티션은 사용하도록 설정해야 하며 쿼리의 PARTITION BY 절을 기반으로 합니다. 분할 상속 옵션을 사용하도록 설정하는 경우 완전히 병렬 처리 가능한 쿼리에 대한 입력 분할을 따릅니다.
Azure Stream Analytics 및 Azure Data Explorer를 사용해야 하는 경우
Azure Stream Analytics의 특징은 다음과 같습니다.
- 스트림 처리 엔진 - 연속/스트리밍 실시간 분석
- 작업 기반
- 메모리 내 임시 분석 및 스트림 처리를 위한 1밀리초에서 7일의 조회 기간
- Azure Event Hubs 및 대기 시간이 1초 미만인 Azure IoT Hub로부터의 수집
Azure Data Explorer의 특징은 다음과 같습니다.
- 분석 엔진 - 주문형/대화형 실시간 분석
- 쿼리 기능과 함께 영구 데이터 저장소로 스트리밍 데이터 수집
- Event Hubs, IoT Hub, Azure Blob Storage, Azure Data Lake Storage, Kafka, Logstash, Spark 및 Azure Data Factory 데이터 수집
- 높은 처리량 워크로드에 대한 대기 시간 10초~5분
- 수집 중에 업데이트 정책을 통해 간단한 데이터 변환 가능
Azure Stream Analytics와 Azure Data Explorer를 함께 사용하여 실시간 분석의 범위를 크게 늘릴 수 있습니다. 다음은 몇 가지 시나리오입니다.
- Stream Analytics는 실시간으로 변칙을 식별하고, Azure Data Explorer는 대화형 탐색을 통해 발생한 방법과 이유를 확인하는 데 도움이 됩니다.
- Stream Analytics는 들어오는 데이터 스트림을 Azure Data Explorer에서 사용하기 위해 역직렬화합니다(예: 사용자 지정 역직렬 변환기 또는 사용자 지정 이진 형식을 사용하여 Protobuf 형식 수집).
- Stream Analytics는 들어오는 데이터 스트림을 Azure Data Explorer에서 사용하기 위해 집계, 필터링, 보강, 변환할 수 있습니다.
기타 시나리오 및 제한 사항
- Azure Stream Analytics SQL 쿼리와 Azure Data Explorer 테이블 간에 열 및 데이터 형식의 이름이 일치해야 합니다. 비교 시 대/소문자를 구분합니다.
- Azure Data Explorer 클러스터에 있지만 Azure Stream Analytics에는 누락된 열은 무시됩니다. Azure Stream Analytics에 누락된 열은 오류를 야기합니다.
- Azure Stream Analytics 쿼리의 열 순서는 중요하지 않습니다. Azure Data Explorer 테이블의 스키마에 따라 순서가 결정됩니다.
- Azure Data Explorer에는 데이터 수집을 위한 집계(일괄 처리) 정책이 있으며, 이는 수집 프로세스를 최적화하도록 설계되었습니다. 이 정책은 기본적으로 5분, 1000개 항목 또는 1GB 데이터로 구성되어 있으므로 대기 시간이 발생할 수 있습니다. 대기 시간을 줄이려면 Azure Data Explorer 클러스터에서 스트리밍 수집 구성의 단계에 따라 클러스터에서 스트리밍 수집을 사용하도록 설정한 다음, 테이블 또는 데이터베이스를 사용하도록 설정합니다. 집계 옵션은 IngestionBatching 정책을 참조하세요.