Event Hub 데이터 연결(미리 보기)

Azure Event Hubs는 빅 데이터 스트리밍 플랫폼 및 이벤트 수집 서비스입니다. Azure Synapse Data Explorer는 고객 관리형 Event Hub에서 지속적인 수집을 제공합니다.

Event Hub 수집 파이프라인은 여러 단계로 이벤트를 Azure Synapse Data Explorer로 전송합니다. 먼저 Azure Portal에서 Event Hub를 만듭니다. 그런 다음 Azure Synapse Data Explorer에서 특정 형식의 데이터가 지정된 수집 속성을 사용하여 수집될 대상 테이블을 만듭니다. Event Hub 연결에서 이벤트 라우팅을 알아야 합니다. 데이터는 이벤트 시스템 속성 매핑에 따라 선택한 속성에 포함됩니다. Event Hub에 대한 연결을 생성하여 Event Hub를 생성하고 이벤트로 보냅니다. 이 프로세스는 Azure Portal을 통해 C# 또는 Python을 사용하여 프로그래밍 방식으로 관리하거나 Azure Resource Manager 템플릿을 사용하여 관리할 수 있습니다.

Azure Synapse Data Explorer의 데이터 수집에 대한 일반적인 정보는 Azure Synapse Data Explorer 데이터 수집 개요를 참조하세요.

데이터 형식

• 데이터는 EventData 개체 형식으로 Event Hub에서 읽습니다.

• 지원되는 형식을 참조하세요.

  참고 항목

  Event Hub는 .raw 형식을 지원하지 않습니다.

• GZip 압축 알고리즘을 사용하여 데이터를 압축할 수 있습니다. 수집 속성에서 Compression을 지정합니다.

  • 압축 형식(Avro, Parquet, ORC)에 대해서는 데이터 압축이 지원되지 않습니다.
  • 사용자 지정 인코딩 및 포함된 시스템 속성은 압축된 데이터에서 지원되지 않습니다.

수집 속성

수집 프로세스는 수집 속성을 통해 데이터를 라우팅할 위치와 처리 방법을 알게 됩니다. EventData.Properties를 사용하여 이벤트 수집의 수집 속성을 지정할 수 있습니다. 다음 속성을 설정할 수 있습니다.

이벤트 라우팅

Azure Synapse Data Explorer 클러스터에 대한 Event Hub 연결을 설정할 때 대상 테이블 속성(테이블 이름, 데이터 서식, 압축 및 매핑)을 지정합니다. 데이터의 기본 라우팅을 static routing이라고도 합니다. 이벤트 속성을 사용하여 각 이벤트에 대한 대상 테이블 속성을 지정할 수도 있습니다. 연결은 이벤트의 정적 속성을 재정의하여 EventData.Properties에 지정된 대로 데이터를 동적으로 라우팅합니다.

다음 예제에서는 Event Hub 세부 정보를 설정하고 날씨 메트릭 데이터를 테이블 WeatherMetrics에 보냅니다. 데이터는 json 형식입니다. mapping1은 테이블 WeatherMetrics에 미리 정의되어 있습니다.

var eventHubNamespaceConnectionString=<connection_string>;
var eventHubName=<event_hub>;

// Create the data
var metric = new Metric { Timestamp = DateTime.UtcNow, MetricName = "Temperature", Value = 32 }; 
var data = JsonConvert.SerializeObject(metric);

// Create the event and add optional "dynamic routing" properties
var eventData = new EventData(Encoding.UTF8.GetBytes(data));
eventData.Properties.Add("Table", "WeatherMetrics");
eventData.Properties.Add("Format", "json");
eventData.Properties.Add("IngestionMappingReference", "mapping1");
eventData.Properties.Add("Tags", "['mydatatag']");

// Send events
var eventHubClient = EventHubClient.CreateFromConnectionString(eventHubNamespaceConnectionString, eventHubName);
eventHubClient.Send(eventData);
eventHubClient.Close();

이벤트 시스템 속성 매핑

시스템 속성은 이벤트를 큐에 넣을 때 Event Hub 서비스에서 설정한 속성을 저장합니다. Azure Synapse Data Explorer Event Hub 연결은 선택한 속성을 테이블의 데이터 랜딩에 포함합니다.

시스템 속성

Event Hub는 다음 시스템 속성을 노출합니다.

테이블의 데이터 원본 섹션에서 이벤트 시스템 속성을 선택한 경우 테이블 스키마 및 매핑에 속성을 포함해야 합니다.

스키마 매핑 예제

테이블 스키마 매핑 예제

데이터에 세 개의 열(Timespan, Metric, Value)이 포함되고 포함된 속성이 x-opt-enqueued-time와 x-opt-offset인 경우 다음 명령을 사용하여 테이블 스키마를 만들거나 변경합니다.

    .create-merge table TestTable (TimeStamp: datetime, Metric: string, Value: int, EventHubEnqueuedTime:datetime, EventHubOffset:string)

CSV 매핑 예제

다음 명령을 실행하여 레코드의 시작 부분에 데이터를 추가합니다. 서수 값을 기록해 둡니다.

    .create table TestTable ingestion csv mapping "CsvMapping1"
    '['
    '   { "column" : "Timespan", "Properties":{"Ordinal":"2"}},'
    '   { "column" : "Metric", "Properties":{"Ordinal":"3"}},'
    '   { "column" : "Value", "Properties":{"Ordinal":"4"}},'
    '   { "column" : "EventHubEnqueuedTime", "Properties":{"Ordinal":"0"}},'
    '   { "column" : "EventHubOffset", "Properties":{"Ordinal":"1"}}'
    ']'

JSON 매핑 예제

시스템 속성 매핑을 사용하여 데이터를 추가합니다. 다음 명령을 실행합니다.

    .create table TestTable ingestion json mapping "JsonMapping1"
    '['
    '    { "column" : "Timespan", "Properties":{"Path":"$.timestamp"}},'
    '    { "column" : "Metric", "Properties":{"Path":"$.metric"}},'
    '    { "column" : "Value", "Properties":{"Path":"$.value"}},'
    '    { "column" : "EventHubEnqueuedTime", "Properties":{"Path":"$.x-opt-enqueued-time"}},'
    '    { "column" : "EventHubOffset", "Properties":{"Path":"$.x-opt-offset"}}'
    ']'

이벤트 허브 연결

Event Hub 만들기

Event Hub를 만듭니다(아직 없는 경우). Event Hub에 대한 연결은 Azure Portal을 통해 C# 또는 Python을 사용하여 프로그래밍 방식으로 관리하거나 Azure Resource Manager 템플릿을 사용하여 관리할 수 있습니다.

이벤트 보내기

데이터를 생성하고 Event Hub로 보내는 샘플 앱을 참조하세요.

샘플 데이터를 생성하는 방법의 예는 Event Hub에서 Azure Synapse Data Explorer로 데이터 수집을 참조하세요.

지리적 재해 복구 솔루션 설정

Event Hub는 지리적 재해 복구 솔루션을 제공합니다. Azure Synapse Data Explorer는 Alias Event Hub 네임스페이스를 지원하지 않습니다. 솔루션에서 지리적 재해 복구를 구현하려면 두 개의 Event Hub 데이터 연결을 만듭니다. 하나는 기본 네임스페이스용이고 다른 하나는 보조 네임스페이스용입니다. Azure Synapse Data Explorer는 두 Event Hub 연결을 모두 수신합니다.

다음 단계

• Event Hub에서 Azure Synapse Data Explorer로 데이터 수집
• C#을 사용하여 Azure Synapse Data Explorer용 Event Hub 데이터 연결 만들기
• Python을 사용하여 Azure Synapse Data Explorer용 Event Hub 데이터 연결 만들기
• Azure Resource Manager 템플릿을 사용하여 Azure Synapse Data Explorer용 Event Hub 데이터 연결 만들기