다음을 통해 공유

원클릭 수집을 사용하여 Azure Synapse Data Explorer에 대한 이벤트 허브 데이터 연결 만들기(미리 보기)

  • 아티클

Azure Synapse Data Explorer에서는 빅 데이터 스트리밍 플랫폼이자 이벤트 수집 서비스인 Event Hubs에서 수집(데이터 로딩) 기능을 제공합니다. Event Hubs에서는 초당 수백만 개의 이벤트를 거의 실시간으로 처리할 수 있습니다. 이 문서에서는 원클릭 수집 환경을 사용하여 Azure Synapse Data Explorer의 테이블에 이벤트 허브를 연결합니다.

필수 구성 요소

  • Azure 구독 평가판 Azure 계정을 만듭니다.

  • Synapse Studio 또는 Azure Portal을 사용하여 Data Explorer 풀 만들기

  • Data Explorer 데이터베이스를 만듭니다.

    1. Synapse Studio의 왼쪽 창에서 데이터를 선택합니다.

    2. +(새 리소스 추가) >Data Explorer 풀을 선택하고 다음 정보를 사용합니다.

      설정 제안 값 설명
      풀 이름 contosodataexplorer 사용할 Data Explorer 풀의 이름
      이름 TestDatabase 데이터베이스 이름은 클러스터 내에서 고유해야 합니다.
      기본 보존 기간 365 데이터를 쿼리에 사용할 수 있도록 보장되는 시간 범위(일)입니다. 시간 범위는 데이터가 수집된 시간부터 측정됩니다.
      기본 캐시 기간 31 자주 쿼리되는 데이터를 장기 스토리지가 아닌 SSD 스토리지 또는 RAM에 보관할 수 있는 시간 범위(일)입니다.

    3. 만들기를 선택하여 데이터베이스를 만듭니다. 만들기에는 일반적으로 채 1분이 소요되지 않습니다.

참고 항목

Synapse 작업 영역에서 데이터 반출 보호가 사용된 관리형 가상 네트워크를 사용하는 경우 Event Hub에서 데이터 탐색기 풀로의 데이터 수집이 작동하지 않습니다.

새 데이터 수집

  1. Synapse Studio의 왼쪽 창에서 데이터를 선택합니다.

  2. Data Explorer 데이터베이스 아래에서 관련 데이터베이스를 마우스 오른쪽 단추로 클릭한 다음, Azure Data Explorer에서 열기를 선택합니다.

    Screenshot of Azure Synapse Studio, showing opening Azure Data Explorer in the context of a specific pool.

  3. 웹 UI의 왼쪽 메뉴에서 데이터 탭을 선택합니다.

    Select one-click ingest data from Event Hub in the web UI.

  4. Event Hub에서 데이터 수집 카드에서 수집을 선택합니다.

대상 탭이 선택된 상태로 새 데이터 수집 창이 열립니다.

대상 탭

Screenshot of destination tab. Cluster, Database, and Table fields must be filled out before proceeding to Next-Source.

  1. 클러스터 및 데이터베이스 필드는 자동으로 채워집니다. 드롭다운 메뉴에서 다른 클러스터 또는 데이터베이스를 선택할 수 있습니다.

  2. 테이블에서 새 테이블 만들기를 선택하고 새 테이블의 이름을 입력합니다. 또는 기존 테이블을 사용합니다.

    참고

    테이블은 1~1024자여야 합니다. 영숫자, 하이픈 및 밑줄을 사용할 수 있습니다. 특수 문자는 지원되지 않습니다.

  3. 다음: 원본을 선택합니다.

원본 탭

  1. 원본 유형에서 Event Hub를 선택합니다.

  2. 데이터 연결에서 다음 필드를 입력합니다.

    Screenshot of source tab with project details fields to be filled in - ingest new data to Azure Synapse Data Explorer with Event Hub in the one click experience.

    설정 제안 값 필드 설명
    데이터 연결 이름 ContosoDataConnection 데이터 연결을 식별하는 이름입니다.
    Subscription Event Hub 리소스가 있는 구독 ID입니다.
    이벤트 허브 네임스페이스 네임스페이스를 식별하는 이름입니다.
    이벤트 허브 사용하려는 Event Hub입니다.
    소비자 그룹 Event Hub에 정의된 소비자 그룹입니다.
    이벤트 시스템 속성 관련 속성 선택 Event Hub 시스템 속성. 이벤트 메시지마다 여러 레코드가 있는 경우 시스템 속성이 첫 번째 속성에 추가됩니다. 시스템 속성을 추가할 때 선택한 속성을 포함하도록 테이블 스키마를 생성하거나 업데이트하고 매핑합니다.

  3. 다음: 스키마를 선택합니다.

스키마 탭

데이터는 EventData 개체 형식으로 Event Hub에서 읽습니다. 지원되는 형식은 CSV, JSON, PSV, SCsv, SOHsv TSV, TXT 및 TSVE입니다.

Screenshot of schema tab in ingest new data to Azure Synapse Data Explorer with Event Hub in the one click experience.

  1. 미리 보기 창에 표시되는 데이터가 완전하지 않은 경우 필요한 모든 데이터 필드가 있는 테이블을 만들기 위해 더 많은 데이터가 필요할 수 있습니다. 다음 명령을 사용하여 Event Hub에서 새 데이터를 가져옵니다.

    • 새 데이터 삭제 및 가져오기: 제공된 데이터를 삭제하고 새 이벤트를 검색합니다.
    • 추가 데이터 가져오기: 이미 찾은 이벤트 외에 더 많은 이벤트를 검색합니다.

    참고

    데이터 미리 보기를 보려면 Event Hub에서 이벤트를 전송해야 합니다.

  2. 다음: 요약을 선택합니다.

Event Hub에서 연속적으로 수집

Event Hub에서 연속 수집 설정됨 창에서 설정이 성공적으로 완료되면 모든 단계가 녹색 확인 표시로 표시됩니다. 이 단계 아래에 있는 카드는 빠른 쿼리를 사용하여 데이터를 탐색하거나, 도구를 사용하여 변경 사항을 실행 취소하거나, Event Hub 연결 및 데이터를 모니터링할 수 있는 옵션을 제공합니다.

Screenshot of final screen in ingestion to Azure Synapse Data Explorer from Event Hub with the one click experience.

다음 단계