다음을 통해 공유

Azure Portal의 Stream Analytics 작업 다이어그램(미리 보기)

  • 아티클

Azure Portal의 작업 다이어그램을 사용하면 입력 원본, 출력 대상 및 메트릭을 사용하여 작업의 쿼리 단계(논리적 개념) 또는 스트리밍 노드(물리적 개념)를 시각화할 수 있습니다. 작업 다이어그램을 사용하여 각 단계 또는 스트리밍 노드의 메트릭을 검사하면 문제를 해결할 때 문제의 원인을 더 빠르게 식별할 수 있습니다.

작업 다이어그램에는 다음과 같은 두 가지 유형이 있습니다.

  • 물리적 다이어그램: 물리적 컴퓨팅 개념인 스트리밍 노드 차원으로 Stream Analytics 작업의 주요 메트릭을 시각화합니다. 스트리밍 노드는 작업의 입력 데이터를 처리하는 데 사용되는 컴퓨팅 리소스 세트를 나타냅니다. 스트리밍 노드 차원에 대한 자세한 내용은 Azure Stream Analytics 노드 이름 차원을 참조하세요.

    각 스트리밍 노드 내에는 스트림 데이터를 처리하는 데 사용할 수 있는 Stream Analytics 프로세서가 있습니다. 각 프로세서는 쿼리에서 하나 이상의 단계를 나타냅니다. 실제 작업 다이어그램의 프로세서 다이어그램을 사용하여 각 스트리밍 노드에서 프로세서 토폴로지를 시각화할 수 있습니다.

  • 논리적 다이어그램: 논리적 개념인 작업 쿼리를 기준으로 하는 쿼리 단계로 Stream Analytics 작업의 주요 메트릭을 시각화합니다. 자세한 내용은 Azure Portal에서 논리적 작업 다이어그램(미리 보기)을 사용하여 디버깅을 참조하세요.

이 문서에서는 작업을 안내하기 위해 두 가지 유형의 작업 다이어그램을 설명합니다.

Important

이 기능은 현재 미리 보기로 제공됩니다. 베타, 미리 보기로 제공되거나 아직 일반 공급으로 릴리스되지 않은 Azure 기능에 적용되는 약관은 Microsoft Azure 미리 보기에 대한 추가 사용 약관을 참조하세요.

작업 다이어그램 사용

Azure Portal에서 Stream Analytics 작업을 찾아 선택합니다. 그런 다음, 개발자 도구에서 작업 다이어그램(미리 보기)을 선택합니다.

포털 트리의 작업 다이어그램 위치를 보여 주는 스크린샷

왼쪽 위 모서리에서 논리적 및 물리적을 클릭하여 두 가지 유형의 작업 다이어그램을 전환할 수 있습니다.

작업 다이어그램 전환기를 보여 주는 스크린샷

실제 작업 다이어그램

다음 스크린샷은 기본 기간(지난 30분)이 있는 물리적 작업 다이어그램을 보여 줍니다.

물리적 작업 다이어그램 섹션을 보여 주는 스크린샷

  1. 명령 모음 섹션: 작업 메트릭의 시간 범위를 구성하고, 열 지도 시각화를 전환/구성하고, 스트리밍 노드를 검색하고, 다이어그램과 테이블 간에 보기를 전환할 수 있는 명령 영역입니다.

    • 열 지도 설정: 열 지도 설정을 사용하면 원하는 메트릭 및 정렬 형식에 따라 다이어그램의 노드를 정렬할 수 있습니다. 메트릭은 CPU/메모리 사용률, 워터마크 지연, 입력 이벤트 및 백로그된 입력 이벤트일 수 있습니다.

    • 시간 범위: 다른 시간 범위 및 작업 실행을 선택하여 다이어그램 및 메트릭을 볼 수 있습니다.

    • 작업 실행: 작업 실행이 시간 범위 내에 있습니다. 작업이 시작, 다시 시작 또는 스케일 업/다운(SU 변경)되면 새 작업 실행이 생성됩니다. 하나의 작업 실행은 물리적 작업 다이어그램에 매핑됩니다.

    • 다이어그램/테이블 보기 전환기: 다이어그램과 테이블 간에 보기를 전환할 수 있습니다. 테이블 보기는 다음과 같습니다.

      테이블 개요가 있는 실제 작업 다이어그램을 보여 주는 스크린샷

  2. 다이어그램/테이블 섹션: 다이어그램 보기 또는 테이블 보기로 스트리밍 노드 수준의 메트릭(선택한 시간 범위 내에서 집계됨)을 볼 수 있는 위치입니다. 이 섹션의 각 상자는 입력 데이터를 처리하는 데 사용되는 스트리밍 노드를 나타냅니다. 각 노드의 메트릭은 다음과 같습니다.

    • 입력 이벤트(집계 유형: SUM)
    • CPU 사용률(%)(집계 유형: Avg)
    • SU(메모리) 사용률(%)(집계 유형: Max)
    • 파티션 ID(목록, 집계 없음)
    • 워터마크 지연(집계 유형: Max)
    • 백로그된 입력 이벤트(집계 유형: SUM)

    메트릭 정의에 대한 자세한 내용은 Azure Stream Analytics 노드 이름 차원을 참조하세요.

  3. 차트 섹션: 선택한 시간 범위 내에서 기록 메트릭 데이터를 볼 수 있는 위치입니다. 기본 차트에 표시되는 기본 메트릭은 SU(메모리) 사용률(%) 및 CPU 사용률(%)입니다. 차트 추가를 클릭하여 차트를 더 추가할 수도 있습니다.

다이어그램/테이블 섹션 및 차트 섹션은 서로 대화형으로 작동할 수 있습니다. 다이어그램/테이블 섹션에서 여러 노드를 선택하여 선택한 노드로 필터링된 차트 섹션의 메트릭을 가져오거나 그 반대로 수행할 수 있습니다.

물리적 작업 다이어그램 노드 차트 상호 작용을 보여 주는 스크린샷

물리적 다이어그램을 사용하여 디버그하는 방법에 대한 자세한 내용은 Azure Portal의 물리적 작업 다이어그램(미리 보기)을 사용하여 디버깅을 참조하세요.

실제 작업 다이어그램의 프로세서 다이어그램

실제 작업 다이어그램의 프로세서 다이어그램은 특정 스트리밍 노드 내의 프로세서 토폴로지를 시각화합니다. 프로세서 다이어그램에 액세스하려면 실제 작업 다이어그램을 열고 프로세서 다이어그램을 검사할 스트리밍 노드를 찾은 다음, 스트리밍 노드 이름을 클릭하여 프로세서 다이어그램을 열어야 합니다.

프로세서 다이어그램 진입점을 보여 주는 스크린샷.

프로세서 다이어그램 보기를 보여 주는 스크린샷.

  1. 정보 표시줄 섹션: 시간 범위, 해당 스트리밍 노드 이름과 같은 이 프로세서 다이어그램의 기본 정보를 볼 수 있는 위치입니다.
  2. 다이어그램 섹션: 프로세서 다이어그램이 시각화되는 위치입니다. 이 섹션의 각 노드 상자는 특정 용도로 스트림 데이터를 처리하는 프로세서를 나타냅니다.

    • 프로세서 유형: 프로세서의 유형을 표시하며 특정 데이터 처리 용도를 나타냅니다. 각 프로세서 노드에서 사용할 수 있습니다.

      프로세서 유형 설명
      입력 또는 출력 이 프로세서는 입력을 읽거나 출력 데이터 스트림을 작성하는 데 사용됩니다.
      ReferenceData 이 프로세서는 참조 데이터를 가져오는 데 사용됩니다.
      컴퓨팅 이 프로세서는 쿼리 논리에 따라 스트림 데이터를 처리하는 데 사용됩니다(예: 집계, 필터링, 창으로 그룹화 등). 스트림 데이터 계산 쿼리 함수에 대한 자세한 내용은 Azure Stream Analytics 쿼리 언어 참조를 참조하세요.
      MarshallerUpstream 및 MarshallerDownstream 스트리밍 노드 간에 스트림 데이터 상호 작용이 있는 경우 두 개의 마샬러 프로세서인 1)이 있습니다. 업스트림 스트리밍 노드 및 2)에서 데이터를 보내기 위한 MarshallerUpstream입니다. 다운스트림 스트리밍 노드에서 데이터를 수신하기 위한 MarshallerDownstream입니다.
      병합 이 프로세서는 여러 업스트림 스트리밍 노드에서 출력된 파티션 간 스트림 데이터를 수신하는 것입니다. 작업 성능을 최적화하는 가장 좋은 방법은 병합 프로세서가 작업의 병목 현상이므로 작업이 병렬로 수행되도록 병합 프로세서를 제거하도록 쿼리를 업데이트하는 것입니다. Visual Studio Code ASA 확장 내의 작업 다이어그램 시뮬레이터 기능은 작업 쿼리를 최적화할 때 쿼리를 로컬로 시뮬레이션하는 데 도움이 될 수 있습니다. 자세한 내용은 작업 다이어그램 시뮬레이터를 사용하여 쿼리 최적화(미리 보기)를 참조하세요.

      마샬러 및 병합 다이어그램을 보여 주는 스크린샷.

    • 어댑터 유형: 입력 또는 출력 어댑터의 형식을 표시합니다. Stream Analytics는 다양한 입력 원본 및 출력 대상을 지원합니다. 각 입력 원본 또는 출력 대상에는 전용 어댑터 유형이 있습니다. 입력 프로세서 및 출력 프로세서에서만 사용할 수 있습니다. 예를 들어 "InputBlob"은 입력 프로세서가 데이터를 수신하는 ADLS Gen2 입력을 나타냅니다. "OutputDocumentDb"는 출력 프로세서가 데이터를 출력하는 Cosmos DB 출력을 나타냅니다.

      입력 및 출력 형식에 대한 자세한 내용은 Azure Stream Analytics 입력 개요 및 Azure Stream Analytics 출력 개요를 참조하세요.

    • 파티션 ID: 이 프로세서에서 처리 중인 파티션 ID의 데이터를 보여 줍니다. 입력 프로세서 및 출력 프로세서에서만 사용할 수 있습니다.

    • 직렬 변환기 형식: serialization의 형식을 표시합니다. Stream Analytics는 여러 serialization 형식을 지원합니다. 입력 프로세서 및 출력 프로세서에서만 사용할 수 있습니다.

논리 작업 다이어그램

논리적 작업 다이어그램은 물리적 다이어그램과 비슷하게 세 개의 섹션을 포함하는 레이아웃이지만 메트릭과 구성 설정이 다릅니다.

작업 논리 다이어그램 개요를 보여 주는 스크린샷

  1. 명령 모음 섹션: 논리적 다이어그램에서 클라우드 작업(중지, 삭제)을 작동하고 작업 메트릭의 시간 범위를 구성할 수 있습니다. 다이어그램 보기는 논리적 다이어그램에만 사용할 수 있습니다.

  2. 다이어그램 섹션: 이 선택 영역의 노드 상자는 작업의 입력, 출력 및 쿼리 단계를 나타냅니다. 이 섹션의 특정 노드를 클릭하여 노드에서 직접 또는 차트 섹션에서 메트릭을 대화형으로 볼 수 있습니다. 메트릭 정의에 대한 자세한 내용은 Azure Stream Analytics 노드 이름 차원을 참조하세요.

  3. 차트 섹션: 논리적 다이어그램의 차트 섹션에는 메트릭 및 활동 로그라는 두 개의 탭이 있습니다.

    • 메트릭: 오른쪽 패널에서 해당 메트릭을 선택하면 작업의 메트릭 데이터가 여기에 표시됩니다.
    • 활동 로그: 작업(job)에 대해 수행된 작업(operation)은 여기에 표시됩니다. 작업의 진단 로그를 사용하도록 설정하면 여기에도 표시됩니다. 작업 로그에 대한 자세한 내용은 Azure Stream Analytics 작업 로그를 참조하세요.

    논리적 작업 다이어그램이 로드되면 이 작업의 최근 30분 동안의 메트릭인 워터마크 지연, 입력 이벤트, 출력 이벤트 및 백로그된 입력 이벤트가 차트 섹션에 표시됩니다.

다이어그램 섹션과 차트 섹션 간의 상호 작용은 논리적 다이어그램에서도 사용할 수 있습니다. 메트릭 데이터는 노드의 속성별로 필터링됩니다.

물리적 작업 다이어그램 개요를 보여 주는 스크린샷

논리적 다이어그램을 사용하여 디버그하는 방법에 대한 자세한 내용은 Azure Portal의 논리적 작업 다이어그램(미리 보기)을 사용하여 디버깅을 참조하세요.

다음 단계