다음을 통해 공유

워크플로 오케스트레이션 매니저에 대한 진단 로그 및 메트릭

  • 아티클

참고 항목

워크플로 오케스트레이션 매니저는 Apache Airflow를 통해 구동됩니다.

이 문서에서는 다음 단계를 안내합니다.

  • Azure Data Factory에서 워크플로 오케스트레이션 매니저에 대한 진단 로그 및 메트릭을 사용하도록 설정합니다.
  • 로그 및 메트릭을 봅니다.
  • 쿼리를 실행합니다.
  • 메트릭을 모니터링하고 DAG(방향성 비순환 그래프) 오류 시 경고 시스템을 설정합니다.

필수 조건

Azure 구독이 필요합니다. Azure 구독이 아직 없는 경우 시작하기 전에 Azure 체험 계정을 만듭니다.

워크플로 오케스트레이션 매니저에 대한 진단 로그 및 메트릭 사용

  1. Data Factory 리소스를 열고 가장 왼쪽 창에서 진단 설정을 선택합니다. 그런 다음, 진단 설정 추가를 선택합니다.

    진단 로그 탭이 Data Factory에 있는 위치를 보여 주는 스크린샷.

  2. 진단 설정 이름을 작성합니다. Airflow 로그에 대해 다음 범주를 선택합니다.

    • Airflow 작업 실행 로그
    • Airflow 작업자 로그
    • Airflow DAG 처리 로그
    • Airflow 스케줄러 로그
    • Airflow 웹 로그
    • AllMetrics를 선택하면 다양한 Data Factory 메트릭을 사용하여 경고를 모니터링하거나 발생합니다. 이러한 메트릭에는 Data Factory 작업에 대한 메트릭 및 워크플로 오케스트레이션 매니저 통합 런타임(예: AirflowIntegrationRuntimeCpuUsage 및 AirflowIntegrationRuntimeMemory)이 포함됩니다.

    Airflow 환경에 대해 선택할 로그를 보여 주는 스크린샷.

  3. 대상 세부 정보에서 Log Analytics 작업 영역에 보내기 확인란을 선택합니다.

    진단 로그의 대상으로 Log Analytics 작업 영역을 선택하는 것을 보여 주는 스크린샷.

  4. 저장을 선택합니다.

로그 보기

  1. 진단 설정을 추가한 후 진단 설정 섹션에서 해당 설정을 확인할 수 있습니다. 로그에 액세스하고 보려면 구성한 Log Analytics 작업 영역을 선택합니다.

    Log Analytics 작업 영역 URL 선택을 보여 주는 스크린샷.

  2. Log Analytics 환경 최대화 섹션에서 로그 보기를 선택합니다.

    로그 보기 선택을 보여 주는 스크린샷.

  3. 선택한 테이블이 자동으로 작업 영역으로 가져온 것을 확인할 수 있는 Log Analytics 작업 영역으로 이동됩니다.

    Log Analytics 작업 영역을 보여 주는 스크린샷.

스키마에 대한 기타 유용한 링크:

쿼리 작성

  1. ADFAirflowTaskLogs의 모든 레코드를 반환하는 가장 간단한 쿼리부터 시작해 보겠습니다. 테이블 이름을 두 번 클릭하여 쿼리 창에 추가할 수 있습니다. 창에 테이블 이름을 직접 입력할 수도 있습니다.

    모든 로그를 검색하는 Kusto 쿼리를 보여 주는 스크린샷.

  2. 특정 작업 ID를 기준으로 필터링하는 등 검색 결과의 범위를 좁히려면 다음 쿼리를 사용할 수 있습니다.

    ADFAirflowTaskLogs
| where DagId == "<your_dag_id>"
and TaskId == "<your_task_id>"

마찬가지로, LogManagement에서 사용 가능한 테이블을 사용하여 필요에 따라 사용자 지정 쿼리를 만들 수 있습니다.

자세한 내용은 다음을 참조하세요.

메트릭 모니터링

Data Factory는 Airflow 통합 런타임에 대한 포괄적인 메트릭을 제공하므로 Airflow 통합 런타임의 성능을 효과적으로 모니터링하고 필요에 따라 경고 메커니즘을 설정할 수 있습니다.

  1. Data Factory 리소스를 엽니다.

  2. 가장 왼쪽 창의 모니터링 섹션에서 통계를 선택합니다.

    Data Factory에서 메트릭 탭이 있는 위치를 보여 주는 스크린샷.

  3. 모니터링하려는 범위>메트릭 네임스페이스>메트릭을 선택합니다.

    선택할 메트릭을 보여 주는 스크린샷.

  4. Integration Runtime CPU 비율과 Integration Runtime Dag Bag 크기를 시각화하는 여러 줄로 된 차트를 검토합니다.

    메트릭의 여러 줄 차트를 보여 주는 스크린샷.

  5. 메트릭이 특정 조건을 충족할 때 트리거되는 경고 규칙을 설정할 수 있습니다. 자세한 내용은 Azure Monitor 경고 개요를 참조하세요.

  6. 차트가 완료된 후 대시보드에 저장을 선택합니다. 그렇지 않으면 차트가 사라집니다.

    대시보드에 저장을 보여 주는 스크린샷.

Airflow 메트릭

워크플로 오케스트레이션 매니저에 사용할 수 있는 메트릭을 보려면 지원되는 메트릭 테이블에 나열된 Airflow 메트릭을 확인합니다.