빠른 시작: Apache Airflow 작업 만들기

아티클
10/25/2024

참고 항목

Apache Airflow 작업은 Apache Airflow에서 구동됩니다.
Apache Airflow는 복잡한 작업을 프로그래밍 방식으로 만들고, 예약하고, 모니터링하는 데 사용되는 오픈 소스 플랫폼입니다. 이를 통해 데이터 파이프라인을 나타내기 위해 DAG(방향성 비순환 그래프)로 결합할 수 있는 연산자라고 하는 일련의 작업을 정의할 수 있습니다.

Apache Airflow 작업은 Apache Airflow 환경을 만들고 관리하는 간단하고 효율적인 방법을 제공하므로 오케스트레이션 작업을 대규모로 쉽게 실행할 수 있습니다. 이 빠른 시작에서는 Apache Airflow 작업의 환경 및 기능을 숙지하는 간단한 Apache Airflow 작업을 만들어 보겠습니다.

필수 조건

테넌트에서 Apache Airflow 작업을 사용하도록 설정합니다.

참고 항목

Apache Airflow 작업은 미리 보기 상태이므로 테넌트 관리자를 통해 사용하도록 설정해야 합니다. Apache Airflow 작업이 이미 표시되는 경우 테넌트 관리자가 이미 사용하도록 설정했을 수 있습니다.

관리 포털 - 테넌트 설정 ->> Microsoft Fabric>에서 '사용자가 Apache Airflow 작업(미리 보기)을 만들고 사용할 수 있습니다.' 섹션으로 이동합니다.
적용을 선택합니다.

Apache Airflow 작업 만들기

기존 작업 영역을 사용하거나 새 작업 영역을 만들 수 있습니다.
드롭다운 확장 + New -> 추가 옵션 클릭 -> 섹션 아래 Data Factory -> Apache Airflow 작업 선택(미리 보기)
프로젝트에 적절한 이름을 지정하고 "만들기" 단추를 클릭합니다.

DAG 파일 만들기

"새 DAG 파일" 카드를 클릭하고, > 파일 이름을 입력한 후 "만들기" 단추를 누르세요.
상용구 DAG 코드가 표시됩니다. 파일은 요구 사항에 따라 편집할 수 있습니다.
“저장 아이콘”을 클릭합니다.

DAG 실행

먼저 "DAG 실행" 단추를 클릭합니다.
시작되면 DAG가 실행 중임을 나타내는 알림이 즉시 표시됩니다.
DAG 실행의 진행률을 모니터링하려면 알림 센터 내에서 "세부 정보 보기"를 클릭하기만 하면 됩니다. 이 작업은 DAG 실행의 상태 및 세부 정보를 편리하게 추적할 수 있는 Apache Airflow UI로 리디렉션됩니다.