共用方式為


Azure 工作流程協調流程管理員如何運作?

適用於:Azure Data Factory Azure Synapse Analytics

提示

試用 Microsoft Fabric 中的 Data Factory,這是適用於企業的全方位分析解決方案。 Microsoft Fabric 涵蓋從資料移動到資料科學、即時分析、商業智慧和報告的所有項目。 了解如何免費開始新的試用

注意

工作流程協調管理員是由 Apache Airflow 提供。

注意

Azure Data Factory 的工作流程協調管理員依賴開放原始碼 Apache Airflow 應用程式。 您可以在 Apache Airflow 文件社群頁面上找到 Airflow 的文件和更多教學課程。

Azure Data Factory 中的工作流程協調流程管理員會使用以 Python 為基礎的有向非循環圖形 (DAG) 來執行協調流程工作流程。 若要使用這項功能,您必須在 Azure Blob 儲存體中或透過 GitHub 存放庫提供 DAG 和外掛程式。 您可使用命令列介面 (CLI) 或軟體開發套件 (SDK) 從 ADF 啟動 Airflow UI,以管理您的 DAG。

建立工作流程協調流程管理員環境

請參閱: 建立工作流程協調流程管理員環境

匯入 DAG

工作流程協調流程管理員提供兩種不同的方法,可將DAG從 Python 來源檔案載入Airflow的環境。 方法如下:

  • 啟用 Git 同步處理: 此服務可讓您同步處理 GitHub 存放庫與工作流程協調流程管理員,讓您直接從 GitHub 存放庫匯入 DAG。 請參閱: 在工作流程協調流程管理員中同步處理 GitHub 存放庫

  • Azure Blob 儲存體:您可以將 DAG、外掛程式等上傳至與 Azure Data Factory 連結之 Blob 儲存體帳戶內的指定資料夾。 然後,您會在工作流程協調流程管理員中匯入資料夾的檔案路徑。 請參閱:使用 Azure Blob 儲存體匯入 DAG (部分機器翻譯)

從 Airflow 環境中移除 DAG

請參閱: 在工作流程協調流程管理員中刪除DAG

監視 DAG 執行

若要監視 Airflow DAG,請使用先前建立的使用者名稱和密碼登入 Airflow UI。

  1. 在所建立的 Airflow 環境上選取。

    顯示已建立 Airflow 環境的螢幕快照。

  2. 使用 Airflow Integration Runtime 建立期間所提供的使用者名稱和密碼登入。 (您可以視需要編輯 Airflow Integration Runtime 來重設使用者名稱或密碼)

    顯示使用 Airflow Integration Runtime 建立期間所提供的使用者名稱密碼登入的螢幕快照。

針對匯入 DAG 問題進行疑難排解

  • 問題:DAG 匯入需要超過 5 分鐘。風險降低:使用單一匯入來縮減匯入的 DAG 大小。 達成此目標的其中一種方式,是跨多個容器建立含有較少 DAG 的多個 DAG 資料夾。

  • 問題:當您登入 Airflow UI 時,不會顯示匯入的 DAG。 風險降低:登入 Airflow UI,並查看是否有任何 DAG 剖析錯誤。 如果 DAG 檔案包含任何不相容的程式碼,就可能發生此情況。 您將透過 Airflow UI 找到有問題的確切行號和檔案。

    顯示匯入 dag 問題的螢幕快照。