共用方式為

Azure Data Factory 工作流程協調流程管理員如何運作？

  • 發行項

適用於：Azure Data Factory Azure Synapse Analytics

提示

試用 Microsoft Fabric 中的 Data Factory，這是適用於企業的全方位分析解決方案。 Microsoft Fabric 涵蓋從資料移動到資料科學、即時分析、商業智慧和報告的所有項目。 了解如何免費開始新的試用！

注意

工作流程協調管理員是由 Apache Airflow 提供。

注意

Azure Data Factory 的工作流程協調管理員依賴開放原始碼 Apache Airflow 應用程式。 您可以在 Apache Airflow 文件或社群頁面上找到 Airflow 的文件和更多教學課程。

Azure Data Factory 中的工作流程協調流程管理員會使用以 Python 為基礎的有向非循環圖形 （DAG） 來執行協調流程工作流程。 若要使用這項功能，您必須在 Azure Blob 儲存體中提供 DAG 和外掛程式。 您可使用命令列介面 (CLI) 或軟體開發套件 (SDK) 從 ADF 啟動 Airflow UI，以管理您的 DAG。

建立工作流程協調流程管理員環境

下列步驟會設定及設定您的工作流程協調流程管理員環境。

必要條件

Azure 訂用帳戶：如果您沒有 Azure 訂用帳戶，請在開始前建立免費帳戶。 在支援工作流程協調流程管理員預覽的區域中，建立或選取現有的 Data Factory。

用以建立環境的步驟

  1. 建立新的工作流程協調流程管理員環境。 移至 [管理] 中樞 -> [Airflow (預覽)] -> [+新增] 以建立新的 Airflow 環境

    顯示如何建立新受控 Apache Airflow 環境的螢幕快照。

  2. 提供詳細資料 (Airflow 組態)

    顯示某些工作流程協調流程管理員環境詳細數據的螢幕快照。

    重要

    使用 [基本] 驗證時，請記住此畫面中指定的使用者名稱和密碼。 稍後必須在工作流程協調流程管理員 UI 中登入。 預設選項是 [Microsoft Entra ID]，不需要為您的 Airflow 環境建立使用者名稱/密碼，而是改為使用 Azure Data Factory 登入使用者的認證來登入/監視 DAG。

  3. 環境變數是 Airflow 內的簡單索引鍵值存放區，可儲存和擷取任意內容或設定。

  4. 需求可用於預先安裝 Python 程式庫。 您也可以稍後更新這些項目。

匯入 DAG

下列步驟說明如何將 DAG 匯入工作流程協調流程管理員。

必要條件

您必須將範例 DAG 上傳至可存取的儲存體帳戶 (應該在 dags 資料夾下)。

注意

預覽期間不支援 VNet 後方的 Blob 儲存體。
storageLinkedServices 中的 KeyVault 組態不支援匯入 dag。

範例 Apache Airflow v2.x DAG。 範例 Apache Airflow v1.10 DAG。

匯入的步驟

  1. 將內容 (以您設定的 Airflow 環境為基礎的 v2.x 或 v1.10) 複製並貼到名為 tutorial.py 的新檔案中。

    將 tutorial.py 上傳至 Blob 儲存體。 (如何將檔案上傳至 Blob)

    注意

    您必須從 Blob 儲存體帳戶選取目錄路徑，其中包含名為 dags 的資料夾和外掛程式，以將這些資料夾匯入 Airflow 環境。 外掛程式並非必要。 您也可有名為 dags 的容器並上傳其中的所有 Airflow 檔案。

  2. 選取 [管理] 中樞底下的 [Airflow (預覽)]。 然後將滑鼠停留在先前建立的 Airflow 環境上，然後選取 [匯入檔案] 將所有 DAG 和相依性匯入到 Airflow 環境中。

    顯示管理中樞中匯入檔案的螢幕快照。

  3. 將新的連結服務建立至必要條件所提到的可存取儲存體帳戶 (如果您已經有自己的 DAG，請使用現有的儲存體帳戶)。

    顯示如何建立新連結服務的螢幕快照。

  4. 使用您上傳 DAG 的儲存體帳戶 (檢查必要條件)。 測試連線，然後選取 [建立]。

    顯示一些鏈接服務詳細數據的螢幕快照。

  5. 如果使用範例 SAS URL，或選取的資料夾內含帶 DAG 檔案的 dags 資料夾，請瀏覽並選取 airflow。

    注意

    您可以透過此介面匯入 DAG 及其相依性。 您必須從 Blob 儲存體帳戶選取目錄路徑，其中包含名為 dags 的資料夾和外掛程式，以將這些資料夾匯入 Airflow 環境。 外掛程式並非必要。

    顯示匯入檔案中瀏覽記憶體的螢幕快照。

    顯示數據流中瀏覽的螢幕快照。

    顯示匯入檔案中匯入的螢幕快照。

    顯示匯入 dag 的螢幕快照。

注意

在預覽期間匯入 DAG 可能需要幾分鐘的時間。 通知中心 (ADF UI 中的鈴鐺圖示) 可用來追蹤匯入狀態更新。

針對匯入 DAG 問題進行疑難牌解

  • 問題：DAG 匯入需要超過 5 分鐘。風險降低：使用單一匯入來縮減匯入的 DAG 大小。 達成此目標的其中一種方式，是跨多個容器建立含有較少 DAG 的多個 DAG 資料夾。

  • 問題：當您登入 Airflow UI 時，不會顯示匯入的 DAG。 風險降低：登入 Airflow UI，並查看是否有任何 DAG 剖析錯誤。 如果 DAG 檔案包含任何不相容的程式碼，就可能發生此情況。 您將透過 Airflow UI 找到有問題的確切行號和檔案。

    顯示匯入 dag 問題的螢幕快照。

監視 DAG 執行

若要監視 Airflow DAG，請使用先前建立的使用者名稱和密碼登入 Airflow UI。

  1. 在所建立的 Airflow 環境上選取。

    顯示已建立 Airflow 環境的螢幕快照。

  2. 使用 Airflow Integration Runtime 建立期間所提供的使用者名稱和密碼登入。 (您可以視需要編輯 Airflow Integration Runtime 來重設使用者名稱或密碼)

    顯示使用 Airflow Integration Runtime 建立期間所提供的使用者名稱密碼登入的螢幕快照。

從 Airflow 環境中移除 DAG

如果您使用 Airflow 1.x 版，請刪除任何 Airflow 環境 (IR) 上部署的 DAG，您必須在兩個不同的位置刪除 DAG。

  1. 從 Airflow UI 刪除 DAG
  2. 在 ADF UI 中刪除 DAG

注意

這是公開預覽期間的目前體驗，我們將會改善此體驗。 

相關內容