共用方式為

什麼是工作流程協調管理員？

  • 發行項

適用於：Azure Data Factory Azure Synapse Analytics

提示

試用 Microsoft Fabric 中的 Data Factory，這是適用於企業的全方位分析解決方案。 Microsoft Fabric 涵蓋從資料移動到資料科學、即時分析、商業智慧和報告的所有項目。 了解如何免費開始新的試用！

注意

Apache Airflow 現在可透過 Microsoft Fabric 存取。 Microsoft Fabric 透過 Data Workflows 提供各種 Apache Airflow 功能。 建議您將現有的工作流程協調管理員 (ADF 中的 Apache Airflow) 型的工作流程移轉至 Data Workflows (Microsoft Fabric 中的 Apache Airflow)，以取得更廣泛的功能集。 Apache Airflow 功能將在第 1 季 CY2025 正式推出，僅適用於 Microsoft Fabric。 針對新的 Apache Airflow 專案，我們建議在 Microsoft Fabric 中使用 Apache Airflow。 在 這裡可以找到更多詳細資訊。 不允許新使用者在 ADF 中建立新的工作流程協調管理員，但具有工作流程協調管理員的現有使用者可能會繼續使用，但請儘快規劃移轉。

注意

Azure Data Factory 的工作流程協調管理員依賴開放原始碼 Apache Airflow 應用程式。 您可以在 Apache Airflow 文件或社群頁面上找到 Airflow 的文件和更多教學課程。

Azure Data Factory 為資料處理協調流程提供無伺服器管線、使用 100 個以上的受控連接器進行資料移動，以及使用對應資料流進行視覺效果轉換。

Azure Data Factory 的工作流程協調管理員服務是建立及管理 Apache Airflow 環境簡單且有效率的方式，可讓您輕鬆地大規模執行資料管線。 Apache Airflow 是開放原始碼平台，可用來以程序設計方式建立、排程及監視複雜的資料工作流程。 它可讓您定義一組稱為運算子的工作，這些運算子可以合併成有向非循環圖 (DAG) 代表資料管道。 Airflow 可讓您依排程或回應事件執行這些 DAG、監視工作流程進度，以及提供每個工作狀態的可見度。 它廣泛使用於資料工程和資料科學來協調資料管線，並以其彈性、擴充性和易於使用而聞名。

顯示資料整合的螢幕擷取畫面。

何時使用工作流程協調管理員？

Azure Data Factory 提供管線，以視覺化方式協調資料處理 (以 UI 為基礎的製作)。 使用工作流程協調管理員的同時，提供 Airflow 型的 Python DAG (以 python 程式碼為中心的製作)，以定義資料協調流程程序。 如果您有 Airflow 背景，或目前正在使用 Apache Airflow，您可能偏好使用工作流程協調管理員，而不是管線。 相反地，如果您不想撰寫/管理適用於資料處理協調流程的 Python 型 DAG，您可能會偏好使用管線。

有了工作流程協調管理員，Azure Data Factory 現可提供跨視覺效果、以程式碼為中心，OSS 協調流程需求的多協調流程功能。

功能

Azure Data Factory 中的工作流程協調管理員提供一系列強大的功能，包括:

  • 快速且簡單的部署 - 您可以在建立工作流程協調管理員時選取 [Apache Airflow 版本]，以快速且輕鬆地設定 Apache Airflow。
  • 雲端規模 - 工作流程協調管理員會根據範圍規格 (最小值、最大值) 視需要自動調整 Apache Airflow 節點。
  • Microsoft Entra 整合 - 您可以針對 Airflow 環境啟用 Microsoft Entra RBAC，以取得受 Microsoft Entra ID 保護的單一登錄體驗。
  • 中繼資料加密 - 工作流程協調管理員會使用 Azure 管理的金鑰自動加密中繼資料，以確保您的環境預設為安全。 它也支援使用客戶自控金鑰 (CMK) 進行雙重加密。
  • Azure 監視和警示 - 工作流程協調管理員所產生的所有記錄都會匯出至 Azure 監視器。 它也提供計量來追蹤重大情況，並協助您在必要時發出通知。

架構

顯示工作流程協調管理員中的結構的螢幕擷取畫面。

區域可用性 (公開預覽)

  • 美國東部
  • 美國中南部
  • 美國西部
  • 巴西南部
  • 英國南部
  • 北歐
  • 西歐
  • 東南亞

注意

Airflow 環境區域預設為 Data Factory 區域且無法設定，因此請確定您在上述支援區域中使用 Data Factory，才能存取工作流程協調管理員預覽。

支援的 Apache Airflow 版本

  • 2.6.3

注意

不支援變更現有 IR 內的 Airflow 版本。 相反地，建議的解決方案是建立具有所需版本的新 Airflow IR

整合

Apache Airflow 會透過 microsoft.azure 提供者與 Microsoft Azure 服務整合。

您可以從 Azure Data Factory UI 編輯 Airflow 環境，以安裝任何提供者套件。 安裝套件大約需要幾分鐘的時間。

顯示 Airflow 整合的螢幕擷取畫面。

限制

  • 其他區域中的工作流程協調管理員會在正式發行時可供使用。
  • 應可透過公用端點 (網路) 存取透過 Airflow 連線的資料來源。
  • 目前不支援 VNet 中/防火牆後方 Blob 儲存體內的 DAG。 相反地，我們建議使用工作流程協調管理員的 Git 同步功能。 請參閱，在工作流程協調管理員中同步處理 GitHub 存放庫
  • LinkedServices 不支援從 Azure Key Vault 匯入 DAG。

相關內容