本文為 Data Factory in Microsoft Fabric 有關的常見問題提供解答。
Fabric 中的 Data Factory
Data Factory 與 Fabric 中的資料工程索引標籤有何差異?
Data Factory 可協助您使用雲端規模資料移動和資料轉換服務來解決複雜的資料整合和 ETL 案例,而資料工程可協助您建立 Lake House、使用 Apache Spark 來轉換和準備資料。 每個網狀架構術語/體驗之間的差異可在Microsoft網狀架構術語下取得。
如何? 追蹤及監視與管線搭配使用的網狀架構容量?
Microsoft Fabric 容量管理員可以使用 Microsoft網狀架構容量計量 應用程式,也稱為計量應用程式,以深入瞭解容量資源。 此應用程式可讓系統管理員查看資料管線、資料流程,以及其啟用 Fabric 容量工作區中其他項目的 CPU 使用率、處理時間和記憶體使用量。 深入瞭解多載原因、尖峰需求時間、資源使用量等,以及更容易識別要求最高或最熱門的項目。
建議在 Fabric 的 Data Factory 中指派角色的方法為何?
您可以在工作區之間分隔不同的工作負載,並使用成員和查看器等角色,讓資料工程工作區預先準備用於報表或 AI 定型之工作區的資料。 使用查看器角色,您便可以從資料工程工作區取用資料。
是否可以連線到 Fabric Data Factory 中已啟用現有私人端點 (PE) 的資源?
目前,虛擬網路閘道提供插入方法,可順暢地整合到您的虛擬網路中,提供使用私人端點建立資料存放區安全連線的健全途徑。 請務必注意,虛擬網路網關目前只容納網狀架構資料流。 不過,我們即將推出的計劃包括擴大其功能,以包含網狀架構管線。
如何連線到 Fabric Data Factory 中的內部部署資料源?
當您使用內部部署資料閘道時,您現在可以 使用資料流和資料管線連線到內部部署資料來源,並在 Microsoft Fabric 中使用 Data Factory 進行預覽。 若要深入瞭解,請參閱 如何在Data Factory中存取內部部署資料源。
發行更新和定價
哪裡可以找到 Fabric 中可用的每月更新?
網狀架構每月更新可在Microsoft網狀架構部落格取得。
什麼是 Fabric Data Factory 定價/計費模型?
Microsoft Fabric 中的 Data Factory 定價提供如何計算資料管線和 Dataflow Gen2 成本的完整指南。 其中包含數個定價範例案例,可協助您進一步了解定價模式。
哪裡可以找到Microsoft Fabric 中針對Data Factory規劃的即將推出的功能詳細資訊?
Data Factory in Microsoft Fabric 的新功能和規劃提供未來功能及其未來幾個月預估發行時程表的深入解析。
資料管線
在網狀架構資料管線中內嵌資料的速度有多快?
Fabric Data Factory 可讓您開發管線,以將環境的資料移動輸送量最大化。 這些管線充分利用下列資源:
- 來源與目的地資料存放區之間的網路頻寬
- 來源或目的地資料存放區每秒輸入/輸出作業 (IOPS) 和頻寬 此完整使用率表示您可以測量下列資源可用的最小輸送量來估計整體輸送量:
- 來源資料存放區
- 目的地資料存放區
- 同時,在來源和目的地資料存放區之間的網路頻寬,我們持續致力於創新,以提升您可以達到的最佳輸送量。 目前,服務可以在 5 分鐘內將 1 TB TPC-DI 資料集(parquet 檔案)移至 Fabric Lakehouse 資料表和資料倉儲-移動 1B 個資料列低於 1 分鐘:請注意,此效能只是執行上述測試資料集的參考。 實際輸送量仍取決於先前列出的因素。 此外,您一律可以平行執行多個複製活動來乘以輸送量。 例如,使用 ForEach 迴圈。
CDC 功能是否會在 Fabric 的 Data Factory 中使用?
我們目前的焦點涉及 Fabric 中 Data Factory 內 CDC 功能的積極開發。 這項即將推出的功能可讓您跨多個資料源移動資料,結合不同的複製模式,包括大量/批次複製模式、累加/連續複製模式(CDC)和實時複製模式,以一個 5x5 體驗。
資料流程第 2 代
Fabric Dataflow Gen2 是否類似於內嵌在 Azure Data Factory 中的 Power Query?
ADF 內的 Power Query 活動與 Dataflow Gen2 共用相似之處,但它具有額外的功能,可讓寫入特定資料目的地等動作。此比較更符合Dataflow Gen1(Power BI 資料流或 Power Apps 資料流)。 如需詳細資訊,請參閱此處:Dataflow Gen1 和 Dataflow Gen2 之間的差異。
在 Fabric Dataflow Gen2 中,我偶爾會遇到 DataflowsStaginglakehouse / DataflowsStagingwarehouse 等功能。 有哪些功能?
在部分使用者體驗中,您可能會遇到不適用於互動的系統成品。 最好忽略這些成品,因為它們最終會從未來取得資料體驗中移除。
我的重新整理失敗,並出現錯誤訊息「資料流重新整理失敗,因為許可權不足而無法存取預備成品」。 我該怎麼做?
當在工作區中建立第一個資料流的使用者未登入 Fabric 超過 90 天或離開組織時,就會發生此錯誤訊息。 若要解決此問題,錯誤訊息中所提及的使用者應該登入 Fabric。 如果使用者已離開組織,請 開啟支援票證。
ADF/Synapse 管線支援和移轉路徑
Azure Data Factory (ADF) 和 Synapse Pipelines 的未來為何?
Azure Data Factory (ADF) 和 Azure Synapse 管線會維護個別的平臺即服務 (PaaS) 藍圖。 這兩個解決方案會繼續與 Fabric Data Factory (作為軟體即服務 (SaaS) 供應項目) 共存。 ADF 和 Synapse 管線仍然完全受到支援,而且沒有淘汰的計劃。 請務必強調,對於任何即將推出的專案,我們的建議是使用網狀架構 Data Factory 來起始這些專案。 此外,我們有策略來協助將ADF和Synapse管線轉換至 Fabric Data Factory,讓他們能夠利用新的網狀架構功能。 您也可以在這裡了解更多資訊。
假設 Data Factory for Fabric 中的功能差距,選擇它的原因為何?在 ADF / Synapse 管線上?
當我們努力橋接功能差距,並將 ADF/Azure Synapse 管線中找到的健全資料管線協調流程和工作流程功能納入 Fabric Data Factory 中時,我們承認 ADF /Synapse 管線中存在的某些功能對於您的需求而言可能很重要。 如果有必要的話,建議您繼續使用ADF/Synapse管線,但建議您先在 Fabric 中探索新的資料整合可能性。 您對哪些功能的意見反應對於您的成功至關重要,是無價的。 為了方便進行這項作業,我們正積極努力引進新功能,以便將現有的資料處理站從 Azure 移轉至 Fabric 工作區。
Fabric Data Factory 中的新功能是否也適用於 ADF/Synapse?
我們不會將新功能從網狀架構管線回送至 ADF / Synapse 管線。 我們會針對 Fabric Data Factory 和 ADF/ Synapse 維護兩個不同的藍圖。 我們會評估回送要求,以回應傳入的意見反應。
網狀架構資料管線是否與 Azure Synapse 管線相同?
Fabric 管線的主要功能類似於 Azure Synapse 管線,但透過使用 Fabric 管線,使用者可以在 Fabric 平台中套用所有資料分析功能。 您可以在這裡找到 Fabric 管線與 Azure Synapse 管線之間的顯著差異和功能對應: Fabric 與 Azure 中的 Data Factory 之間的差異。
如何將現有的管線從 Azure Data Factory (或) Azure Synapse 工作區移轉至 Fabric Data Factory?
為了協助客戶從 Azure Data Factory 轉換至 Microsoft Fabric,我們提供一系列基本功能和支持機制。 首先,我們為 Fabric 內 ADF 中使用的大部分活動提供全面支援,以及新增專為通知量身打造的新活動,例如 Teams 和 Outlook 功能。 客戶可以在 Fabric 記憶體取 Data Factory 中可用活動的詳細清單。 此外,我們在 Azure Data Factory 中引進了 Fabric Lakehouse /Warehouse 連接器,為 ADF 客戶啟用 Fabric OneLake 環境的無縫資料整合。 我們也提供 ADF客戶的 指南,協助將現有的對應資料流轉換對應至新的Dataflow Gen2 轉換。 如往前所述,我們會在藍圖中包含將ADF資源掛接至 Fabric 的功能,這可讓客戶在 Azure 上保留其現有 ADF 管線的功能,同時探索網狀架構並規劃完整的升級策略。 我們正在與客戶和社區密切合作,以判斷支援將資料管線從ADF移轉至 Fabric 的最有效方式。 在這項工作中,我們將提供升級體驗,讓您能夠透過裝載和升級管線,在 Fabric 中測試目前的資料管線。