共用方式為

查詢和分析增量更新

  • 發行項

Microsoft Dataverse 資料 (包括來自 Dynamics 365 應用程式，以及財務和營運的資料) 可以透過建立、更新和刪除交易不斷變化。 使用增量更新選項，您可以構建增量數據管道，將這些更改應用於下游系統和資料庫。 Synapse Link for Dataverse 將增量資料匯出到帶時間戳記的資料夾中，其中包含使用者指定時間間隔內的資料變更。

您可以在多種情境下利用增量更新功能：

  • 更新下游數據存儲或數據倉庫。 您可能需要將 Power Apps 和 Dynamics 365 資料的變更套用到下游資料存放區中。 增量更新是大多數數據轉換工具 (如 Azure 數據工廠) 中的標準功能。 但是，要使增量更新功能正常工作，您必須識別源表中更改的記錄。 增量更新功能以一組檔的形式提供更改的數據，因此您無需通過比較表的前後圖像來檢測更改。

  • 分析大型數據集中的變化。 如果您需要分析大型數據集中的更改，增量更新功能可以小批量提供連續的數據流，因此您無需存儲所有數據。 使用此選項，您可以刪除過時和停滯的數據，以節省資料存儲成本，並跟蹤與使用者指定時間段相關的數據更改。

Azure Synapse Link for Dataverse 還提供了在 Azure Data Lake (Gen 2) 儲存中匯出和維護表副本的選項。 除了匯出資料表的複本之外，您還可以設定 Azure Synapse Link 以匯出增量資料。 每個配置 (稱為“Synapse 連結配置檔”) 都可以匯出表或增量數據。 雖然可以建立多個設定檔，但不能在同一設定檔中同時設定資料表和增量更新。

重要

當您使用資料複本啟用此功能時，會建立一個帶有初始時間戳記的資料夾。 只有在使用者指定的時間間隔期間有資料更新時，才會建立後續時間戳記和資料表資料夾。

使用增量更新功能建立 Synapse Link 設定檔後，設定將套用至 Synapse Link 設定檔中的所有選定資料表。

無法使用下列選項啟用此功能：連接至 Azure Synapse workspace。 對於需要 Azure Synapse Analytics 存取權的客戶，請依照下列指示設定連結：使用 Azure Synapse workspace 建立 Azure Synapse Link for Dataverse

此功能相當於 Dynamics 365 財務和營運應用程式中內建的匯出到資料湖的變更摘要功能。 使用變更摘要功能的客戶可以選擇啟用包含變更資料的 Synapse Link 設定檔，而無需匯出資料表資料。

先決條件

本指南假設您已符合建立 Azure Synapse Link 的先決條件。 如需更多資訊：使用 Azure Data Lake 建立 Azure Synapse Link for Dataverse

  1. 登入 Power Apps 並選取環境。

  2. 在左側瀏覽窗格中，選取 Azure Synapse Link。 如果此項目不在側邊面板窗格中，請選取 ...其他 ，然後選取您想要的項目。

  3. 在命令列中，選取 + 新連結。

  4. 選取訂閱，資源群組，和儲存體帳戶。 選取下一步。

  5. 請勿選取連接至 Azure Synapse workspace 選項。 如果選擇此選項，則禁用增量更新功能。

  6. 新增要匯出的表格。 如果您的 Dataverse 環境連結到財務和營運應用程式，您也可以從財務和營運應用程式中選擇資料表。

  7. 選取進階。

  8. 打開顯示進階組態設定，並啟用增量更新資料夾結構。

  9. 輸入應擷取增量更新的時間間隔 (以分鐘為單位)，然後選取儲存。 

    新增資料表設定

注意

最小時間間隔為 5 分鐘。 這表示增量更新資料夾每隔 5 分鐘建立一次，且包含時間間隔中發生的變更。 在透過管理表格建立連結之後，也可設定此設定。 最大時間間隔為 1140 分鐘 (或 24 小時)。

確定第一個設定頁面中未核取連接至 Azure Synapse workspace Azure Synapse workspace。

帶有時間戳記的資料夾中的增量資料儲存為逗號分隔值文字檔 (CSV 檔案)。 您無法使用增量資料的 Delta 轉換功能，也不能獲取 Delta Parquet 格式的增量檔案。

查看 Microsoft Azure 儲存體的增量資料夾

使用增量資料建立 Synapse Link 設定檔時，系統會建立所有資料表的初始複本，並將其儲存在第一個增量更新資料夾中。 建立初始複本後，系統會使用變更的資料建立後續更新資料夾。 如果所選的任何資料表都沒有變更，則不會看到增量資料夾。

若要檢視儲存體帳戶中的增量資料夾，請執行以下操作：

  1. 選取所需的 Azure Synapse Link，然後選取命令列的前往 Azure Data Lake。

  2. 選取資料儲存體底下的容器。

  3. 選取 dataverse-environmentName-organizationUniqueName。 增量更新資料夾是依建立時間戳記命名 ("yyyy-MM-dd'T'HH:mm:ss.SSSz") (UTC)。 請注意，帶時間戳的資料夾之間的時間差是您在高級設置中指定的時間間隔。

  4. 在每個時間戳資料夾中，每個表都有資料夾。 並非所有選擇的資料表在時間間隔內都可能已變更，您只會看到對應於資料已變更的資料表的資料夾。

    在 Azure Data Lake Storage 中由 Synapse Link 建立並顯示的增量資料夾

注意

由於重試機制功能，可能會在使用者指定的時間間隔內建立額外的空白時間戳記資料夾。

使用增量數據

您可以使用 Azure 資料工廠或 Azure Synapse Analytics 管道等資料整合工具，將增量資料複製到 Azure SQL 資料庫或資料倉儲。 我們提供了一個可用於此目的的示例數據管道。 有關詳細資訊：將 Dataverse 資料複製到 Azure SQL。

如果您是從變更摘要功能轉換的 Dynamics 365 財務和營運應用程式客戶，您可以使用 GitHub 中提供的資料整合範例工具來更新與變更摘要功能一起使用的現有資料管道。

您還可以構建自己的數據管道來使用增量數據。 但是，在設計自己的管道時，您需要考慮以下最佳實踐：

  • 僅使用先前帶有時間戳記的資料夾中的資料：這樣，您可以避免與 Synapse Link 服務發生讀寫衝突，該服務可能會持續更新目前資料夾中的資料。 您可以通過查看 Changelog/changelog.info 文件來查找目前的資料夾。 此檔案是唯讀檔案，其中包含一資料行，以及目前更新的資料夾名稱。 您不應更新此文件，因為它可能會導致系統不穩定。
  • 您可以查看位於每個時間戳記資料夾中的 model.json 檔案，以讀取中繼資料，例如資料表資料夾中包含資料的資料行名稱。 請注意，每個位於時間戳記資料夾內資料夾中的 model.json 檔案，都包含所有資料表的中繼資料，而不僅僅是時間戳記資料夾中包含的資料表。
  • 避免使用其他日誌檔，例如 Synapse.log 檔。 此文件用於內部目的，可能無法反映準確的數據。
  • 處理完後，請考慮從 Azure Data Lake 中刪除過時的增量資料夾。 目前，Synapse Link在 Azure 儲存體中維護這些檔案的租約，以便從任何故障中恢復。 系統可能會在一段時間后釋放租約。

在 Azure Data Lake Storage 中由 Synapse Link 建立的增量資料夾

另請參閱

什麼是 Azure Synapse Link for Dataverse？