將 Common Data Model 資料來源更新為使用 Delta 資料表
使用 Common Data Model 資料表更新現有的資料連接,並遷移至 Delta 格式的資料表,而不刪除和重新建立相依於資料連接的現有設定。
要連接至儲存為 Delta Lake 格式之資料的主要原因:
- 直接匯入 Delta 格式的資料,以節時間和精力。
- 消除與轉換和儲存 Lakehouse 資料複本相關的計算和儲存成本。
- 自動提高將資料擷取至 Delta 版本設定所提供之 Customer Insights - Data 的可靠性。
Delta 是 Delta Lake (Databricks Lakehouse 平台中儲存資料和資料表的基礎) 中採用的詞彙。 Delta Lake 是開放原始碼儲存層,可為巨量資料工作負載提供 ACID (不可部分完成性、一致性、隔離性、耐用性) 交易。 如需詳細資訊,請參閱 Delta Lake 文件頁面。
必要條件
Azure Data Lake Storage 必須與 Customer Insights - Data 位於同一個租用戶和 Azure 區域。
若要連接至受防火牆保護的儲存體,請設定 Azure Private Link。
Customer Insights - Data 服務主體必須有儲存體 Blob 資料參與者權限,才能存取儲存體帳戶。 如需詳細資訊,請參閱將權限授與服務主體以存取儲存體帳戶。
設定或更新資料來源的使用者對於 Azure Data Lake Storage 帳戶,至少需要儲存體 Blob 資料讀者權限。
儲存在線上服務中的資料可能儲存在與處理或儲存資料所在位置不同的位置。 匯入或連接至儲存在線上服務的資料,即表示您同意可以將資料轉移。 請至 Microsoft 信任中心了解詳細資訊。
Customer Insights - Data 支援 Databricks 讀取器版本 2。 不支援使用需要 Databricks 讀取器版本 3 或更新版本功能的 Delta 資料表。 深入了解:支援的 Databricks 功能。
Delta 資料表必須位於儲存體容器的資料夾,不能在容器根目錄中。 例如:
storageaccountcontainer/ DeltaDataRoot/ ADeltaTable/ _delta_log/ 0000.json 0001.json part-0001-snappy.parquet part-0002-snappy.parquet
Delta 資料表及其結構描述必須與現有 Common Data Model 資料來源中的資料表相符,並且位於同一個儲存容器中。 新資料的資料夾中的資料表必須與 Common Data Model 資料來源中選取的資料表完全相符。 資料表名稱及其結構描述必須完全相符。 在 Delta 中,資料表名稱與儲存資料的資料夾名稱相同。 因此,資料夾名稱必須與 Common Data Model 資料來源中選取的資料表完全相符。 否則,更新會失敗。
例如,如果選取的 Common Data Model 資料來源資料表是 Table1 和 Table2,則您選擇用於更新的資料夾必須在階層中顯示 Table1 和 Table2。
storageaccountroot/ DeltaDataRoot/ Table1/ Table2/
將 Common Data Model 資料的資料表更新為 Delta 資料表
移至資料>資料來源。
選取 Azure Data Lake Common Data Model 資料來源,然後選取更新為 Delta 資料表。 或者,從新增資料表頁面選取開始更新 (如果您正在編輯 Common Data Model 資料來源)。
選取瀏覽,並瀏覽至包含 Delta 格式資料的資料夾,然後對選取的 Azure Data Lake 資料來源資料表進行完全比對。 選取該資料表,然後選取更新資料來源。
資料來源頁面會打開,顯示處於重新整理狀態中的新資料來源。
重要
不要停止重新整理程序,否則可能會對更新資料來源產生負面影響。
建議您繼續透過現有管線將資料串流至 Data Lake Storage 位置,並維護資訊清單和結構描述,直到您判斷更新已成功且一切運作正常。
還原從 Common Data Model 資料表到 Delta 資料表的轉換
如果您嘗試將 Azure Data Lake Common Data Model 資料來源更新為 Delta 資料表,但程序失敗,請執行下列步驟。
先決條件
- 您的組織已繼續透過管線串流 Data Lake Storage 資料。
- 您的組織已維護 Data Lake Storage 資訊清單和結構描述。
還原回 Azure Data Lake Common Data Model 資料來源
移至資料>資料來源。
選取 Azure Data Lake Common Data Model 資料來源,然後選取還原為 Common Data Model 資料表。
確認您要還原。 資料來源頁面會打開,顯示處於重新整理狀態中的新資料來源。
重要
不要停止重新整理程序,否則可能會對還原資料來源產生負面影響。