在複製活動中設定 Azure Data Lake Storage Gen2

本文概述如何在資料管線中使用複製活動，從 Azure Data Lake Storage Gen2 複製資料及將資料複製到該處。

支援的格式

Azure Data Lake Storage Gen2 支援下列檔案格式。 請參閱每篇文章，以取得以格式為基礎的設定。

• Avro 格式
• 二進位格式
• 分隔符號文字格式
• Excel 格式
• JSON 格式
• ORC 格式
• Parquet 格式
• XML 格式

支援的設定

對於複製活動下每個索引標籤的組態，請分別參閱下列各節。

• 一般
• 來源
• 目的地
• 對應
• 設定

一般

請參閱＜[一般] 設定＞指導，來設定 [一般] 設定索引標籤。

來源

在複製活動的 [來源] 索引標籤下，Azure Data Lake Storage Gen2 支援下列屬性。

以下是必要的屬性：

• 資料存放區類型：選取 [外部]。

• 連線：從連線清單中選取 [Azure Data Lake Storage Gen2] 連線。 如果不存在連線，請選取 [新增]，來建立新的 Azure Data Lake Storage Gen2 連線。

• 連線類型：選取 [Azure Data Lake Storage Gen2]。

• 檔案路徑類型：可以選擇 [檔案路徑]、[萬用字元檔案路徑] 或 [檔案清單] 作為檔案路徑類型。 其中每個設定的組態如下：

  • 檔案路徑：如果選擇此類型，可以從指定的檔案系統或之前指定的資料夾/檔案路徑複製資料。

  • 萬用字元檔案路徑：如果選擇此類型，請指定 [檔案系統] 和 [萬用字元路徑]。

    • 檔案系統：Azure Data Lake Storage Gen2 檔案系統名稱。

    • 萬用字元路徑：指定給定檔案系統下含有萬用字元的資料夾或檔案路徑，用於篩選來源資料夾或檔案。

      允許的萬用字元為：* (符合零或多個字元) 和 ? (符合零或單一字元)。 若資料夾名稱具有萬用字元或逸出字元 ^，則請使用此逸出字元進行逸出。 如需更多範例，請參閱＜資料夾和檔案篩選範例＞。

      

      • 萬用字元資料夾路徑：在指定檔案系統下使用萬用字元指定資料夾路徑，用於篩選來源資料夾。

      • 萬用字元檔案名稱：指定檔案系統下含有萬用字元的檔案名稱和資料夾路徑 (或萬用字元資料夾路徑)，用於篩選來源檔案。

  • 檔案清單：表示要複製指定的檔案集。 指定 [資料夾路徑] 和 [檔案清單的路徑]，指向含有所要複製檔案清單的文字檔 (一行一個檔案)，這是路徑的相對路徑。 如需更多範例，請參閱＜檔案清單範例＞。

    

    • 資料夾路徑：在指定給定檔案系統下的資料夾路徑。 此為必要。

    • 檔案清單的路徑：指定文字檔 (其中包含要複製的檔案清單) 的路徑。

• 遞迴：指定是否從子資料夾或只從指定的資料夾，以遞迴方式讀取資料。 請注意，當選取 [遞迴] 且目的地是檔案型存放區時，就不會在目的地上複製或建立空的資料夾或子資料夾。 預設為選取此屬性，而且設定 [檔案清單的路徑] 時，此屬性不適用。

• 檔案格式：從下拉式清單中選取套用的檔案格式。 選取 [設定] 來設定檔案格式。 對於不同檔案格式的設定，請參閱＜支援的格式＞中的文章來取得詳細資訊。

在 [進階] 下，可以指定下列欄位：

• 依上次修改日期篩選：根據上次修改日期篩選檔案。 將檔案路徑類型設定為「檔案清單」時，此屬性不適用。

  • 開始時間 (UTC)：如果檔案上次修改時間大於或等於設定的時間，則會選取這些檔案。

  • 結束時間 (UTC)：如果檔案上次修改時間小於設定的時間，則會選取這些檔案。

  [開始時間 (UTC)] 具有日期時間值，但 [結束時間 (UTC)] 為 NULL 時，這表示系統將會選取上次修改時間屬性大於或等於此日期時間值的檔案。 [結束時間 (UTC)] 具有日期時間值，但 [開始時間 (UTC)] 為 NULL 時，這表示系統會選取上次修改時間屬性小於此日期時間值的檔案。 屬性可以是 NULL，這表示不會將任何檔案屬性篩選條件套用至資料。

• 啟用分割探索：指定是否要從檔案路徑剖析分割，並將分割新增為其他來源資料行。 預設未選取此項，且使用二進位檔案格式時不支援此項。

  • 分割根路徑：啟用分割探索時，請指定絕對根路徑，將已分割的資料夾作為資料行進行讀取。

    如果未指定，則根據預設，

    • 使用檔案路徑或來源上的檔案清單時，分割根路徑是您所設定的路徑。
    • 使用萬用字元資料夾篩選條件時，分割根路徑是第一個萬用字元前面的子路徑。

    例如，假設將路徑設定為 root/folder/year=2020/month=08/day=27：

    • 如果將分割根路徑指定為 root/folder/year=2020，則除了檔案內的資料行之外，複製活動還會分別產生值為 "08" 和 "27" 的兩個月份和日資料行。
    • 如果未指定分割根路徑，則不會產生額外的資料行。

  

• 並行連線數上限：此屬性表示在活動執行期間，與資料存放區建立的並行連線數上限。 僅在想要限制並行連線時，才需要指定值。

• 其他資料行：新增其他資料行來儲存來源檔案的相對路徑或靜態值。 後者支援運算式。

Destination

在複製活動的 [目的地] 索引標籤下，Azure Data Lake Storage Gen2 支援下列屬性。

以下是必要的屬性：

• 資料存放區類型：選取 [外部]。
• 連線：從連線清單中選取 [Azure Data Lake Storage Gen2] 連線。 如果不存在連線，請選取 [新增]，來建立新的 Azure Data Lake Storage Gen2 連線。
• 連線類型：選取 [Azure Data Lake Storage Gen2]。
• 檔案路徑：選取 [瀏覽] 來選擇要複製的檔案，或手動填入路徑。
• 檔案格式：從下拉式清單中選取套用的檔案格式。 選取 [設定] 來設定檔案格式。 對於不同檔案格式的設定，請參閱＜支援的格式＞中的文章來取得詳細資訊。

在 [進階] 下，可以指定下列欄位：

• 複製行為：定義來源是來自檔案型資料存放區的檔案時的複製行為。 可以從下拉式清單中選擇行為。

  

  • 扁平化階層：來自來源資料夾的所有檔案都在目的地資料夾的第一層中。 目的地檔案具有自動產生的名稱。
  • 合併檔案：將來源資料夾的所有檔案合併為一個檔案。 若已指定檔案名稱，合併檔案的名稱會是指定的名稱。 否則，就會是自動產生的檔案名稱。
  • 保留階層：保留目標資料夾中的檔案階層。 來源檔案到來源資料夾的相對路徑，與目標檔案到目標資料夾的相對路徑相同。

• 並行連線數上限：在活動執行期間，與資料存放區建立的並行連線數上限。 僅在想要限制並行連線時，才需要指定值。

• 區塊大小 (MB)：指定區塊大小 (以 MB 為單位)，用於將資料寫入 Azure Data Lake Storage Gen2。 如需詳細資訊，請參閱＜區塊 Blob＞。 允許的值介於 4 MB 到 100 MB 之間。

  根據預設，根據來源存放區類型和資料，自動決定區塊大小。 對於非二進位複製到 Azure Data Lake Storage Gen2 中，預設區塊大小為 100 MB，因此最多大約可容納 4.75 TB 的資料。 資料不大時，可能不是最佳選擇。 可以明確指定區塊大小，同時確保 [區塊大小 (MB)] *50000 足夠大，以便儲存資料，否則複製活動執行會失敗。

• 中繼資料：複製到目的地資料存放區時，設定自訂中繼資料。 metadata 陣列下的每個物件都代表額外的資料行。 name 會定義中繼資料索引鍵名稱，而 value 表示該索引鍵的資料值。 若使用保留屬性功能，指定的中繼資料會與來源檔案中繼資料聯合/覆寫。

  允許的資料值為：

  • $$LASTMODIFIED：保留變數指出儲存來源檔案的上次修改時間。 僅適用於二進位格式的檔案型來源。
  • 運算式
  • 靜態值

  

對應

對於 [對應] 索引標籤組態，請參閱＜在 [對應] 索引標籤下設定對應＞。如果選擇 [二進位] 作為檔案格式，則不支援對應。

設定

對於 [設定] 索引標籤組態，請參閱＜在 [設定] 索引標籤下進行其他設定＞。

資料表摘要

下列資料表包含有關 Azure Data Lake Storage Gen2 中複製活動的詳細資訊。

來源資訊

目的地資訊

相關內容

• 設定 Azure Data Lake Storage Gen2 連線