在複製活動中設定 Google Cloud Storage

本文概述如何使用資料管線中的複製活動，從 Google Cloud Storage 複製資料及將資料複製到該處。

必要條件

您的 Google Cloud Storage 帳戶需要下列設定：

1. 啟用 Google Cloud Storage 帳戶的互通性。

2. 設定預設專案，其中包含您要從目標 Google Cloud Storage 貯體複製的資料。

3. 建立服務帳戶，並使用 GCP 上的雲端 IAM 定義正確的權限層級。

4. 產生此服務帳戶的存取金鑰。

   

所需的權限

若要從 Google Cloud Storage 複製資料，請確定您已獲得下列物件作業的權限︰storage.objects.get 和 storage.objects.list。

此外，測試連線和從根目錄瀏覽等作業需要 storage.buckets.list 權限。

如需 Google Cloud Storage 角色和關聯權限的完整清單，請移至 Google Cloud 網站上的 Cloud Storage 的 IAM 角色。

支援的格式

Google Cloud Storage 支援下列檔案格式。 請參閱每篇文章，以取得以格式為基礎的設定。

• Avro 格式
• 二進位格式
• 分隔符號文字格式
• Excel 格式
• JSON 格式
• ORC 格式
• Parquet 格式
• XML 格式

支援的設定

如需複製活動下每個索引標籤的組態，請分別移至下列各節。

• 一般
• 來源
• 目的地
• 對應
• 設定

一般

如需 [一般] 索引標籤組態，請移至 [一般]。

來源

在複製活動的 [來源] 索引標籤下，Google Cloud Storage 支援下列屬性。

以下是必要的屬性：

• 資料存放區類型：選取 [外部]。

• 連線：從連線清單中選取 [Google Cloud Storage] 連線。 如果不存在連線，請選取 [新增]，來建立新的 Google Cloud Storage 連線。

• 檔案路徑類型：您可以選擇 [檔案路徑]、[前置詞]、[萬用字元檔案路徑] 或 [檔案清單] 作為檔案路徑類型。 其中每個設定的組態如下：

  • 檔案路徑：如果您選擇此類型，可以從在 [檔案路徑] 中指定的所指定貯體或資料夾/檔案路徑複製資料。

  • 前置詞：如果您選擇此類型，請指定 [貯體] 和 [前置詞]。

    • 貯體：指定 Google Cloud Storage 貯體名稱。 此為必要。

    • 前置詞：所指定貯體下的 Google Cloud Storage 索引鍵名稱前置詞，以篩選來源 Google Cloud Storage 檔案。 選取名稱開頭為 given_bucket/this_prefix 的 Google Cloud Storage 索引鍵。 其利用 Google Cloud Storage 的服務端篩選，以提供優於萬用字元篩選的效能。

      

  • 萬用字元檔案路徑：如果您選擇此類型，請指定 [貯體] 和 [萬用字元路徑]。

    • 貯體：指定 Google Cloud Storage 貯體名稱。 此為必要。

    • 萬用字元路徑：指定所指定貯體下具有萬用字元的資料夾或檔案路徑，以篩選來源資料夾或檔案。

      允許的萬用字元為：* (符合零或多個字元) 和 ? (符合零或單一字元)。 若資料夾名稱具有萬用字元或逸出字元 ^，則請使用此逸出字元進行逸出。 如需更多範例，請參閱資料夾和檔案篩選器範例。

      

      • 萬用字元資料夾路徑：指定所指定貯體下具有萬用字元的資料夾路徑，以篩選來源資料夾。

      • 萬用字元檔案名稱：指定所指定貯體和資料夾路徑 (或萬用字元資料夾路徑) 下具有萬用字元的檔案名稱，以篩選來源檔案。

  • 檔案清單：如果您選擇此類型，請指定 [資料夾路徑] 和 [檔案清單的路徑] 以指示複製指定的檔案集。 指向含有所要複製檔案清單的文字檔，一行一個檔案，而這是所設定路徑的相對路徑。 如需更多範例，請移至檔案清單範例。

    

    • 資料夾路徑：指定所指定貯體下資料夾的路徑。 此為必要。
    • 檔案清單的路徑：指定文字檔的路徑，其中包含您要複製的檔案清單。

• 遞迴：指出是否從子資料夾或僅從指定的資料夾，以遞迴方式讀取資料。 請注意，在選取此核取方塊且目的地為檔案型存放區時，不會在目的地複製或建立空的資料夾或子資料夾。

• 檔案格式：從下拉式清單中選取套用的檔案格式。 選取 [設定] 以設定檔案格式。 如需不同檔案格式的設定，請參閱支援格式的文章以取得詳細資訊。

在 [進階] 下，您可以指定下列欄位：

• 依上次修改日期篩選：根據您指定的上次修改日期篩選檔案。 當您將檔案路徑類型設定為檔案清單時，此屬性不適用。

  • 開始時間 (UTC)：如果檔案上次修改時間大於或等於設定的時間，則會選取這些檔案。
  • 結束時間 (UTC)：如果檔案上次修改時間小於設定的時間，則會選取這些檔案。

  當 [開始時間 (UTC)] 有日期時間值，但 [結束時間 (UTC)] 為 NULL 時，表示系統將會選取上次修改時間屬性大於或等於此日期時間值的檔案。 當 [結束時間 (UTC)] 有日期時間值，但 [開始時間 (UTC)] 為 NULL 時，表示系統將會選取上次修改時間屬性小於此日期時間值的檔案。 屬性可以是 NULL，這表示不會將任何檔案屬性篩選器套用至資料。

• 啟用分割探索：指定是否從檔案路徑剖析分割，並將其新增為其他來源資料行。 預設未選取此值，且當您使用二進位檔案格式時不受支援。

  • 分割區根路徑：啟用分割區探索時，指定絕對根路徑，將已分割的資料夾當成資料行進行讀取。

    如果未指定，則根據預設，

    • 當您使用檔案路徑或來源上的檔案清單時，分割根路徑是您設定的路徑。
    • 當您使用萬用字元資料夾篩選時，分割根路徑是第一個萬用字元前面的子路徑。
    • 當您使用前置詞時，分割根路徑是最後一個 "/" 前的子路徑。

    例如，假設您將路徑設定為 root/folder/year=2020/month=08/day=27：

    • 如果您將分割根路徑指定為 root/folder/year=2020，則除了檔案內的資料行之外，複製活動還會分別再產生值為 "08" 和 "27" 的兩個資料行即月和日。
    • 如果未指定分割根路徑，則不會產生額外的資料行。

    

• 並行連線數上限：在活動執行期間建立至資料存放區的並行連線數上限。 僅在想要限制並行連線時，才需要指定值。

• 其他資料行：新增其他資料行以儲存來源檔案的相對路徑或靜態值。 後者支援運算式。

Destination

在複製活動的 [目的地] 索引標籤下，Google Cloud Storage 支援下列屬性。

以下是必要的屬性：

• 資料存放區類型：選取 [外部]。
• 連線：從連線清單中選取 Google Cloud Storage 連線。 如果不存在連線，請選取 [新增]，來建立新的 Google Cloud Storage 連線。
• 檔案路徑：您可以將資料複製到指定的貯體或指定的貯體和資料夾路徑。
• 檔案格式：從下拉式清單中選取套用的檔案格式。 選取 [設定] 以設定檔案格式。 如需不同檔案格式的設定，請參閱支援格式的文章以取得詳細資訊。

在 [進階] 下，您可以指定下列欄位：

• 複製行為：當來源是來自檔案型資料存放區的檔案時，會定義複製行為。 您可以從下拉式清單中選擇行為。

  • 扁平化階層：來自來源資料夾的所有檔案都在目的地資料夾的第一層中。 目的地檔案具有自動產生的名稱。
  • 合併檔案：將來源資料夾的所有檔案合併為一個檔案。 若已指定檔案名稱，合併檔案的名稱會是指定的名稱。 否則，就會是自動產生的檔案名稱。
  • 保留階層：保留目標資料夾中的檔案階層。 來源檔案到來源資料夾的相對路徑，與目標檔案到目標資料夾的相對路徑相同。

• 並行連線數上限：此屬性指出在活動執行期間建立至資料存放區的並行連線數上限。 僅在想要限制並行連線時，才需要指定值。

對應

如需 [對應] 索引標籤組態，請參閱在 [對應] 索引標籤下設定對應。如果您選擇 [二進位] 作為檔案格式，則不支援對應。

設定

如需 [設定] 索引標籤組態，請移至在 [設定] 索引標籤下進行其他設定]。

資料表摘要

下列各表包含有關 Google Cloud Storage 中複製活動的詳細資訊。

來源資訊

目的地資訊

相關內容

• 設定 Google Cloud Storage 連線