在複製活動中設定 Oracle Cloud Storage

本文概述如何使用資料管線中的複製活動，從 Oracle Cloud Storage 複製資料及將資料複製到該處。

必要條件

若要從 Oracle Cloud Storage 複製資料，請參閱物件儲存體 Amazon S3 相容性 API 以取得必要條件和所需權限。

支援的格式

Oracle Cloud Storage 支援下列檔案格式。 請參閱每篇文章，以取得以格式為基礎的設定。

• Avro 格式
• 二進位格式
• 分隔符號文字格式
• Excel 格式
• JSON 格式
• ORC 格式
• Parquet 格式
• XML 格式

支援的設定

如需複製活動上每個索引標籤的組態，請移至下列各節：

• 一般
• 來源
• 對應
• 設定

一般

如需 [一般] 索引標籤組態，請移至 [一般]。

來源

在複製活動的 [來源] 索引標籤上，Oracle Cloud Storage 支援下列屬性。

以下是必要的屬性：

• 資料存放區類型：選取 [外部]。

• 連線：從連線清單中選取 [Oracle Cloud Storage] 連線。 如果不存在連線，請選取 [新增]，以建立新的 Oracle Cloud Storage 連線。

• 檔案路徑類型：您可以選擇 [檔案路徑]、[前置詞]、[萬用字元檔案路徑] 或 [檔案清單] 作為檔案路徑類型。 其中每個設定的組態如下：

  • 檔案路徑：您可以從 [檔案路徑] 中指定的貯體或資料夾/檔案路徑複製該資料。

  • 前置詞：指定 [貯體] 和 [前置詞]。

    • 貯體：指定 Oracle Cloud Storage 貯體名稱。 此為必填資訊。

    • 前置詞：所指定貯體下的 Oracle Cloud Storage 索引鍵名稱前置詞，以篩選來源 Oracle Cloud Storage 檔案。 選取名稱開頭為 given_bucket/this_prefix 的 Oracle Cloud Storage 索引鍵。 其利用 Oracle Cloud Storage 的服務端篩選，以提供優於萬用字元篩選的效能。

      

  • 萬用字元檔案路徑：指定 [貯體] 和 [萬用字元路徑]。

    • 貯體：指定 Oracle Cloud Storage 貯體名稱。 此為必填資訊。

    • 萬用字元路徑：指定所指定貯體下具有萬用字元的資料夾或檔案路徑，以篩選來源資料夾或檔案。

      允許的萬用字元為：* (符合零或多個字元) 和 ? (符合零或單一字元)。 如果資料夾名稱具有萬用字元或逸出字元 ^，則請使用此逸出字元予以逸出。 如需更多範例，請參閱資料夾和檔案篩選器範例。

      

      • 萬用字元資料夾路徑：指定所指定貯體下具有萬用字元的資料夾路徑，以篩選來源資料夾。
      • 萬用字元檔案名稱：指定所指定貯體和資料夾路徑 (或萬用字元資料夾路徑) 下具有萬用字元的檔案名稱，以篩選來源檔案。

  • 檔案清單：指定 [資料夾路徑] 和 [檔案清單的路徑] 以指示複製指定的檔案集。 指向含有所要複製檔案清單的文字檔，一行一個檔案，而這是所設定路徑的相對路徑。 如需更多範例，請移至檔案清單範例。

    

    • 資料夾路徑：指定所指定貯體下資料夾的路徑。 此為必填資訊。
    • 檔案清單的路徑：指定文字檔的路徑，其中包含您要複製的檔案清單。

• 遞迴：指出是否從子資料夾或僅從指定的資料夾，以遞迴方式讀取資料。 選取此核取方塊且目的地為檔案型存放區時，不會在目的地複製或建立空的資料夾或子資料夾。

• 檔案格式：從下拉式清單中選取套用的檔案格式。 選取 [設定] 以設定檔案格式。 如需不同檔案格式的設定，請參閱支援格式的文章。

在 [進階] 下，您可以指定下列欄位：

• 依上次修改日期篩選：根據您指定的上次修改日期篩選檔案。 當您將檔案路徑類型設定為檔案清單時，此屬性不適用。

  • 開始時間 (UTC)：如果檔案上次修改時間大於或等於設定的時間，則會選取這些檔案。
  • 結束時間 (UTC)：如果檔案上次修改時間小於設定的時間，則會選取這些檔案。

  當 [開始時間 (UTC)] 有日期時間值，但 [結束時間 (UTC)] 為 NULL 時，表示系統將會選取上次修改時間屬性大於或等於此日期時間值的檔案。 當 [結束時間 (UTC)] 有日期時間值，但 [開始時間 (UTC)] 為 NULL 時，表示系統將會選取上次修改時間屬性小於此日期時間值的檔案。 此屬性可以是 NULL，這意謂著不會對資料套用任何檔案屬性篩選器。

• 啟用分割探索：指定是否從檔案路徑剖析分割，並將其新增為其他來源資料行。 預設不會選取此值，且當您使用二進位檔案格式時不受支援。

  • 分割根路徑：啟用分割探索時，指定絕對根路徑，以將已分割的資料夾當成資料行進行讀取。

    如果未指定，則依預設：

    • 當您使用檔案路徑或來源上的檔案清單時，分割根路徑是您設定的路徑。
    • 當您使用萬用字元資料夾篩選器時，分割根路徑是第一個萬用字元前的子路徑。
    • 當您使用前置詞時，分割根路徑是最後一個 "/" 前的子路徑。

    例如，假設您將路徑設定為 root/folder/year=2020/month=08/day=27：

    • 如果您將分割根路徑指定為 root/folder/year=2020，複製活動會再產生兩個資料行：月和日。 除了檔案內的資料行之外，這些資料行也分別具有 "08" 和 "27" 的值。
    • 如果未指定分割根路徑，則不會產生額外資料行。

    

• 並行連線數上限：在活動執行期間建立至資料存放區的並行連線上限。 僅在想要限制並行連線時，才需要指定值。

• 其他資料行：新增更多資料行以儲存來源檔案的相對路徑或靜態值。 後者支援運算式。

對應

如需 [對應] 索引標籤組態，請參閱在 [對應] 索引標籤下設定對應。如果您選擇 [二進位] 作為檔案格式，則不支援對應。

設定

如需 [設定] 索引標籤組態，請參閱在 [設定] 索引標籤下進行其他設定]。

資料表摘要

下表包含有關 Oracle Cloud Storage 中複製活動的詳細資訊。

來源資訊

相關內容

• Oracle Cloud Storage 連接器概觀