Copy アクティビティで Azure Data Lake Storage Gen2 を構成する

この記事では、データ パイプラインのコピー アクティビティを使用して、Azure Data Lake Storage Gen2 との間でデータをコピーする方法について説明します。

サポートされている形式

Azure Data Lake Storage Gen2 では、次のファイル形式がサポートされています。 形式ベースの設定については、各記事を参照してください。

• Avro 形式
• バイナリ形式
• 区切りテキスト形式
• Excel 形式
• JSON 形式
• ORC 形式
• Parquet 形式
• XML 形式

サポートされている構成

Copy アクティビティの下の各タブの構成については、それぞれ次のセクションを参照してください。

• 全般
• ソース
• Destination (公開先)
• マッピング
• [設定]

全般

[全般設定] タブを構成するには、全般設定のガイダンスを参照してください。

ソース

コピー アクティビティの [ソース] タブの Azure Data Lake Storage Gen2 では、次のプロパティがサポートされています。

次のプロパティは必須です。

• [データ ストアの種類]: [外部] を選択します。

• [接続]: 接続リストから Azure Data Lake Storage Gen2 接続を選択します。 接続が存在しない場合は、[新規] を選択して新しい Azure Data Lake Storage Gen2 接続を作成します。

• [接続の種類]: Azure Data Lake Storage Gen2 を選択します。

• [ファイル パスの種類]: ファイル パスの種類として、[ファイル パス]、[ワイルドカード ファイル パス]、または [ファイルの一覧] を選択できます。 これらの各設定の構成は次のとおりです。

  • [ファイル パス]: この種類を選択した場合、以前指定された特定のファイル システムまたはフォルダー/ファイル パスからデータをコピーできます。

  • [ワイルドカード ファイル パス]: この種類を選択した場合、ファイル システムおよび ワイルドカード パスを指定します。

    • [ファイル システム]: Azure Data Lake Storage Gen2 の ファイル システム名。

    • [ワイルドカード パス]: ソース フォルダーまたはファイルをフィルター処理するための、指定したファイル システムの下にあるワイルドカード文字を含むフォルダーまたはファイル パスを指定します。

      使用できるワイルドカードは、* (ゼロ文字以上の文字に一致) と ? (ゼロ文字または 1 文字に一致) です。 フォルダー名にワイルドカードまたはこのエスケープ文字が含まれている場合は、^ を使用してエスケープします。 他の例については、「フォルダーとファイル フィルターの例」をご覧ください。

      

      • [ワイルドカード フォルダー パス]: ソース フォルダーをフィルター処理するための、指定したファイル システムの下にあるワイルドカード文字を含むフォルダー パスを指定します。

      • [ワイルドカード ファイル名]: ソース ファイルをフィルター処理するための、指定したファイルシステムおよびフォルダー パス (またはワイルドカード フォルダー パス) の下にあるワイルドカード文字を含むファイル名を指定します。

  • [ファイルの一覧]: 指定されたファイル セットをコピーすることを示します。 [フォルダー パス] と [ファイルリストへのパス] を指定し、コピーするファイルの一覧を含むテキスト ファイルを指定します。1 行に 1 つのファイル(パスへの相対パス) が含まれます。 その他の例については、「ファイル リストの例」をご覧ください。

    

    • [フォルダー パス]: 指定したファイル システムの下にあるフォルダーへのパスを指定します。 この引数は必須です。

    • [ファイル リストへのパス]: コピーするファイルの一覧を含むテキスト ファイルのパスを指定します。

• [再帰的]: データをサブフォルダーから再帰的に読み取るか、指定したフォルダーからのみ読み取るかを指定します。 [再帰的] が選択され、宛先がファイルベースのストアである場合、空のフォルダーおよびサブフォルダーは宛先にコピーされず、作成されません。 このプロパティは既定で選択されており、 [ファイル リストへのパス]を構成した場合は適用されません。

• [ファイル形式]: ドロップダウン リストから適用されるファイル形式を選択します。 [設定] を 選択してファイル形式を構成します。 さまざまなファイル形式の設定については、「サポートされている形式」を参照してください。

[詳細設定] では、次のフィールドを指定できます。

• [最終更新日でフィルター処理]: 最後に変更された日付に基づいてファイルがフィルター処理されます。 ファイル パスの種類を [ファイルの一覧] として構成する場合、このプロパティは適用されません。

  • 開始時刻 (UTC): 最終変更時刻が構成された時刻以降のファイルが選択されます。

  • 終了時刻 (UTC): 最終変更時刻が構成された時刻未満のファイルが選択されます。

  [開始時刻 (UTC)] に datetime 値を設定し、[終了時刻 (UTC)] を NULL にした場合は、最終更新属性が datetime 値以上であるファイルが選択されることを意味します。 [終了時刻 (UTC)] に datetime 値を設定し、[開始時刻 (UTC)] を NULL にした場合は、最終更新属性が datetime 値未満であるファイルが選択されることを意味します。 プロパティは、ファイル属性フィルターがデータに適用されないことを意味する NULL にすることができます。

• パーティション検出を有効にする: ファイル パスのパーティションを解析し、それを追加のソース列として追加するかどうかを指定します。 既定では選択されず、バイナリ ファイル形式を使用する場合はサポートされません。

  • [パーティションのルート パス]: パーティション検出が有効になっている場合は、パーティション分割されたフォルダーをデータ列として読み取るための絶対ルート パスを指定します。

    これが指定されていない場合は、既定で次のようになります。

    • ソースでファイル パスまたはファイルの一覧を使用する場合、パーティションのルート パスは、構成したパスです。
    • ワイルドカード フォルダー フィルターを使用する場合、パーティションのルート パスは最初のワイルドカードの前のサブパスです。

    たとえば、パスを root/folder/year=2020/month=08/day=27 として構成するとします。

    • パーティションのルート パスを root/folder/year=2020 として指定した場合は、コピー アクティビティによって、ファイル内の列に加え、値がそれぞれ "08" と "27" の月と日という 2 つの列がさらに生成されます。
    • パーティションのルート パスが指定されていない場合、追加の列は生成されません。

  

• [最大コンカレント接続数]: このプロパティは、アクティビティの実行中にデータ ストアに対して確立されるコンカレント接続数の上限を示します。 コンカレント接続を制限する場合にのみ、値を指定します。

• [追加の列]: ソース ファイルの相対パスまたは静的値を格納するための追加のデータ列を追加します。 後者では式がサポートされています。

宛先

コピー アクティビティの [コピー先] タブの Azure Data Lake Storage Gen2 では、次のプロパティがサポートされています。

次のプロパティは必須です。

• [データ ストアの種類]: [外部] を選択します。
• [接続]: 接続リストから Azure Data Lake Storage Gen2 接続を選択します。 接続が存在しない場合は、[新規] を選択して新しい Azure Data Lake Storage Gen2 接続を作成します。
• [接続の種類]: Azure Data Lake Storage Gen2 を選択します。
• [ファイル パス]: [参照] を選択して、コピーするファイルを選択するか、パスを手動で入力します。
• ファイル形式: ドロップダウン リストから適用されるファイル形式を選択します。 [設定] を 選択してファイル形式を構成します。 さまざまなファイル形式の設定については、「サポートされている形式」を参照してください。

[詳細設定] では、次のフィールドを指定できます。

• [コピー動作]: ソースがファイル ベースのデータ ストアのファイルの場合は、コピー動作を定義します。 ドロップダウン リストからビヘイビアーを選択できます。

  

  • [階層のフラット化]: ソース フォルダーのすべてのファイルがコピー先フォルダーの第一レベルに配置されます。 コピー先のファイルは、自動生成された名前になります。
  • [ファイルのマージ]: ソース フォルダーのすべてのファイルを 1 つのファイルにマージします。 ファイル名を指定した場合、マージされたファイル名は指定した名前になります。 それ以外は自動生成されたファイル名になります。
  • [階層の保持]: ターゲット フォルダー内でファイル階層を保持します。 ソース フォルダーに対するソース ファイルの相対パスと、ターゲット フォルダーに対するターゲット ファイルの相対パスが一致します。

• [最大コンカレント接続数]: アクティビティの実行中にデータ ストアに対して確立されるコンカレント接続数の上限。 コンカレント接続を制限する場合にのみ、値を指定します。

• [ブロック サイズ (MB)]: Azure Data Lake Storage Gen2 にデータを書き込むために使用するブロック サイズを MB (メガバイト)で指定します。 詳細については、「ブロック BLOB について」を参照してください。 指定できる値は、4 MB から 100 MB です。

  既定では、ソース ストアの種類とデータに基づいて、ブロック サイズが自動的に決定されます。 Azure Data Lake Storage Gen2 への非バイナリ コピーの場合、最大約 4.75 TB のデータに収まるよう、既定のブロック サイズは 100 MB になります。 データが大きくない場合、最適でない可能性があります。 ブロック サイズは明示的に指定できますが、ブロック サイズ (MB) *50000 がデータを確実に格納するのに十分な大きさであるようにしてください。そうでない場合、Copy アクティビティの実行は失敗します。

• [メタデータ]: コピー先にコピーするときのカスタム メタデータを設定します。 metadata 配列の各オブジェクトは追加列を表します。 name ではメタデータ キー名を定義し、value では、そのキーのデータ値を指定します。 属性の保持機能が使用されている場合は、ソース ファイルのメタデータを使用して、指定されたメタデータの和集合の作成や上書きが行われます。

  使用できるデータ値:

  • $$LASTMODIFIED: 予約済みの変数によって、ソース ファイルの最終更新時刻を格納することを指定します。 バイナリ形式のファイルベースのソースにのみ適用されます。
  • Expression
  • 静的な値

  

マッピング

[マッピング] タブの構成については、「[マッピング] タブでマッピングを構成する」を参照してください。ファイル形式として [バイナリ] を選択した場合、マッピングはサポートされません。

設定

[設定] タブの構成については、「[設定] タブで他の設定を構成する」を参照してください。

テーブルの概要

次の表に、Azure Data Lake Storage Gen2 のコピー アクティビティの詳細を示します。

ソース情報

コピー先の情報

関連するコンテンツ

• Azure Data Lake Storage Gen2 接続を設定する