Copy アクティビティで Azure Files を構成する

この記事では、データ パイプラインでの Copy アクティビティを使用して、Azure Files との間でデータをコピーする方法について説明します。

サポートされる形式

Azure Files では、次のファイル形式がサポートされています。 形式ベースの設定については、各記事を参照してください。

• Avro 形式
• バイナリ形式
• 区切りテキスト形式
• Excel 形式
• JSON 形式
• ORC 形式
• Parquet 形式
• XML 形式

サポートされている構成

Copy アクティビティの下の各タブの構成については、それぞれ次のセクションを参照してください。

• 全般
• ソース
• Destination (公開先)
• マッピング
• [設定]

全般

[全般設定] タブを構成するには、全般設定のガイダンスを参照してください。

ソース

Copy アクティビティの [ソース] タブの Azure Files では、次のプロパティがサポートされています。

次のプロパティは必須です。

• [データ ストアの種類]: [外部] を選択します。

• 接続: 接続リストから Azure Files 接続を選択します。 接続が存在しない場合は、[新規] を選択して新しい Azure Files 接続を作成します。

• [ファイル パスの種類]: ファイル パスの種類として、[ファイル パス]、[プレフィックス]、[ワイルドカード ファイル パス]、[ファイルの一覧] を選択できます。 各設定の構成は次のとおりです。

  • [ファイル パス]: この種類を選択すると、指定したフォルダー/ファイル パスからデータをコピーできます。

  • プレフィックス: 指定したファイル共有のファイル名のプレフィックスを指定して、ソース ファイルをフィルター処理します。 fileshare_in_connection/this_prefix で始まる名前のファイルが選択されます。 ワイルドカード フィルターより優れたパフォーマンスを提供する、Azure Files 用のサービス側フィルターを利用します。

    

  • [ワイルドカード ファイル パス]: ソース フォルダーまたはファイルをフィルター処理するワイルドカード文字を含むフォルダーまたはファイル パスを指定します。

    使用できるワイルドカードは、* (ゼロ文字以上の文字に一致) と ? (ゼロ文字または 1 文字に一致) です。 フォルダー名にワイルドカードまたはこのエスケープ文字が含まれている場合は、^ を使用してエスケープします。 他の例については、「フォルダーとファイル フィルターの例」をご覧ください。

    

    ワイルドカード フォルダー パス: ソース フォルダーをフィルター処理するために、ワイルドカード文字を含むフォルダーのパスを指定します。

    [ワイルドカード ファイル名]: ソース ファイルをフィルター処理するために、構成されたフォルダー (またはワイルドカード フォルダー パス) の下のワイルドカード文字を含むファイル名を指定します。

  • [ファイルの一覧]: コピーするファイル セットを示します。 [ファイル リストへのパス] で、コピーするファイルの一覧を含むテキスト ファイルを入力するか参照します。テキスト ファイルでは、各ファイルの相対パスを 1 行につき 1 つずつ指定します。

    このオプションを使用する場合は、ファイル名を指定しないでください。 その他の例については、「ファイル リストの例」をご覧ください。

    

    • [フォルダー パス]: フォルダーへのパスを指定します。 この引数は必須です。

    • [ファイル リストへのパス]: コピーするファイルの一覧を含むテキスト ファイルのパスを指定します。

• [再帰的]: データをサブフォルダーから再帰的に読み取るか、指定したフォルダーからのみ読み取るかを指定します。 [再帰的] が選択され、宛先がファイルベースのストアである場合、空のフォルダーおよびサブフォルダーは宛先にコピーされず、作成されません。 このプロパティは既定で選択されており、 [ファイル リストへのパス]を構成した場合は適用されません。

• [ファイル形式]: ドロップダウン リストから適用されるファイル形式を選択します。 [設定] を 選択してファイル形式を構成します。 さまざまなファイル形式の設定については、「サポートされている形式」を参照してください。

[詳細設定] では、次のフィールドを指定できます。

• [最終更新日でフィルター処理]: 最後に変更された日付に基づいてファイルがフィルター処理されます。 ファイル パスの種類を [ファイルの一覧] として構成する場合、このプロパティは適用されません。

  • 開始時刻 (UTC): 最終変更時刻が構成された時刻以降のファイルが選択されます。

  • 終了時刻 (UTC): 最終変更時刻が構成された時刻未満のファイルが選択されます。

    [開始時刻 (UTC)] に datetime 値を設定し、[終了時刻 (UTC)] を NULL にした場合は、最終更新属性が datetime 値以上であるファイルが選択されることを意味します。 [終了時刻 (UTC)] に datetime 値を設定し、[開始時刻 (UTC)] を NULL にした場合は、最終更新属性が datetime 値未満であるファイルが選択されることを意味します。 プロパティは、ファイル属性フィルターがデータに適用されないことを意味する NULL にすることができます。

• パーティション検出を有効にする: ファイル パスのパーティションを解析し、それを追加のソース列として追加するかどうかを指定します。 既定では選択されず、バイナリ ファイル形式を使用する場合はサポートされません。

  • [パーティションのルート パス]: パーティション検出が有効になっている場合は、パーティション分割されたフォルダーをデータ列として読み取るための絶対ルート パスを指定します。

    これが指定されていない場合は、既定で次のようになります。

    • ソースでファイル パスまたはファイルの一覧を使用する場合、パーティションのルート パスは、構成したパスです。
    • ワイルドカード フォルダー フィルターを使用する場合、パーティションのルート パスは最初のワイルドカードの前のサブパスです。

    たとえば、パスを root/folder/year=2020/month=08/day=27 として構成するとします。

    • パーティションのルート パスを root/folder/year=2020 として指定した場合は、コピー アクティビティによって、ファイル内の列に加え、値がそれぞれ "08" と "27" の月と日という 2 つの列がさらに生成されます。
    • パーティションのルート パスが指定されていない場合、追加の列は生成されません。

  

• [最大コンカレント接続数]: このプロパティは、アクティビティの実行中にデータ ストアに対して確立されるコンカレント接続数の上限を示します。 コンカレント接続を制限する場合にのみ、値を指定します。

• [追加の列]: ソース ファイルの相対パスまたは静的値を格納するための追加のデータ列を追加します。 後者では式がサポートされています。

宛先

Copy アクティビティの [コピー先] タブの Azure Files では、次のプロパティがサポートされています。

次のプロパティは必須です。

• [データ ストアの種類]: [外部] を選択します。
• 接続: 接続リストから Azure Files 接続を選択します。 接続が存在しない場合は、[新規] を選択して新しい Azure Files 接続を作成します。
• [ファイル パス]: [参照] を選択して、コピーするファイルを選択するか、パスを手動で入力します。
• ファイル形式: ドロップダウン リストから適用されるファイル形式を選択します。 [設定] を 選択してファイル形式を構成します。 さまざまなファイル形式の設定については、「サポートされている形式」を参照してください。

[詳細設定] では、次のフィールドを指定できます。

• [コピー動作]: ソースがファイル ベースのデータ ストアのファイルの場合は、コピー動作を定義します。 ドロップダウン リストからビヘイビアーを選択できます。

  

  • [階層のフラット化]: ソース フォルダーのすべてのファイルがコピー先フォルダーの第一レベルに配置されます。 コピー先のファイルは、自動生成された名前になります。
  • [ファイルのマージ]: ソース フォルダーのすべてのファイルを 1 つのファイルにマージします。 ファイル名を指定した場合、マージされたファイル名は指定した名前になります。 それ以外は自動生成されたファイル名になります。
  • [階層の保持]: ターゲット フォルダー内でファイル階層を保持します。 ソース フォルダーに対するソース ファイルの相対パスと、ターゲット フォルダーに対するターゲット ファイルの相対パスが一致します。

• [最大コンカレント接続数]: アクティビティの実行中にデータ ストアに対して確立されるコンカレント接続数の上限。 コンカレント接続を制限する場合にのみ、値を指定します。

• [ファイルあたりの最大行数]: データをフォルダーに書き込むとき、複数のファイルに書き込み、ファイルあたりの最大行を指定することを選択できます。 ファイルごとに書き込む最大行数を指定します。

マッピング

[マッピング] タブの構成については、「[マッピング] タブでマッピングを構成する」を参照してください。ファイル形式としてバイナリを選択した場合、マッピングはサポートされません。

設定

[設定] タブの構成については、「[設定] タブで他の設定を構成する」を参照してください。

テーブルの概要

次のテーブルに、Azure Files の Copy アクティビティの詳細を示します。

ソース情報

コピー先の情報

関連するコンテンツ

• Azure Files の概要