Copy アクティビティで SQL Server を構成する

この記事では、データ パイプラインでの Copy アクティビティを使用して、SQL Server 間でデータをコピーする方法について説明します。

サポートされている構成

Copy アクティビティの下の各タブの構成については、それぞれ次のセクションを参照してください。

• 全般
• ソース
• Destination (公開先)
• マッピング
• [設定]

全般

[全般設定] タブを構成するには、全般設定のガイダンスを参照してください。

ソース

Copy アクティビティの [ソース] タブの SQL Server では、次のプロパティがサポートされています。

次のプロパティは必須です。

• [データ ストアの種類]: [外部] を選択します。

• 接続: 接続リストから [SQL Server] 接続を選択します。 接続が存在しない場合は、[新規] を選択して新しい SQL Server 接続を作成します。

• 接続の種類: SQL Server を選択します。

• クエリの使用: データの読み取り方法を指定します。 [テーブル]、[クエリ]、または [ストアド プロシージャ] を選択できます。 次の一覧で、各設定の構成について説明します。

  • テーブル: 指定したテーブルからデータを読み取ります。 ドロップダウン リストからソース テーブルを選択するか、[編集] を選択して手動で入力します。

  • [クエリ]: カスタムの SQL クエリを使用してデータを読み取ります。 たとえば select * from MyTable です。 または、鉛筆アイコンを選択してコード エディターで編集します。

    

  • [ストアド プロシージャ]: ストアド プロシージャを使用してソース テーブルからデータを読み取ります。 最後の SQL ステートメントはストアド プロシージャの SELECT ステートメントにする必要があります。

    • ストアド プロシージャ名: ストアド プロシージャを選択するか、[編集] を選択した場合はストアド プロシージャ名を手動で指定し、ソース テーブルからデータを読み取ります。

    • [ストアド プロシージャ パラメーター]: ストアド プロシージャ パラメーターの値を指定します。 使用可能な値は、名前または値のペアです。 パラメーターの名前とその大文字と小文字は、ストアド プロシージャのパラメーターの名前とその大文字小文字と一致する必要があります。 [インポート パラメーター] を選択して、ストアド プロシージャ パラメーターを取得できます。

      

[詳細設定] では、次のフィールドを指定できます。

• [クエリ タイムアウト (分)]: クエリ コマンド実行時のタイムアウト時間を指定します。既定値は 120 分です。 このプロパティにパラメーターを設定する場合は、「02:00:00」(120 分) などの期間の値が使用できます。

• [分離レベル]: SQL ソースのトランザクション ロック動作を指定します。 許可される値は、None、ReadCommitted、ReadUncommitted、RepeatableRead、Serializable、Snapshot のいずれかです。 指定しなかった場合は、データベースの既定の分離レベルが使用されます。 詳細については、「IsolationLevel 列挙型」 を参照してください。

  

• パーティション オプション: SQL Server からのデータの読み込みに使用するデータ パーティション分割オプションを指定します。 使用できる値は、なし (既定値)、テーブルの物理パーティション、および動的範囲です。 パーティション オプションが有効になっている場合 (つまり、なしではない場合)、SQL Serverから同時にデータを読み込む並列処理の次数は、Copy アクティビティの設定タブの [コピーの並列処理] によって制御されます。

  • [なし]: パーティションを使用しないようにするには、この設定を選択します。

  • [テーブルの物理パーティション]: 物理パーティションを使用する場合、パーティション列とメカニズムは、物理テーブル定義に基づいて自動的に決定されます。

  • [動的範囲]: 並列を有効にしたクエリを使用する場合は、範囲パーティション パラメーター (?DfDynamicRangePartitionCondition) が必要です。 サンプル クエリ:SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition。

    • [パーティション列名]: 並列コピーの範囲パーティション分割で使用される整数型または日付/日時型 (int、smallint、bigint、date、smalldatetime、datetime、datetime2 または datetimeoffset) のソース列の名前を指定します。 指定されない場合は、テーブルのインデックスまたは主キーが自動検出され、パーティション列として使用されます。

      クエリを使用してソース データを取得する場合は、WHERE 句で ?DfDynamicRangePartitionCondition をフックします。 例については、「SQL データベースからの並列コピー」セクションを参照してください。

    • [パーティションの上限]: パーティション範囲の分割に使用するパーティション列の最大値を指定します。 この値は、テーブル内の行のフィルター処理用ではなく、パーティションのストライドを決定するために使用されます。 テーブルまたはクエリ結果に含まれるすべての行がパーティション分割され、コピーされます。 指定されていない場合は、コピー アクティビティによって値が自動検出されます。 例については、「SQL データベースからの並列コピー」セクションを参照してください。

    • [パーティションの下限]: パーティション範囲の分割に使用するパーティション列の最小値を指定します。 この値は、テーブル内の行のフィルター処理用ではなく、パーティションのストライドを決定するために使用されます。 テーブルまたはクエリ結果に含まれるすべての行がパーティション分割され、コピーされます。 指定されていない場合は、コピー アクティビティによって値が自動検出されます。 例については、「SQL データベースからの並列コピー」セクションを参照してください。

• [追加の列]: ソース ファイルの相対パスまたは静的値を格納するための追加のデータ列を追加します。 後者では式がサポートされています。

以下の点に注意してください。

• ソースにクエリが指定されている場合、Copy アクティビティでは、データを取得するために SQL Server ソースに対してこのクエリを実行します。 ストアド プロシージャ名とストアド プロシージャ パラメーターを指定して、ストアド プロシージャを指定することもできます (ストアド プロシージャでパラメーターを使用する場合)。
• ソースのストアド プロシージャを使用してデータを取得する場合、異なるパラメーター値が渡されたときに別のスキーマを返すようにストアド プロシージャが設計されていると、UI からスキーマをインポートするときや、テーブルの自動作成を使用して SQL データベースにデータをコピーするときに、エラーが発生したり、予期しない結果になったりする可能性があります。

宛先

Copy アクティビティの [コピー先] タブの SQL Server では、次のプロパティがサポートされています。

次のプロパティは必須です。

• [データ ストアの種類]: [外部] を選択します。

• 接続: 接続リストから [SQL Server] 接続を選択します。 接続が存在しない場合は、[新規] を選択して新しい SQL Server 接続を作成します。

• 接続の種類: SQL Server を選択します。

• テーブル オプション: [既存のものを使用する]、を選択して指定したテーブルを使用することができます。 または [テーブルの自動作成] を選択して、ソース スキーマにテーブルが存在しない場合にコピー先テーブルを自動的に作成します。ストアド プロシージャが書き込み動作として使用されている場合、この選択はサポートされないことに注意してください。

  [既存のものを使用] を選択した場合:

  • テーブル: ドロップダウン リストからコピー先データベースのテーブルを選択します。 または、[編集] をチェックして、テーブル名を手動で入力します。

  [テーブルの自動作成] を選択した場合:

  • テーブル: 自動作成されるコピー先テーブルの名前を指定します。

[詳細設定] では、次のフィールドを指定できます。

• [書き込み動作]: コピー元がファイルベース データ ストアのファイルである場合に書き込み動作を定義します。 [挿入]、[アップサート]、または [ストアド プロシージャ] を選択できます。

  • 挿入: このオプションを選択すると、挿入書き込み動作を使用して SQL Server にデータが読み込まれます。

  • アップサート: このオプションを選択すると、アップサート書き込み動作を使用して SQL Server にデータが読み込まれます。

    • [TempDB を使用]: アップサートの中間テーブルとしてグローバル一時テーブルと物理テーブルのどちらを使用するかを指定します。 既定では、サービスは中間テーブルとしてグローバル一時テーブルを使用し、このプロパティが選択されています。

      

    • ユーザー DB スキーマの選択: [TempDB を使用する] がオンになっていない場合は、物理テーブルを使用する場合に中間テーブルを作成するための中間スキーマを指定します。

      Note

      テーブルを作成および削除するための権限を持っている必要があります。 既定では、中間テーブルは コピー先テーブルと同じスキーマを共有します。

      

    • [キー列]: 行を一意に識別するための列名を指定します。 1 つのキーまたは一連のキーのいずれかを使用できます。 指定しない場合は、主キーが使用されます。

  • [ストアド プロシージャ]: ターゲット テーブルにソース データを適用する方法を定義しているストアド プロシージャを使用します。 このストアド プロシージャはバッチごとに呼び出されます。 1 回だけ実行され、ソース データとは関係がない操作 (削除/切り詰めなど) の場合は、コピー前スクリプト プロパティを使用します。

    • [ストアド プロシージャ名]: ストアド プロシージャを選択するか、[編集] をオンにした場合はストアド プロシージャ名を手動で指定し、ソース テーブルからデータを読み取ります。

    • ストアド プロシージャのパラメーター:

      • テーブルの種類: ストアド プロシージャで使用するテーブルの種類の名前を指定します。 コピー アクティビティでは、このテーブル型の一時テーブルでデータを移動できます。 その後、ストアド プロシージャのコードにより、コピーされたデータを既存のデータと結合できます。
      • Table type parameter name(テーブルの種類のパラメーター名): ストアド プロシージャで指定されたテーブルの種類のパラメーター名を指定します。
      • パラメーター: ストアド プロシージャのパラメーター値を指定します。 使用可能な値は、名前または値のペアです。 パラメーターの名前とその大文字と小文字は、ストアド プロシージャのパラメーターの名前とその大文字小文字と一致する必要があります。 [インポート パラメーター] を選択して、ストアド プロシージャ パラメーターを取得できます。

      

• 一括挿入テーブル ロック: [はい] または [いいえ] (既定値) を選択します。 この設定を使用すると、複数のクライアントからインデックスがないテーブルに対して一括挿入操作を行う時のコピー パフォーマンスが向上します。 このプロパティは、書き込み動作として [挿入] または [アップサート] を選択したときに指定できます。 詳細については、「BULK INSERT (Transact-SQL)」を参照してください

• 事前コピー スクリプト: 各実行でコピー先テーブルにデータを書き込む前に実行する Copy アクティビティのスクリプトを指定します。 このプロパティを使用して、事前に読み込まれたデータをクリーンアップできます。

• [書き込みバッチ タイムアウト]: タイムアウトになるまでに一括挿入操作の完了を待つ時間です。許容される値は期間です。 値を指定しなかった場合、タイムアウトの既定値は "02:00:00" です。

• [書き込みバッチ サイズ]: SQL テーブルに挿入するバッチあたりの行数を指定します。 使用可能な値は integer (行数) です。 既定では行のサイズに基づいて、サービスにより適切なバッチ サイズが動的に決定されます。

• [最大コンカレント接続数]: アクティビティの実行中にデータ ストアに対して確立されるコンカレント接続数の上限。 コンカレント接続を制限する場合にのみ、値を指定します。

マッピング

[マッピング] タブの構成で、コピー先として自動作成テーブルで SQL Server を適用しない場合は、[マッピング] に移動します。

[マッピング] の構成を除き、コピー先として自動作成テーブルで SQL Server を適用する場合は、コピー先列の型を編集できます。 [スキーマのインポート] を選択した後、コピー先で列の種類を指定できます。

たとえば、ソースの ID 列の型は int ですが、コピー先列にマッピングするときには float 型に変更できます。

設定

[設定] タブの構成については、「[設定] タブで他の設定を構成する」を参照してください。

SQL データベースからの並列コピー

SQL Server コネクタでは、コピー アクティビティの際に、データを並列でコピーするための組み込みのデータ パーティション分割が提供されます。 データ パーティション分割オプションは、コピー アクティビティの [ソース] タブにあります。

パーティション分割でのコピーを有効にすると、コピー アクティビティによってユーザーの SQL Server ソースに対して並列クエリが実行され、パーティションごとにデータが読み込まれます。 並列処理の次数は、Copy アクティビティの設定タブの [コピーの並列処理] によって制御されます。たとえば、並列処理の次数を 4 に設定した場合、指定したパーティション オプションと設定に基づいて 4 つのクエリが同時に生成され、実行されます。各クエリでは、SQL Server からデータの一部を取得します。

特に、自分の SQL Server から大量のデータを読み込む場合は、データのパーティション分割を使用した並列コピーを有効にすることをお勧めします。 さまざまなシナリオの推奨構成を以下に示します。 ファイルベースのデータ ストアにデータをコピーする場合は、複数のファイルとしてフォルダーに書き込む (フォルダー名のみを指定する) ことをお勧めします。この場合、1 つのファイルに書き込むよりもパフォーマンスが優れています。

パーティション オプションを使用してデータを読み込む場合のベスト プラクティス:

• データ スキューを回避するため、パーティション列 (主キーや一意キーなど) には特徴のある列を選択します。
• テーブルに組み込みパーティションがある場合は、パフォーマンスを向上させるためにパーティション オプションとして "テーブルの物理パーティション" を使用します。

物理パーティションを確認するためのサンプル クエリ

SELECT DISTINCT s.name AS SchemaName, t.name AS TableName, pf.name AS PartitionFunctionName, c.name AS ColumnName, iif(pf.name is null, 'no', 'yes') AS HasPartition
FROM sys.tables AS t
LEFT JOIN sys.objects AS o ON t.object_id = o.object_id
LEFT JOIN sys.schemas AS s ON o.schema_id = s.schema_id
LEFT JOIN sys.indexes AS i ON t.object_id = i.object_id 
LEFT JOIN sys.index_columns AS ic ON ic.partition_ordinal > 0 AND ic.index_id = i.index_id AND ic.object_id = t.object_id 
LEFT JOIN sys.columns AS c ON c.object_id = ic.object_id AND c.column_id = ic.column_id 
LEFT JOIN sys.partition_schemes ps ON i.data_space_id = ps.data_space_id 
LEFT JOIN sys.partition_functions pf ON pf.function_id = ps.function_id 
WHERE s.name='[your schema]' AND t.name = '[your table name]'

テーブルに物理パーティションがある場合、次のように、"HasPartition" は "yes" と表示されます。

表の概要

SQL Server の Copy アクティビティの概要と詳細については、次の表を参照してください。

ソース情報

コピー先の情報

関連するコンテンツ

• SQL Server の概要