Azure Data Factory および Azure Synapse Analytics での区切りテキスト形式

適用対象: Azure Data Factory Azure Synapse Analytics

区切りテキスト ファイルの解析または区切りテキスト形式へのデータの書き込みを行う場合は、この記事に従ってください。

区切りテキスト形式は次のコネクタでサポートされています。

• Amazon S3
• Amazon S3 互換ストレージ
• Azure BLOB
• Azure Data Lake Storage Gen1
• Azure Data Lake Storage Gen2
• Azure Files
• ファイル システム
• FTP
• Google Cloud Storage
• HDFS
• HTTP
• Oracle Cloud Storage
• SFTP

データセットのプロパティ

データセットを定義するために使用できるセクションとプロパティの完全な一覧については、データセットに関する記事をご覧ください。 このセクションでは、区切りテキスト データセットでサポートされるプロパティの一覧を示します。

Azure Blob Storage の区切りテキスト データセットの例を次に示します。

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "escapeChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

コピー アクティビティのプロパティ

アクティビティの定義に利用できるセクションとプロパティの完全な一覧については、パイプラインに関する記事を参照してください。 このセクションでは、区切りテキストのソースとシンクでサポートされるプロパティの一覧を示します。

ソースとしての区切りテキスト

Copy アクティビティの *source* セクションでは、次のプロパティがサポートされます。

formatSettings でサポートされている区切りテキストの読み取り設定:

"activities": [
    {
        "name": "CopyFromDelimitedText",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "storeSettings": {
                    "type": "AzureBlobStorageReadSettings",
                    "recursive": true
                },
                "formatSettings": {
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 3,
                    "compressionProperties": {
                        "type": "ZipDeflateReadSettings",
                        "preserveZipFileNameAsFolder": false
                    }
                }
            },
            ...
        }
        ...
    }
]

シンクとしての区切りテキスト

Copy アクティビティの *sink* セクションでは、次のプロパティがサポートされます。

formatSettings でサポートされている区切りテキストの書き込み設定:

Mapping Data Flow のプロパティ

マッピング データ フローでは、Azure Blob Storage、Azure Data Lake Storage Gen1、Azure Data Lake Storage Gen2、SFTP のデータ ストアで区切りテキスト形式に対する読み取りと書き込みを実行できます。また、Amazon S3 で区切りテキスト形式を読み取ることができます。

インライン データセット

マッピング データ フローでは、ソースとシンクを定義するためのオプションとして "インライン データセット" がサポートされます。 インライン区切りデータセットは、ソース変換やシンク変換の内部で直接定義され、定義されたデータフローの外部では共有されません。 これは、データセットのプロパティをデータ フロー内で直接パラメーター化するのに役立ち、共有された ADF データセットに比べてパフォーマンスが向上するという利点があります。

多数のソース フォルダーとファイルを読み取っている場合は、[プロジェクション | スキーマ オプション] ダイアログ内で [ユーザー プロジェクション スキーマ] オプションを設定することによって、データ フロー ファイル検出のパフォーマンスを向上させることができます。 このオプションにより、ADF の既定のスキーマ自動検出が無効になり、ファイル検出のパフォーマンスが大幅に向上します。 このオプションを設定する前に、ADF にプロジェクションのための既存のスキーマが割り当てられるように、必ずプロジェクションをインポートしてください。 このオプションは、スキーマ ドリフトでは機能しません。

ソース プロパティ

次の表に、区切りテキスト ソースでサポートされるプロパティの一覧を示します。 これらのプロパティは、 [ソース オプション] タブで編集できます。

ソースの例

次の図は、マッピング データ フローにおける区切りテキスト ソースの構成例です。

関連付けられているデータ フロー スクリプトは次のとおりです。

source(
    allowSchemaDrift: true,
	validateSchema: false,
	ignoreNoFilesFound: false,
	multiLineRow: true,
	wildcardPaths:['*.csv']) ~> CSVSource

シンクのプロパティ

次の表に、区切りテキスト シンクでサポートされるプロパティの一覧を示します。 これらのプロパティは、 [設定] タブで編集できます。

シンクの例

次の図は、マッピング データ フローにおける区切りテキスト シンクの構成例です。

関連付けられているデータ フロー スクリプトは次のとおりです。

CSVSource sink(allowSchemaDrift: true,
    validateSchema: false,
    truncate: true,
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> CSVSink

関連するコネクタと形式

区切られたテキスト形式に関連する一般的なコネクタと形式をいくつか次に示します。

• Azure Blob Storage
• バイナリ形式
• Dataverse
• 差分形式
• Excel 形式
• ファイル システム
• FTP
• HTTP
• JSON 形式
• Parquet 形式

関連するコンテンツ

• データセット スキーマでのデータ型のマッピング
• コピー アクティビティの概要
• マッピング データ フロー
• Lookup アクティビティ
• GetMetadata アクティビティ