Copy アクティビティのセッション ログ

適用対象: Azure Data Factory Azure Synapse Analytics

コピーしたファイル名は、Copy アクティビティのログに記録できます。 これはデータがソースからコピー先に正常にコピーされるようにするだけでなく、ソースとコピー先の間の整合性を検証するためにも役立ちます。

Copy アクティビティでフォールト トレランス設定を有効にして、問題のあるデータをスキップした場合は、スキップされたファイルとスキップされた行もログに記録されます。 詳細については、コピー アクティビティのフォールト トレランスに関するページを参照してください。

セッション ログを有効にすることで、Azure Data Factory (ADF) Copy アクティビティによってコピーされたすべてのファイル名を取得する機会がある場合、これは次のシナリオで役立ちます。

• ADF Copy アクティビティを使用してストレージ間でファイルをコピーしたら、コピー先ストアに予期しないファイルがいくつか見つかりました。 Copy アクティビティのセッション ログをスキャンすると、それらのファイルがどの Copy アクティビティによっていつ実際にコピーされたかを確認できます。 この方法により、ADF 内で簡単に根本原因を見つけて、構成を修正できます。
• ADF Copy アクティビティを使用してストレージ間でファイルをコピーしたら、コピー先にコピーされたファイルが、予期されたソース ストアのファイルではないことがわかりました。 Copy アクティビティのセッション ログをスキャンすると、コピー ジョブのタイムスタンプと、ADF Copy アクティビティでソース ストアからファイルを読み取ったときのファイルのメタデータを取得できます。 この方法により、ADF によってコピーされた後に、ソース ストアで他のアプリケーションによってファイルが更新されたかどうかを確認できます。

JSON を使用した構成

次の例では、コピー アクティビティでセッション ログを有効にする JSON 定義を示します。

{
  "name": "CopyActivityLog",
  "type": "Copy",
  "typeProperties": {
    "source": {
      "type": "BinarySource",
      "storeSettings": {
        "type": "AzureDataLakeStoreReadSettings",
        "recursive": true
      },
      "formatSettings": {
        "type": "BinaryReadSettings"
      }
    },
    "sink": {
      "type": "BinarySink",
      "storeSettings": {
        "type": "AzureBlobFSWriteSettings"
      }
    },
    "skipErrorFile": {
      "fileForbidden": true,
      "dataInconsistency": true
    },
    "validateDataConsistency": true,
    "logSettings": {
      "enableCopyActivityLog": true,
      "copyActivityLogSettings": {
        "logLevel": "Warning",
        "enableReliableLogging": false
      },
      "logLocationSettings": {
        "linkedServiceName": {
          "referenceName": "ADLSGen2",
          "type": "LinkedServiceReference"
        },
        "path": "sessionlog/"
      }
    }
  }
}

監視

Copy アクティビティからの出力

Copy アクティビティが完全に実行された後、各 Copy アクティビティの実行の出力からログ ファイルのパスを確認できます。 ログ ファイルは、パス: https://[your-blob-account].blob.core.windows.net/[logFilePath]/copyactivity-logs/[copy-activity-name]/[copy-activity-run-id]/[auto-generated-GUID].txt から見つけることができます。 生成されたログ ファイルの拡張子は .txt であり、そのデータは CSV 形式です。

"output": {
            "dataRead": 695,
            "dataWritten": 186,
            "filesRead": 3,  
            "filesWritten": 1, 
            "filesSkipped": 2, 
            "throughput": 297,
            "logFilePath": "myfolder/a84bf8d4-233f-4216-8cb5-45962831cd1b/",
            "dataConsistencyVerification": 
           { 
                "VerificationResult": "Verified", 
                "InconsistentData": "Skipped" 
           } 
        }

ログ ファイルのスキーマ

次の表は、ログ ファイルのスキーマを示しています。

ログ ファイルの例を次に示します。

Timestamp, Level, OperationName, OperationItem, Message
2020-10-19 08:39:13.6688152,Info,FileRead,"sample1.csv","Start to read file: {""Path"":""sample1.csv"",""ItemType"":""File"",""Size"":104857620,""LastModified"":""2020-10-19T08:22:31Z"",""ETag"":""\""0x8D874081F80C01A\"""",""ContentMD5"":""dGKVP8BVIy6AoTtKnt+aYQ=="",""ObjectName"":null}"
2020-10-19 08:39:56.3190846, Warning, FileSkip, "sample1.csv", "File is skipped after read 548000000 bytes: ErrorCode=DataConsistencySourceDataChanged,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Source file 'sample1.csv' is changed by other clients during the copy activity run.,Source=,'." 
2020-10-19 08:40:13.6688152,Info,FileRead,"sample2.csv","Start to read file: {""Path"":""sample2.csv"",""ItemType"":""File"",""Size"":104857620,""LastModified"":""2020-10-19T08:22:31Z"",""ETag"":""\""0x8D874081F80C01A\"""",""ContentMD5"":""dGKVP8BVIy6AoTtKnt+aYQ=="",""ObjectName"":null}"
2020-10-19 08:40:13.9003981,Info,FileWrite,"sample2.csv","Start to write file from source file: sample2.csv."
2020-10-19 08:45:17.6508407,Info,FileRead,"sample2.csv","Complete reading file successfully. "
2020-10-19 08:45:28.7390083,Info,FileWrite,"sample2.csv","Complete writing file from source file: sample2.csv. File is successfully copied."

上記のログ ファイルから、sample1.csv がスキップされたことを確認できます。これは、ソース ストアとコピー先ストアの間で、整合性があることを確認できなかったためです。 sample1.csv が不整合になった詳しい理由は、ADF Copy アクティビティによってファイルがコピーされていたのと同時に、他のアプリケーションによってそれが変更されていたためであることがわかります。 また、sample2.csv がコピー元ストアからコピー先ストアに正常にコピーされたことも確認できます。

複数の分析エンジンを使用して、ログ ファイルをさらに分析できます。 次に、csv ログ ファイルを SQL データベースにインポートすることで、SQL クエリを使用してログ ファイルを分析する例をいくつか示します (テーブル名は SessionLogDemo とします)。

• コピーされたファイル リストを表示する。

select OperationItem from SessionLogDemo where Message like '%File is successfully copied%'

• 特定の時間範囲内にコピーされたファイル リストを表示する。

select OperationItem from SessionLogDemo where TIMESTAMP >= '<start time>' and TIMESTAMP <= '<end time>' and Message like '%File is successfully copied%'

• コピーされた時刻とメタデータを使用して、特定のファイルを表示する。

select * from SessionLogDemo where OperationItem='<file name>'

• ある時間範囲内にメタデータがコピーされたファイルのリストを表示する。

select * from SessionLogDemo where OperationName='FileRead' and Message like 'Start to read%' and OperationItem in (select OperationItem from SessionLogDemo where TIMESTAMP >= '<start time>' and TIMESTAMP <= '<end time>' and Message like '%File is successfully copied%')

• スキップされたファイルのリストを表示する。

select OperationItem from SessionLogDemo where OperationName='FileSkip'

• 特定のファイルがスキップされた理由を表示する。

select TIMESTAMP, OperationItem, Message from SessionLogDemo where OperationName='FileSkip'

• "Blob ファイルが存在しません" という同じ理由でスキップされたファイルのリストを表示する。

select TIMESTAMP, OperationItem, Message from SessionLogDemo where OperationName='FileSkip' and Message like '%UserErrorSourceBlobNotExist%'

• コピーするのに最も時間がかかるファイル名を表示する。

select top 1 OperationItem, CopyDuration=DATEDIFF(SECOND, min(TIMESTAMP), max(TIMESTAMP)) from SessionLogDemo group by OperationItem order by CopyDuration desc

関連するコンテンツ

コピー アクティビティの他の記事を参照してください。

• コピー アクティビティの概要
• コピー アクティビティのフォールト トレランス
• コピー アクティビティのデータの一貫性