복사 작업의 세션 로그

적용 대상: Azure Data Factory Azure Synapse Analytics

복사 작업에서 복사한 파일 이름을 기록할 수 있습니다. 이렇게 하면 원본에서 대상으로 데이터를 성공적으로 복사할 수 있을 뿐만 아니라 원본과 대상 간의 일관성도 확인할 수 있습니다.

복사 작업에서 잘못된 데이터를 건너뛰는 내결함성 설정을 사용하면 건너뛴 파일 및 건너뛴 행도 로그할 수 있습니다. 복사 작업의 내결함성을 통해 세부 정보를 얻을 수 있습니다.

세션 로그를 사용하도록 설정하여 ADF(Azure Data Factory) 복사 작업에서 복사한 모든 파일 이름을 가져올 수 있는 경우 다음과 같은 시나리오에서 유용합니다.

• ADF 복사 작업을 사용하여 한 스토리지에서 다른 스토리지로 파일을 복사한 후 대상 저장소에 일부 예기치 않은 파일이 보입니다. 복사 작업 세션 로그를 검사하여 실제로 파일을 복사한 작업과 시기를 확인할 수 있습니다. 이런 방식을 통해 쉽게 근본 원인을 찾고 ADF에서 구성을 수정할 수 있습니다.
• ADF 복사 작업을 사용하여 한 스토리지에서 다른 스토리지로 파일을 복사한 후 대상에 복사된 파일이 원본 저장소에서 예상한 파일이 아님을 알게 됩니다. ADF 복사 작업이 원본 저장소에서 파일을 읽을 때 복사 작업 세션 로그를 검사하여 복사 작업의 타임스탬프와 파일의 메타데이터를 가져올 수 있습니다. 이 방식을 사용하면 ADF에서 복사한 후 원본 저장소의 다른 애플리케이션에서 파일을 업데이트했는지 확인할 수 있습니다.

JSON을 사용하여 구성

다음 예제에서는 복사 활동에서 세션 로그를 사용하기 위한 JSON 정의를 제공합니다.

{
  "name": "CopyActivityLog",
  "type": "Copy",
  "typeProperties": {
    "source": {
      "type": "BinarySource",
      "storeSettings": {
        "type": "AzureDataLakeStoreReadSettings",
        "recursive": true
      },
      "formatSettings": {
        "type": "BinaryReadSettings"
      }
    },
    "sink": {
      "type": "BinarySink",
      "storeSettings": {
        "type": "AzureBlobFSWriteSettings"
      }
    },
    "skipErrorFile": {
      "fileForbidden": true,
      "dataInconsistency": true
    },
    "validateDataConsistency": true,
    "logSettings": {
      "enableCopyActivityLog": true,
      "copyActivityLogSettings": {
        "logLevel": "Warning",
        "enableReliableLogging": false
      },
      "logLocationSettings": {
        "linkedServiceName": {
          "referenceName": "ADLSGen2",
          "type": "LinkedServiceReference"
        },
        "path": "sessionlog/"
      }
    }
  }
}

모니터링

복사 작업의 출력

복사 작업 실행이 완료된 후 각 복사 작업 실행을 출력하면서 로그 파일 경로를 확인할 수 있습니다. 로그 파일은 경로에서 찾을 수 있습니다 https://[your-blob-account].blob.core.windows.net/[logFilePath]/copyactivity-logs/[copy-activity-name]/[copy-activity-run-id]/[auto-generated-GUID].txt. 생성되는 로그 파일의 확장명은 .txt이며 해당 데이터는 CSV 형식입니다.

"output": {
            "dataRead": 695,
            "dataWritten": 186,
            "filesRead": 3,  
            "filesWritten": 1, 
            "filesSkipped": 2, 
            "throughput": 297,
            "logFilePath": "myfolder/a84bf8d4-233f-4216-8cb5-45962831cd1b/",
            "dataConsistencyVerification": 
           { 
                "VerificationResult": "Verified", 
                "InconsistentData": "Skipped" 
           } 
        }

로그 파일의 스키마

다음 표는 로그 파일의 스키마를 보여줍니다.

로그 파일의 예는 다음과 같습니다.

Timestamp, Level, OperationName, OperationItem, Message
2020-10-19 08:39:13.6688152,Info,FileRead,"sample1.csv","Start to read file: {""Path"":""sample1.csv"",""ItemType"":""File"",""Size"":104857620,""LastModified"":""2020-10-19T08:22:31Z"",""ETag"":""\""0x8D874081F80C01A\"""",""ContentMD5"":""dGKVP8BVIy6AoTtKnt+aYQ=="",""ObjectName"":null}"
2020-10-19 08:39:56.3190846, Warning, FileSkip, "sample1.csv", "File is skipped after read 548000000 bytes: ErrorCode=DataConsistencySourceDataChanged,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Source file 'sample1.csv' is changed by other clients during the copy activity run.,Source=,'." 
2020-10-19 08:40:13.6688152,Info,FileRead,"sample2.csv","Start to read file: {""Path"":""sample2.csv"",""ItemType"":""File"",""Size"":104857620,""LastModified"":""2020-10-19T08:22:31Z"",""ETag"":""\""0x8D874081F80C01A\"""",""ContentMD5"":""dGKVP8BVIy6AoTtKnt+aYQ=="",""ObjectName"":null}"
2020-10-19 08:40:13.9003981,Info,FileWrite,"sample2.csv","Start to write file from source file: sample2.csv."
2020-10-19 08:45:17.6508407,Info,FileRead,"sample2.csv","Complete reading file successfully. "
2020-10-19 08:45:28.7390083,Info,FileWrite,"sample2.csv","Complete writing file from source file: sample2.csv. File is successfully copied."

위 로그 파일에서 원본 저장소와 대상 저장소 간에 일관된 것으로 확인되지 않았기 때문에 sample1.csv를 건너뛰었음을 알 수 있습니다. sample1.csv가 일관되지 않은 이유가 ADF 복사 작업이 복사하는 동안 동시에 다른 애플리케이션이 해당 파일을 변경하고 있었기 때문임을 나타내는 자세한 정보를 확인할 수 있습니다. 또한 sample2.csv가 원본 저장소에서 대상 저장소로 잘 복사되었는지 확인할 수 있습니다.

여러 분석 엔진을 사용하여 로그 파일을 추가로 분석할 수 있습니다. 다음과 같이 SQL 쿼리를 사용하여 테이블 이름이 SessionLogDemo인 SQL 데이터베이스로 csv 로그 파일을 가져와 로그 파일을 분석합니다.

• 복사한 파일 목록을 알려 주세요.

select OperationItem from SessionLogDemo where Message like '%File is successfully copied%'

• 특정 시간 범위 내에 복사된 파일 목록을 알려 주세요.

select OperationItem from SessionLogDemo where TIMESTAMP >= '<start time>' and TIMESTAMP <= '<end time>' and Message like '%File is successfully copied%'

• 복사된 시간 및 메타데이터가 있는 특정 파일을 알려 주세요.

select * from SessionLogDemo where OperationItem='<file name>'

• 시간 범위 내에 메타데이터가 복사된 파일 목록을 알려 주세요.

select * from SessionLogDemo where OperationName='FileRead' and Message like 'Start to read%' and OperationItem in (select OperationItem from SessionLogDemo where TIMESTAMP >= '<start time>' and TIMESTAMP <= '<end time>' and Message like '%File is successfully copied%')

• 건너뛴 파일 목록을 알려 주세요.

select OperationItem from SessionLogDemo where OperationName='FileSkip'

• 특정 파일을 건너뛴 이유는 무엇입니까?

select TIMESTAMP, OperationItem, Message from SessionLogDemo where OperationName='FileSkip'

• "Blob 파일 없음"으로 인해 건너뛴 파일 목록을 알려 주세요.

select TIMESTAMP, OperationItem, Message from SessionLogDemo where OperationName='FileSkip' and Message like '%UserErrorSourceBlobNotExist%'

• 복사하는 데 가장 오래 걸리는 파일의 이름을 알려 주세요.

select top 1 OperationItem, CopyDuration=DATEDIFF(SECOND, min(TIMESTAMP), max(TIMESTAMP)) from SessionLogDemo group by OperationItem order by CopyDuration desc

관련 콘텐츠

다른 복사 작업 문서를 참조하세요.

• 복사 작업 개요
• 복사 작업 내결함성
• 복사 작업 데이터 일관성