Registro de sessão em uma atividade Copy

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Você pode registrar os nomes de arquivo copiados em um atividade Copy. Isso pode ajudar a garantir que os dados não sejam apenas copiados com êxito da origem para o destino, mas também validem a consistência entre a origem e o destino.

Quando você habilita a configuração de tolerância a falhas em uma atividade Copy para ignorar dados com falha, as linhas e os arquivos ignorados também podem ser registrados em log. Você pode obter mais detalhes da tolerância a falhas na atividade Copy.

A possibilidade de que todos os nomes de arquivo sejam copiados pela atividade Copy do ADF (Azure Data Factory) por meio da habilitação do log de sessão é útil nos seguintes cenários:

• Depois de usar as atividades Copy do ADF para copiar os arquivos de um armazenamento para outro, você encontra alguns arquivos inesperados em um armazenamento de destino. Você pode verificar os logs de sessão da atividade Copy para ver qual atividade realmente copiou os arquivos e quando. Com essa abordagem, é possível encontrar a causa raiz e corrigir as configurações no ADF com facilidade.
• Depois de usar as atividades Copy do ADF para copiar os arquivos de um armazenamento para outro, você verifica que os arquivos copiados para o destino não são os esperados do repositório de origem. Você pode verificar os logs de sessão da atividade Copy para obter o carimbo de data/hora dos trabalhos de cópia e os metadados de arquivos, quando as atividades Copy do ADF as leem a partir do armazenamento de origem. Com essa abordagem, é possível confirmar se os arquivos foram atualizados por outros aplicativos no armazenamento de origem depois de serem copiados pelo ADF.

Configuração com JSON

O exemplo a seguir fornece uma definição de JSON para habilitar o registro da sessão na atividade Copy:

{
  "name": "CopyActivityLog",
  "type": "Copy",
  "typeProperties": {
    "source": {
      "type": "BinarySource",
      "storeSettings": {
        "type": "AzureDataLakeStoreReadSettings",
        "recursive": true
      },
      "formatSettings": {
        "type": "BinaryReadSettings"
      }
    },
    "sink": {
      "type": "BinarySink",
      "storeSettings": {
        "type": "AzureBlobFSWriteSettings"
      }
    },
    "skipErrorFile": {
      "fileForbidden": true,
      "dataInconsistency": true
    },
    "validateDataConsistency": true,
    "logSettings": {
      "enableCopyActivityLog": true,
      "copyActivityLogSettings": {
        "logLevel": "Warning",
        "enableReliableLogging": false
      },
      "logLocationSettings": {
        "linkedServiceName": {
          "referenceName": "ADLSGen2",
          "type": "LinkedServiceReference"
        },
        "path": "sessionlog/"
      }
    }
  }
}

Monitoramento

Saída de uma atividade Copy

Depois que a atividade Copy for executada completamente, você poderá ver o caminho dos arquivos de log a partir da saída de cada execução de atividade Copy. Você pode encontrar os arquivos de log do caminho: https://[your-blob-account].blob.core.windows.net/[logFilePath]/copyactivity-logs/[copy-activity-name]/[copy-activity-run-id]/[auto-generated-GUID].txt. Os arquivos de log gerados têm a extensão TXT, e os dados deles estão no formato CSV.

"output": {
            "dataRead": 695,
            "dataWritten": 186,
            "filesRead": 3,  
            "filesWritten": 1, 
            "filesSkipped": 2, 
            "throughput": 297,
            "logFilePath": "myfolder/a84bf8d4-233f-4216-8cb5-45962831cd1b/",
            "dataConsistencyVerification": 
           { 
                "VerificationResult": "Verified", 
                "InconsistentData": "Skipped" 
           } 
        }

O esquema do arquivo de log

A tabela a seguir mostra o esquema de um arquivo de log.

Segue abaixo um exemplo de um arquivo de log:

Timestamp, Level, OperationName, OperationItem, Message
2020-10-19 08:39:13.6688152,Info,FileRead,"sample1.csv","Start to read file: {""Path"":""sample1.csv"",""ItemType"":""File"",""Size"":104857620,""LastModified"":""2020-10-19T08:22:31Z"",""ETag"":""\""0x8D874081F80C01A\"""",""ContentMD5"":""dGKVP8BVIy6AoTtKnt+aYQ=="",""ObjectName"":null}"
2020-10-19 08:39:56.3190846, Warning, FileSkip, "sample1.csv", "File is skipped after read 548000000 bytes: ErrorCode=DataConsistencySourceDataChanged,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Source file 'sample1.csv' is changed by other clients during the copy activity run.,Source=,'." 
2020-10-19 08:40:13.6688152,Info,FileRead,"sample2.csv","Start to read file: {""Path"":""sample2.csv"",""ItemType"":""File"",""Size"":104857620,""LastModified"":""2020-10-19T08:22:31Z"",""ETag"":""\""0x8D874081F80C01A\"""",""ContentMD5"":""dGKVP8BVIy6AoTtKnt+aYQ=="",""ObjectName"":null}"
2020-10-19 08:40:13.9003981,Info,FileWrite,"sample2.csv","Start to write file from source file: sample2.csv."
2020-10-19 08:45:17.6508407,Info,FileRead,"sample2.csv","Complete reading file successfully. "
2020-10-19 08:45:28.7390083,Info,FileWrite,"sample2.csv","Complete writing file from source file: sample2.csv. File is successfully copied."

No arquivo de log acima, você pode ver que sample1.csv foi ignorado porque ele não pôde ser verificado para ser consistente entre o repositório de origem e de destino. Você pode obter mais detalhes sobre por que o sample1.csv se torna inconsistente: ele estava sendo alterado por outros aplicativos quando a atividade Copy do ADF estava sendo copiada ao mesmo tempo. Você também pode ver que sample2.csv foi copiado com êxito do repositório de origem para o de destino.

Você pode usar vários mecanismos de análise para analisar ainda mais os arquivos de log. Há alguns exemplos abaixo para usar a consulta SQL para analisar o arquivo de log importando o arquivo de log CSV para o banco de dados SQL em que o nome da tabela pode ser SessionLogDemo.

• Forneça a lista de arquivos copiados.

select OperationItem from SessionLogDemo where Message like '%File is successfully copied%'

• Forneça a lista de arquivos copiados em um intervalo de tempo específico.

select OperationItem from SessionLogDemo where TIMESTAMP >= '<start time>' and TIMESTAMP <= '<end time>' and Message like '%File is successfully copied%'

• Forneça um arquivo específico com o tempo e metadados copiados.

select * from SessionLogDemo where OperationItem='<file name>'

• Forneça uma lista de arquivos com os metadados copiados dentro de um intervalo de tempo.

select * from SessionLogDemo where OperationName='FileRead' and Message like 'Start to read%' and OperationItem in (select OperationItem from SessionLogDemo where TIMESTAMP >= '<start time>' and TIMESTAMP <= '<end time>' and Message like '%File is successfully copied%')

• Forneça a lista de arquivos ignorados.

select OperationItem from SessionLogDemo where OperationName='FileSkip'

• Forneça o motivo pelo qual um arquivo específico foi ignorado.

select TIMESTAMP, OperationItem, Message from SessionLogDemo where OperationName='FileSkip'

• Forneça a lista de arquivos ignorados devido ao mesmo motivo: “o arquivo de blob não existe”.

select TIMESTAMP, OperationItem, Message from SessionLogDemo where OperationName='FileSkip' and Message like '%UserErrorSourceBlobNotExist%'

• Forneça o nome do arquivo que requer o tempo mais longo para copiar.

select top 1 OperationItem, CopyDuration=DATEDIFF(SECOND, min(TIMESTAMP), max(TIMESTAMP)) from SessionLogDemo group by OperationItem order by CopyDuration desc

Conteúdo relacionado

Consulte os outros artigos sobre atividade de cópia:

• Visão geral da atividade de cópia
• Tolerância a falhas da atividade de cópia
• Consistência de dados da atividade Copy