Acessando os logs de diagnóstico do Azure Data Lake Analytics

O registro em log de diagnóstico permite que você colete as trilhas de auditoria de acesso a dados. Esses logs fornecem informações como:

• Uma lista de usuários que acessaram os dados.
• Com que frequência os dados são acessados.
• Quantos dados são armazenados na conta.

Habilitar o registro em log

1. Entre no Portal do Azure.

2. Abra sua conta do Data Lake Analytics e selecione Configurações de diagnóstico na seção Monitoramento. Em seguida, selecione + Adicionar configuração de diagnóstico.

   

3. Em Configuração de diagnóstico, insira um nome para essa configuração de registro em log e, em seguida, selecione as opções de registro de log.

   

   • Você pode escolher armazenar/processar os dados de duas maneiras diferentes.

     • Selecione Arquivar em uma conta de armazenamento para armazenar os logs em uma conta de armazenamento do Azure. Use esta opção se quiser arquivar os dados. Se escolher esta opção, você deverá fornecer uma conta de armazenamento do Azure para salvar os logs.

     • Selecione Stream para um hub de eventos para transmitir dados de log para um Hubs de Eventos do Azure. Use essa opção se tiver um pipeline de processamento downstream que esteja analisando logs de entrada em tempo real. Se você selecionar essa opção, deverá fornecer os detalhes do Hubs de Eventos do Azure que deseja usar.

     • Selecione Enviar ao workspace do Log Analytics para enviar os dados ao serviço Azure Monitor. Use essa opção para utilizar os logs do Azure Monitor ao coletar e analisar logs.

     • Selecione enviar para a solução de parceiro se você quiser usar nossa integração de parceiros. Para obter mais informações, você pode seguir este link.

   • Especifique se deseja obter os logs de auditoria, os logs de solicitação ou ambos. Um log de solicitação captura todas as solicitações da API. Um log de auditoria registra todas as operações disparadas pela solicitação de API.

   • Para Arquivar para uma conta de armazenamento, especifique o número de dias a reter os dados.

   • Selecione Salvar.

     Observação

     Selecione Arquivar em uma conta de armazenamento, Transmitir para um Hub de Eventos ou Enviar para o workspace do Log Analytics ou Enviar para a solução do parceiro antes de selecionar o botão Salvar.

Use a conta de Armazenamento do Azure que contém dados de log

1. Para exibir os contêineres de blob que contêm dados de registro em log, abra a conta de Armazenamento do Microsoft Azure usada para Data Lake Analytics para registro em log e, em seguida, clique em Contêineres.

   • O contêiner insights-logs-audit contém os logs de auditoria.
   • O contêiner insights-logs-requests contém os logs de solicitação.

2. Nesses contêineres, os logs são armazenados na estrutura a seguir:

   resourceId=/
     SUBSCRIPTIONS/
       <<SUBSCRIPTION_ID>>/
         RESOURCEGROUPS/
           <<RESOURCE_GRP_NAME>>/
             PROVIDERS/
               MICROSOFT.DATALAKEANALYTICS/
                 ACCOUNTS/
                   <DATA_LAKE_ANALYTICS_NAME>>/
                     y=####/
                       m=##/
                         d=##/
                           h=##/
                             m=00/
                               PT1H.json
   

   Observação

   A folha ## no caminho contêm o ano, o mês, o dia e a hora em que o log foi criado. O Data Lake Analytics cria um arquivo a cada hora e, portanto, o m= sempre conterá um valor 00.

   Como um exemplo, o caminho completo para um log de auditoria poderia ser:

   https://adllogs.blob.core.windows.net/insights-logs-audit/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=04/m=00/PT1H.json

   De modo semelhante, o caminho completo para um log de solicitação poderia ser:

   https://adllogs.blob.core.windows.net/insights-logs-requests/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=14/m=00/PT1H.json

Processar os dados de log

O Azure Data Lake Analytics fornece um exemplo sobre como processar e analisar os dados do log. Você pode encontrar a política de exemplo em https://github.com/Azure/AzureDataLake/tree/master/Samples/AzureDiagnosticsSample.

Estrutura de log

Os logs de auditoria e solicitação estão em um formato JSON estruturado.

Logs de Solicitação

Aqui está um exemplo de entrada no log de solicitação formatado em JSON. Cada blob tem um objeto-raiz chamado registros que contém uma matriz de objetos do log.

{
"records":
  [
    . . . .
    ,
    {
         "time": "2016-07-07T21:02:53.456Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_analytics_account_name>",
         "category": "Requests",
         "operationName": "GetAggregatedJobHistory",
         "resultType": "200",
         "callerIpAddress": "::ffff:1.1.1.1",
         "correlationId": "4a11c709-05f5-417c-a98d-6e81b3e29c58",
         "identity": "1808bd5f-62af-45f4-89d8-03c5e81bac30",
         "properties": {
             "HttpMethod":"POST",
             "Path":"/JobAggregatedHistory",
             "RequestContentLength":122,
             "ClientRequestId":"3b7adbd9-3519-4f28-a61c-bd89506163b8",
             "StartTime":"2016-07-07T21:02:52.472Z",
             "EndTime":"2016-07-07T21:02:53.456Z"
             }
    }
    ,
    . . . .
  ]
}

Esquema do log de solicitação

Esquema de propriedades do log de solicitação

Logs de auditoria

Aqui está um exemplo de entrada no log de auditoria formatado em JSON. Cada blob tem um objeto-raiz chamado registros que contém uma matriz de objetos do log.

{
"records":
  [
    {
         "time": "2016-07-28T19:15:16.245Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_ANALYTICS_account_name>",
         "category": "Audit",
         "operationName": "JobSubmitted",
         "identity": "user@somewhere.com",
         "properties": {
             "JobId":"D74B928F-5194-4E6C-971F-C27026C290E6",
             "JobName": "New Job",
             "JobRuntimeName": "default",
             "SubmitTime": "7/28/2016 7:14:57 PM"
             }
    }
  ]
}

Esquema do log de auditoria

Esquema de propriedades do log de auditoria

Próximas etapas

• Visão geral do Azure Data Lake Analytics
• Solucionar problemas de trabalhos do U-SQL