Accessing diagnostics logs for Azure Data Lake Analytics (Aceder aos registos de diagnóstico do Azure Data Lake Analytics)

O registo de diagnósticos permite-lhe recolher registos de auditoria de acesso a dados. Estes registos fornecem informações como:

• Uma lista de utilizadores que acederam aos dados.
• A frequência com que os dados são acedidos.
• Quantos dados são armazenados na conta.

Ativar registo

1. Inicie sessão no portal do Azure.

2. Abra a sua conta Data Lake Analytics e selecione Definições de diagnóstico na secção Monitorização. Em seguida, selecione + Adicionar definição de diagnóstico.

   

3. Na definição Diagnóstico, introduza um nome para esta configuração de registo e, em seguida, selecione opções de registo.

   

   • Pode optar por armazenar/processar os dados de quatro formas diferentes.

     • Selecione Arquivar numa conta de armazenamento para armazenar registos numa conta de armazenamento do Azure. Utilize esta opção se quiser arquivar os dados. Se selecionar esta opção, tem de fornecer uma conta de armazenamento do Azure para guardar os registos.

     • Selecione Stream para um hub de eventos para transmitir dados de registo para um Hubs de Eventos do Azure. Utilize esta opção se tiver um pipeline de processamento a jusante que esteja a analisar os registos recebidos em tempo real. Se selecionar esta opção, tem de fornecer os detalhes do Hubs de Eventos do Azure que pretende utilizar.

     • Selecione Enviar para a área de trabalho do Log Analytics para enviar os dados para o serviço Azure Monitor. Utilize esta opção se quiser utilizar os registos do Azure Monitor para recolher e analisar registos.

     • Selecione enviar para a solução de parceiro se quiser utilizar a nossa integração de parceiros. Para obter mais informações, pode seguir esta ligação.

   • Especifique se pretende obter registos de auditoria ou registos de pedidos ou ambos. Um registo de pedidos captura todos os pedidos de API. Um registo de auditoria regista todas as operações que são acionadas por esse pedido de API.

   • Para Arquivar numa conta de armazenamento, especifique o número de dias para reter os dados.

   • Selecione Guardar.

     Nota

     Tem de selecionar Arquivar para uma conta de armazenamento, Stream para um Hub de Eventos, Enviar para a área de trabalho do Log Analytics ou Enviar para a solução de parceiro antes de selecionar o botão Guardar.

Utilizar a conta de Armazenamento do Azure que contém dados de registo

1. Para apresentar os contentores de blobs que contêm dados de registo, abra a conta de Armazenamento do Azure utilizada para Data Lake Analytics para registo e, em seguida, selecione Contentores.

   • O container insights-logs-audit contém os registos de auditoria.
   • Os pedidos container insights-logs-requests contêm os registos de pedidos.

2. Nos contentores, os registos são armazenados na seguinte estrutura de ficheiros:

   resourceId=/
     SUBSCRIPTIONS/
       <<SUBSCRIPTION_ID>>/
         RESOURCEGROUPS/
           <<RESOURCE_GRP_NAME>>/
             PROVIDERS/
               MICROSOFT.DATALAKEANALYTICS/
                 ACCOUNTS/
                   <DATA_LAKE_ANALYTICS_NAME>>/
                     y=####/
                       m=##/
                         d=##/
                           h=##/
                             m=00/
                               PT1H.json
   

   Nota

   As ## entradas no caminho contêm o ano, mês, dia e hora em que o registo foi criado. Data Lake Analytics cria um ficheiro a cada hora, pelo m= que contém sempre um valor de 00.

   Por exemplo, o caminho completo para um registo de auditoria pode ser:

   https://adllogs.blob.core.windows.net/insights-logs-audit/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=04/m=00/PT1H.json

   Da mesma forma, o caminho completo para um registo de pedidos pode ser:

   https://adllogs.blob.core.windows.net/insights-logs-requests/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=14/m=00/PT1H.json

Processar os dados de registo

O Azure Data Lake Analytics fornece um exemplo sobre como processar e analisar os dados de registo. Pode encontrar o exemplo em https://github.com/Azure/AzureDataLake/tree/master/Samples/AzureDiagnosticsSample.

Estrutura de registos

Os registos de auditoria e pedido estão num formato JSON estruturado.

Registos de pedidos

Eis uma entrada de exemplo no registo de pedidos com formato JSON. Cada blob tem um objeto de raiz chamado registos que contém uma matriz de objetos de registo.

{
"records":
  [
    . . . .
    ,
    {
         "time": "2016-07-07T21:02:53.456Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_analytics_account_name>",
         "category": "Requests",
         "operationName": "GetAggregatedJobHistory",
         "resultType": "200",
         "callerIpAddress": "::ffff:1.1.1.1",
         "correlationId": "4a11c709-05f5-417c-a98d-6e81b3e29c58",
         "identity": "1808bd5f-62af-45f4-89d8-03c5e81bac30",
         "properties": {
             "HttpMethod":"POST",
             "Path":"/JobAggregatedHistory",
             "RequestContentLength":122,
             "ClientRequestId":"3b7adbd9-3519-4f28-a61c-bd89506163b8",
             "StartTime":"2016-07-07T21:02:52.472Z",
             "EndTime":"2016-07-07T21:02:53.456Z"
             }
    }
    ,
    . . . .
  ]
}

Esquema de registo de pedidos

Esquema de propriedades do registo de pedidos

Registos de auditoria

Eis uma entrada de exemplo no registo de auditoria formatado em JSON. Cada blob tem um objeto de raiz chamado registos que contém uma matriz de objetos de registo.

{
"records":
  [
    {
         "time": "2016-07-28T19:15:16.245Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_ANALYTICS_account_name>",
         "category": "Audit",
         "operationName": "JobSubmitted",
         "identity": "user@somewhere.com",
         "properties": {
             "JobId":"D74B928F-5194-4E6C-971F-C27026C290E6",
             "JobName": "New Job",
             "JobRuntimeName": "default",
             "SubmitTime": "7/28/2016 7:14:57 PM"
             }
    }
  ]
}

Esquema de registo de auditoria

Esquema de propriedades do registo de auditoria

Passos seguintes

• Descrição geral do Azure Data Lake Analytics
• Resolução de problemas de tarefas do U-SQL