Colete seus logs e métricas de aplicativos Apache Spark usando a conta de armazenamento do Azure (visualização)

A extensão do emissor de diagnóstico do Fabric Apache Spark é uma biblioteca que permite que os aplicativos Apache Spark emitam logs, logs de eventos e métricas para vários destinos, incluindo o Azure Log Analytics, o Armazenamento do Azure e os Hubs de Eventos do Azure.

Neste tutorial, você aprenderá a usar a extensão de emissor de diagnóstico do Fabric Apache Spark para enviar logs de aplicativos, logs de eventos e métricas do Apache Spark para sua conta de Armazenamento do Azure.

Coletar logs e métricas para a conta de armazenamento

Etapa 1: Criar uma conta de armazenamento

Para coletar logs e métricas de diagnóstico, você pode usar uma conta de Armazenamento do Azure existente. Se você não tiver uma, poderá criar uma conta de armazenamento de blob do Azure ou criar uma conta de armazenamento para usar com o Azure Data Lake Storage Gen2.

Etapa 2: Criar um artefato de ambiente de malha com a configuração do Apache Spark

Opção 1: Configurar com o URI do Armazenamento do Azure e a chave de acesso

1. Criar um artefato de ambiente de malha na malha

2. Adicione as seguintes propriedades do Spark com os valores apropriados ao artefato de ambiente ou selecione Adicionar de .yml na faixa de opções para baixar o arquivo yaml de exemplo, que já contém as seguintes propriedades.

   spark.synapse.diagnostic.emitters: MyStorageBlob
   spark.synapse.diagnostic.emitter.MyStorageBlob.type: "AzureStorage"
   spark.synapse.diagnostic.emitter.MyStorageBlob.categories: "DriverLog,ExecutorLog,EventLog,Metrics"
   spark.synapse.diagnostic.emitter.MyStorageBlob.uri:  "https://<my-blob-storage>.blob.core.windows.net/<container-name>/<folder-name>"
   spark.synapse.diagnostic.emitter.MyDestination1.auth: "AccessKey"
   spark.synapse.diagnostic.emitter.MyDestination1.secret: <storage-access-key>
   spark.fabric.pools.skipStarterPools: "true" //Add this Spark property when using the default pool.
   

   Preencha os seguintes parâmetros no arquivo de configuração: <my-blob-storage>, <container-name>, <folder-name>, <storage-access-key>. Para obter mais detalhes sobre esses parâmetros, consulte Configurações de armazenamento do Azure.

Opção 2: Configurar com o Azure Key Vault

Para configurar o Cofre da Chave do Azure para armazenar a chave do espaço de trabalho:

1. Crie e vá para o seu cofre de chaves no portal do Azure.

2. Na página de configurações do cofre de chaves, selecione Segredos e, em seguida , Gerar/Importar.

3. No ecrã Criar um segredo, selecione os seguintes valores:

   • Nome: introduza o nome para o segredo.
   • Valor: Insira o <storage-access-key> para o segredo.
   • Deixe as outras opções com os valores predefinidos. Depois, selecione Criar.

4. Crie um artefato de ambiente de malha no Fabric.

5. Adicione as seguintes propriedades do Spark. Ou selecione Adicionar de .yml na faixa de opções para carregar o arquivo yaml de exemplo que inclui as seguintes propriedades do Spark.

   spark.synapse.diagnostic.emitters: <MyStorageBlob>
   spark.synapse.diagnostic.emitter.MyStorageBlob.type: "AzureStorage"
   spark.synapse.diagnostic.emitter.MyStorageBlob.categories: "DriverLog,ExecutorLog,EventLog,Metrics"
   spark.synapse.diagnostic.emitter.MyStorageBlob.uri:  "https://<my-blob-storage>.blob.core.windows.net/<container-name>/<folder-name>"
   spark.synapse.diagnostic.emitter.MyStorageBlob.auth: "AccessKey"
   spark.synapse.diagnostic.emitter.MyStorageBlob.secret.keyVault: <AZURE_KEY_VAULT_NAME>
   spark.synapse.diagnostic.emitter.MyStorageBlob.secret.keyVault.secretName: <AZURE_KEY_VAULT_SECRET_KEY_NAME>
   spark.fabric.pools.skipStarterPools: "true" //Add this Spark property when using the default pool.
   

   Preencha os seguintes parâmetros no arquivo de configuração: <my-blob-storage>, <container-name>, <folder-name>, <AZURE_KEY_VAULT_NAME>, <AZURE_KEY_VAULT_SECRET_KEY_NAME>. Para obter mais detalhes sobre esses parâmetros, consulte Configurações de armazenamento do Azure.

6. Salve e publique as alterações.

Etapa 3: anexar o artefato de ambiente a blocos de anotações ou definições de trabalho de faísca ou defini-lo como o padrão do espaço de trabalho

Para anexar o ambiente às definições de trabalho do Notebooks ou do Spark:

1. Navegue até a definição de trabalho específica do bloco de anotações ou do Spark na Malha.
2. Selecione o menu Ambiente na guia Página Inicial e selecione o ambiente com as propriedades do Spark de diagnóstico configuradas.
3. A configuração é aplicada quando você inicia uma sessão do Spark.

Para definir o ambiente como o espaço de trabalho padrão:

1. Navegue até Configurações do espaço de trabalho na malha.
2. Encontre as configurações do Spark nas configurações do espaço de trabalho (configuração do espaço de trabalho -> Engenharia de dados/Ciência -> configurações do Spark).
3. Selecione a guia Ambiente e escolha o ambiente com propriedades de faísca de diagnóstico configuradas e clique em Salvar.

Etapa 4: Exibir os arquivos de logs na conta de armazenamento do Azure

Depois de enviar um trabalho para a sessão do Spark configurada, você pode visualizar os logs e os arquivos de métricas na conta de armazenamento de destino. Os logs são armazenados em caminhos correspondentes com base em diferentes aplicativos, identificados por <workspaceId>.<fabricLivyId>. Todos os arquivos de log estão no formato JSON Lines (também conhecido como newline-delimited JSON ou ndjson), o que é conveniente para o processamento de dados.

Configurações disponíveis

Exemplo de dados de log

Aqui está um registro de log de exemplo no formato JSON:

{
  "timestamp": "2024-09-06T03:09:37.235Z",
  "category": "Log|EventLog|Metrics",
  "fabricLivyId": "<fabric-livy-id>",
  "applicationId": "<application-id>",
  "applicationName": "<application-name>",
  "executorId": "<driver-or-executor-id>",
  "fabricTenantId": "<my-fabric-tenant-id>",
  "capacityId": "<my-fabric-capacity-id>",
  "artifactType": "SynapseNotebook|SparkJobDefinition",
  "artifactId": "<my-fabric-artifact-id>",
  "fabricWorkspaceId": "<my-fabric-workspace-id>",
  "fabricEnvId": "<my-fabric-environment-id>",
  "executorMin": "<executor-min>",
  "executorMax": "<executor-max>",
  "isHighConcurrencyEnabled": "true|false",
  "properties": {
    // The message properties of logs, events and metrics.
    "timestamp": "2024-09-06T03:09:37.235Z",
    "message": "Initialized BlockManager: BlockManagerId(1, vm-04b22223, 34319, None)",
    "logger_name": "org.apache.spark.storage.BlockManager",
    "level": "INFO",
    "thread_name": "dispatcher-Executor"
    //...
  }
}

Espaços de trabalho de malha com rede virtual gerenciada

Crie um ponto de extremidade privado gerenciado para o Armazenamento de Blobs do Azure de destino. Para obter instruções detalhadas, consulte Criar e usar pontos de extremidade privados gerenciados no Microsoft Fabric - Microsoft Fabric.

Depois que o ponto de extremidade privado gerenciado for aprovado, os usuários poderão começar a emitir logs e métricas para o Armazenamento de Blobs do Azure de destino.

Próximos passos

• Criar definição de trabalho do Apache spark
• Criar, configurar e usar um ambiente no Microsoft Fabric
• Criar e usar pontos de extremidade privados gerenciados no Microsoft Fabric
• Desenvolva, execute e gerencie blocos de anotações do Microsoft Fabric
• Monitorar aplicativos Spark