Ingerir dados com o Fluent Bit no Azure Data Explorer
O Fluent Bit é um agente de código aberto que coleta logs, métricas e rastreamentos de várias fontes. Ele permite filtrar, modificar e agregar dados de eventos antes de enviá-los ao armazenamento. O Azure Data Explorer é um serviço de exploração de dados rápido e altamente escalonável para dados telemétricos e de log. Este artigo orienta você pelo processo de uso do Fluent Bit para enviar dados ao Azure Data Explorer.
Neste artigo, você aprenderá a:
Para obter uma lista completa de conectores de dados, consulte Visão geral dos conectores de dados.
Pré-requisitos
- Bit fluente.
- Um cluster e um banco de dados do Azure Data Explorer. Criar um cluster e um banco de dados.
Você pode usar qualquer uma das ferramentas de consulta disponíveis para seu ambiente de consulta.
Criar uma tabela para armazenar seus logs
O Fluent Bit encaminha logs no formato JSON com três propriedades: (dynamic), (string) e timestamp
(datetime).tag
log
Você pode criar uma tabela com colunas para cada uma dessas propriedades. Como alternativa, se você tiver logs estruturados, poderá criar uma tabela com propriedades de log mapeadas para colunas personalizadas. Para saber mais, selecione a guia relevante.
Para criar uma tabela para logs de entrada do Fluent Bit:
Navegue até seu ambiente de consulta.
Selecione o banco de dados onde você deseja criar a tabela.
Execute o seguinte
.create table
comando:.create table FluentBitLogs (log:dynamic, tag:string, timestamp:datetime)
As propriedades JSON de entrada são mapeadas automaticamente para a coluna correta.
Registrar um aplicativo do Microsoft Entra com permissões para ingerir dados
A entidade de serviço Microsoft Entra pode ser criada por meio do portal do Azure ou programaticamente, como no exemplo a seguir.
Essa entidade de serviço é a identidade usada pelo conector para gravar dados em sua tabela no Kusto. Posteriormente, você vai conceder permissões para essa entidade de serviço acessar recursos do Kusto.
Inicie sessão na sua assinatura do Azure com a CLI do Azure. Em seguida, autentique no navegador.
az login
Escolha a assinatura para hospedar a entidade de segurança. Essa etapa é necessária quando você tem várias assinaturas.
az account set --subscription YOUR_SUBSCRIPTION_GUID
Crie a entidade de serviço. Neste exemplo, a entidade de serviço é chamada
my-service-principal
.az ad sp create-for-rbac -n "my-service-principal" --role Contributor --scopes /subscriptions/{SubID}
A partir dos dados JSON retornados, copie o
appId
,password
etenant
para uso futuro.{ "appId": "1234abcd-e5f6-g7h8-i9j0-1234kl5678mn", "displayName": "my-service-principal", "name": "my-service-principal", "password": "1234abcd-e5f6-g7h8-i9j0-1234kl5678mn", "tenant": "1234abcd-e5f6-g7h8-i9j0-1234kl5678mn" }
Você criou o aplicativo do Microsoft Entra e a entidade de serviço.
Conceder permissões à entidade de serviço
Execute o seguinte comando, substituindo <MyDatabase>
pelo nome do banco de dados:
.add database MyDatabase ingestors ('aadapp=<Application (client) ID>;<Directory (tenant) ID>')
Esse comando concede ao aplicativo permissões para ingerir dados em sua tabela. Para obter mais informações, consulte Controle de acesso baseado em função.
Configurar o Fluent Bit para enviar logs para sua tabela
Para configurar o Fluent Bit para enviar logs para sua tabela do Azure Data Explorer, crie um arquivo de configuração de modo clássico ou modo YAML com as seguintes propriedades de saída:
Campo | Descrição |
---|---|
Nome | azure_kusto |
Correspondência | Um padrão para corresponder às marcas dos registros de entrada. Ele diferencia maiúsculas de minúsculas e suporta o caractere estrela (* ) como curinga. |
Tenant_Id | ID do diretório (locatário) de Registrar um aplicativo Microsoft Entra com permissões para ingerir dados. |
Client_Id | ID do aplicativo (cliente) de Registrar um aplicativo do Microsoft Entra com permissões para ingerir dados. |
Client_Secret | O valor da chave secreta do cliente Registre um aplicativo do Microsoft Entra com permissões para ingerir dados. |
Ingestion_Endpoint | Use o URI de Ingestão de Dados encontrado no portal do Azure em sua visão geral do cluster. |
Database_Name | O nome do banco de dados que contém a tabela de logs. |
Table_Name | O nome da tabela em Criar uma tabela para armazenar seus logs. |
Ingestion_Mapping_Reference | O nome do mapeamento de ingestão de Criar uma tabela. Se você não criou um mapeamento de ingestão, remova a propriedade do arquivo de configuração. |
Para ver um arquivo de configuração de exemplo, selecione a guia relevante:
[SERVICE]
Daemon Off
Flush 1
Log_Level trace
HTTP_Server On
HTTP_Listen 0.0.0.0
HTTP_Port 2020
Health_Check On
[INPUT]
Name tail
Path /var/log/containers/*.log
Tag kube.*
Mem_Buf_Limit 1MB
Skip_Long_Lines On
Refresh_Interval 10
[OUTPUT]
Name azure_kusto
Match *
Tenant_Id azure-tenant-id
Client_Id azure-client-id
Client_Secret azure-client-secret
Ingestion_Endpoint azure-data-explorer-ingestion-endpoint
Database_Name azure-data-explorer-database-name
Table_Name azure-data-explorer-table-name
Verifique se os dados chegaram à sua tabela
Quando a configuração estiver concluída, os logs devem chegar à sua tabela.
Para verificar se os logs são ingeridos, execute a seguinte consulta:
FluentBitLogs | count
Para exibir um exemplo de dados de log, execute a seguinte consulta:
FluentBitLogs | take 100