Partilhar via

Ingerir dados com Fluent Bit no Azure Data Explorer

  • Artigo

Fluent Bit é um agente de código aberto que coleta logs, métricas e rastreamentos de várias fontes. Ele permite filtrar, modificar e agregar dados de eventos antes de enviá-los para o armazenamento. Este artigo orienta você através do processo de uso do Fluent Bit para enviar dados para seu banco de dados KQL.

Este artigo mostra como ingerir dados com o Fluent Bit.

Para obter uma lista completa de conectores de dados, consulte Visão geral dos conectores de dados.

Pré-requisitos

Criar um principal de serviço Microsoft Entra

A entidade de serviço do Microsoft Entra pode ser criada por meio do portal do Azure ou programaticamente, como no exemplo a seguir.

Esta entidade de serviço é a identidade usada pelo conector para gravar dados em sua tabela no Kusto. Você concede permissões para esta entidade de serviço acessar recursos do Kusto.

  1. Inicie sessão na sua subscrição do Azure através da CLI do Azure. Em seguida, autentique-se no navegador.

    az login

  2. Escolha a assinatura para hospedar o principal. Esta etapa é necessária quando você tem várias assinaturas.

    az account set --subscription YOUR_SUBSCRIPTION_GUID

  3. Crie a entidade de serviço. Neste exemplo, a entidade de serviço é chamada de my-service-principal.

    az ad sp create-for-rbac -n "my-service-principal" --role Contributor --scopes /subscriptions/{SubID}

  4. Dos dados JSON retornados, copie os appId, passworde tenant para uso futuro.

    {
  "appId": "00001111-aaaa-2222-bbbb-3333cccc4444",
  "displayName": "my-service-principal",
  "name": "my-service-principal",
  "password": "00001111-aaaa-2222-bbbb-3333cccc4444",
  "tenant": "00001111-aaaa-2222-bbbb-3333cccc4444"
}

Você criou o seu aplicativo e entidade de serviço do Microsoft Entra.

Criar uma tabela de destino

O Fluent Bit encaminha logs no formato JSON com três propriedades: log (dinâmico), tag (string) e timestamp (data e hora).

Você pode criar uma tabela com colunas para cada uma dessas propriedades. Como alternativa, se você tiver logs estruturados, poderá criar uma tabela com propriedades de log mapeadas para colunas personalizadas. Para saber mais, selecione a guia relevante.

Para criar uma tabela para os registos de entrada provenientes do Fluent Bit:

  1. Navegue até o ambiente de consulta.

  2. Selecione o banco de dados onde deseja criar a tabela.

  3. Execute o seguinte comando .create table:

    .create table FluentBitLogs (log:dynamic, tag:string, timestamp:datetime)

    As propriedades JSON de entrada são automaticamente mapeadas na coluna correta.

Conceder permissões ao principal do serviço

Conceda à entidade de serviço de Criar uma entidade de serviço do Microsoft Entraingestor de banco de dados permissões de função para trabalhar com o banco de dados. Para obter mais informações, consulte Exemplos. Substitua o espaço reservado DatabaseName pelo nome do banco de dados de destino e ApplicationID pelo valor AppId que guardou ao criar um principal de serviço do Microsoft Entra.

.add database <DatabaseName> ingestors ('aadapp=<ApplicationID>;<TenantID>')

Configurar o Fluent Bit para enviar logs para sua tabela

Para configurar o Fluent Bit para enviar logs para sua tabela no Kusto, crie um de modo clássico ou arquivo de configuração do modo YAML com as seguintes propriedades de saída:

Campo Descrição Necessário Padrão
Nome O nome do pipeline. azure_kusto
identificador_de_inquilino A ID do locatário do Criar uma entidade de serviço do Microsoft Entra. ✔️
client_id O ID da aplicação do Criar um principal de serviço Microsoft Entra. ✔️
segredo_do_cliente O valor da chave secreta do cliente (palavra-passe) da Criar uma entidade de serviço do Microsoft Entra. ✔️
ponto_de_ingestão Insira o valor conforme descrito para Ingestion_Endpoint. ✔️
nome_da_base_de_dados O nome do banco de dados que contém a tabela de logs. ✔️
nome_da_tabela O nome da tabela de Criar uma tabela de destino. ✔️
referência_de_mapeamento_de_ingestão O nome do mapeamento de ingestão a partir de Criar uma tabela de destino. Se você não criou um mapeamento de ingestão, remova a propriedade do arquivo de configuração.
chave_de_registro Nome da chave do conteúdo do log. Por exemplo, log. log
tag_key O nome da chave da tag. Ignorado se include_tag_key for falso. tag
include_time_key Um carimbo de data/hora é anexado à saída, se habilitado. Usa a propriedade time_key. true
chave_de_tempo O nome da chave para o carimbo de data/hora nos registros de log. Ignorado se include_time_key falso. timestamp
tempo_limite_de_conexão_do_ponto_de_ingestão O tempo limite de conexão de vários pontos finais Kusto em segundos. 60s
compressao_ativada Envia carga HTTP compactada (gzip) para Kusto, se habilitado. true
intervalo_de_atualização_de_recursos_de_ingestão Os recursos de ingestão atualizam o intervalo do ponto de extremidade Kusto em segundos. 3600
trabalhadores O número de trabalhadores para executar operações de descarga para esta saída. 0

Para ver um exemplo de arquivo de configuração, selecione a guia relevante:

[SERVICE]
    Daemon Off
    Flush 1
    Log_Level trace
    HTTP_Server On
    HTTP_Listen 0.0.0.0
    HTTP_Port 2020
    Health_Check On

[INPUT]
    Name tail
    Path /var/log/containers/*.log
    Tag kube.*
    Mem_Buf_Limit 1MB
    Skip_Long_Lines On
    Refresh_Interval 10

[OUTPUT]
    match *
    name azure_kusto
    tenant_id <TenantId>
    client_id <ClientId>
    client_secret <AppSecret>
    ingestion_endpoint <IngestionEndpoint>
    database_name <DatabaseName>
    table_name <TableName>
    ingestion_mapping_reference <MappingName>
    ingestion_endpoint_connect_timeout <IngestionEndpointConnectTimeout>
    compression_enabled <CompressionEnabled>
    ingestion_resources_refresh_interval <IngestionResourcesRefreshInterval>

Confirmar a ingestão de dados

  1. Assim que os dados chegarem à tabela, confirme a transferência de dados, verificando a contagem de linhas:

    FluentBitLogs
| count

  2. Para exibir um exemplo de dados de log, execute a seguinte consulta:

    FluentBitLogs
| take 100

Conteúdo relacionado