Coletar logs de arquivos de texto com o agente do Azure Monitor e ingerir no Microsoft Sentinel

Este artigo mostra como usar o conector Logs Personalizados via AMA para filtrar e ingerir rapidamente logs em formato de arquivo de texto de aplicativos de rede ou segurança instalados em computadores Windows ou Linux.

Muitos aplicativos registram dados em arquivos de texto em vez de serviços padrão de registro em log, como o log de eventos do Windows ou o Syslog. Você pode usar o agente do Azure Monitor (AMA) para coletar dados em arquivos de texto, mesmo que esses dados não estejam em formatos padronizados, tanto em computadores Windows quanto Linux. O AMA também pode realizar transformações nos dados durante a coleta, organizando-os em diferentes campos.

Para mais informações sobre os aplicativos para os quais o Microsoft Sentinel possui soluções compatíveis com a coleta de logs, confira o artigo Conector de dados Logs Personalizados via AMA: configurar a ingestão de dados para o Microsoft Sentinel a partir de aplicativos específicos.

Para uma visão geral sobre como ingerir logs personalizados de arquivos de texto, confira o artigo Coletar logs de um arquivo de texto com o Agente do Azure Monitor.

Pré-requisitos

Antes de iniciar, você precisa ter os recursos configurados e as permissões adequadas atribuídas, conforme descrito nesta seção.

Pré-requisitos do Microsoft Sentinel

• Instale a solução do Microsoft Sentinel correspondente ao seu aplicativo e verifique se você tem as permissões para concluir as etapas neste artigo. Você pode encontrar essas soluções no Hub de conteúdos no Microsoft Sentinel, e todas elas incluem o conector Logs Personalizados via AMA.

  Para ver a lista de aplicativos com soluções no hub de conteúdos, acesse Instruções específicas por aplicativo. Caso não haja uma solução disponível para o seu aplicativo, instale a solução Logs Personalizados via AMA.

  Para obter mais informações, consulte Descobrir e gerenciar o conteúdo pronto para uso do Microsoft Sentinel.

• Tenha uma conta do Azure com as seguintes funções de controle de acesso baseado em função do Azure (RBAC do Azure):

  Função interna	Escopo	Motivo
  - Colaborador de Máquina Virtual - Azure Connected Machine    Administrador de recursos	VM (máquinas virtuais) Conjuntos de Escala de Máquina Virtual Servidores habilitados para Azure Arc	Para implantar o agente
  Qualquer função que inclua a ação Microsoft.Resources/deployments/*	Subscription Grupo de recursos Regra de coleta de dados existente	Para implantar os modelos do Azure Resource Manager
  Colaborador de monitoramento	Subscription Grupo de recursos Regra de coleta de dados existente	Criar ou editar regras de coleta de dados

Pré-requisitos do encaminhador de log

Alguns aplicativos personalizados estão hospedados em dispositivos fechados e precisam enviar seus logs para um coletor/encaminhador de logs externo. Nesse caso, os seguintes pré-requisitos se aplicam ao encaminhador de logs:

• Você precisa ter uma VM do Linux designada como um encaminhador de log para coletar logs.

  • Crie uma VM do Linux no portal do Azure.
  • Sistemas operacionais Linux com suporte para o Agente do Azure Monitor.

• Se o encaminhador de log não for uma máquina virtual do Azure, ele deverá ter o agente do Connected Machine do Azure Arc instalado nele.

• A VM do encaminhador de log do Linux deve ter o Python 2.7 ou 3 instalado. Use o comando python --version ou python3 --version para verificar. Se estiver usando o Python 3, garanta que ele está definido como o comando padrão no computador ou execute scripts com o comando 'python3' em vez de 'python'.

• O encaminhador de log deve ter o daemon syslog-ng ou rsyslog habilitado.

• Para obter requisitos de espaço para o encaminhador de log, confira o Parâmetro de comparação de desempenho do agente do Azure Monitor. Você também pode ler essa postagem no blog, que inclui designs para uma ingestão escalável.

• Configurar suas fontes de log, dispositivos e dispositivos de segurança para enviar as mensagens de log para o daemon syslog do encaminhador de logs, em vez de encaminhar para o daemon syslog local.

Pré-requisitos de segurança do computador

Configurar a segurança do computador do encaminhador de logs de acordo com a política de segurança da sua organização. Por exemplo, configure a rede para ser alinhada à política de segurança de rede corporativa e altere as portas e os protocolos do daemon para que sejam alinhados aos requisitos. Para melhorar a configuração de segurança do computador, proteja sua VM no Azure ou examine estas melhores práticas para segurança de rede.

Se seus dispositivos estiverem enviando logs via protocolo TLS (por exemplo, se o encaminhador de logs estiver na nuvem), você precisará configurar o daemon syslog (rsyslog ou syslog-ng) para se comunicar no TLS. Para saber mais, veja:

• Criptografar tráfego do Syslog com TLS – rsyslog
• Criptografar mensagens de log com TLS – syslog-ng

Configurar o conector de dados

O processo de instalação do conectados de dados Logs Personalizados via AMA envolve as seguintes etapas:

1. Crie a tabela de destino no Log Analytics (ou Busca Avançada de Ameaças se estiver no portal do Defender).

   O nome da tabela deve terminar com _CL e deve ter apenas dois campos:

   • TimeGenerated (do tipo DateTime): o carimbo de data/hora da criação da mensagem de log.
   • RawData (do tipo String): a mensagem de log completa.
     (Se estiver coletando logs de um encaminhador de logs e não diretamente do dispositivo que hospeda o aplicativo, nomeie este campo como Message em vez de RawData.)

2. Instale o Agente do Azure Monitor e crie uma DCR (Regra de Coleta de Dados) usando um dos seguintes métodos:

   • Portal do Azure ou do Defender
   • Modelo do Azure Resource Manager

3. Se você estiver coletando logs através de um encaminhador de logs, configure o daemon syslog nesse computador para escutar mensagens de outras fontes e abra as portas locais necessárias. Para mais detalhes, confira o artigo Configurar o encaminhador de logs para aceitar logs.

Selecione a guia apropriada para obter instruções.

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "resources": [
        {
            "type": "Microsoft.Insights/dataCollectionRules",
            "name": "{DCR_NAME}",
            "location": "{DCR_LOCATION}",
            "apiVersion": "2022-06-01",
            "properties": {
                "streamDeclarations": {
                    "Custom-Text-{TABLE_NAME}": {
                        "columns": [
                            {
                                "name": "TimeGenerated",
                                "type": "datetime"
                            },
                            {
                                "name": "RawData",
                                "type": "string"
                            },
                        ]
                    }
                },
                "dataSources": {
                    "logFiles": [
                        {
                            "streams": [
                                "Custom-Text-{TABLE_NAME}"
                            ],
                            "filePatterns": [
                                "{LOCAL_PATH_FILE_1}","{LOCAL_PATH_FILE_2}"
                            ],
                            "format": "text",
                            "name": "Custom-Text-{TABLE_NAME}"
                        }
                    ]
                },
                "destinations": {
                    "logAnalytics": [
                        {
                            "workspaceResourceId": "{WORKSPACE_RESOURCE_PATH}",
                            "workspaceId": "{WORKSPACE_ID}",
                            "name": "workspace"
                        }
                    ]
                },
                "dataFlows": [
                    {
                        "streams": [
                            "Custom-Text-{TABLE_NAME}"
                        ],
                        "destinations": [
                            "DataCollectionEvent"
                        ],
                        "transformKql": "source",
                        "outputStream": "Custom-{TABLE_NAME}"
                    }
                ]
            }
        }
    ]
}

Configurar o encaminhador de logs para aceitar logs

Se você estiver coletando logs de um dispositivo através de um encaminhador de logs, configure o daemon syslog no encaminhador para escutar mensagens de outros computadores e abra as portas locais necessárias.

1. Copie a seguinte linha de comando:

   sudo wget -O Forwarder_AMA_installer.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Forwarder_AMA_installer.py&&sudo python Forwarder_AMA_installer.py
   

2. Faça logon no computador do encaminhador de log no qual você acabou de instalar o AMA.

3. Cole o comando copiado na última etapa para iniciar o script de instalação.
   O script configura o daemon rsyslog ou syslog-ng para usar o protocolo necessário e reinicia o daemon. O script abre a porta 514 para ouvir mensagens de entrada em protocolos UDP e TCP. Para alterar essa configuração, consulte o arquivo de configuração de daemon syslog de acordo com o tipo daemon em execução no computador:

   • Rsyslog: /etc/rsyslog.conf
   • Syslog-ng: /etc/syslog-ng/syslog-ng.conf

   Se você estiver usando o Python 3 e ele não estiver definido como o comando padrão no computador, substitua python3 por python no comando colado. Confira Pré-requisitos do encaminhador de log.

   Observação

   Para evitar cenários de Disco Completo em que o agente não pode funcionar, recomendamos que você defina a configuração syslog-ng ou rsyslog para não armazenar logs desnecessários. Um cenário de Disco Completo interrompe a função do AMA instalado. Para obter mais informações, consulte RSyslog ou Syslog-ng.

Configurar o dispositivo de segurança

Para instruções específicas sobre como configurar seu aplicativo ou dispositivo de segurança, confira o artigo Conector de dados Logs Personalizados via AMA: configurar a ingestão de dados para o Microsoft Sentinel a partir de aplicativos específicos

Entre em contato com o provedor de soluções para obter mais informações ou quando as informações não estiverem disponíveis para o dispositivo.

Conteúdo relacionado

• Regras de coleta de dados do Azure Monitor
• Coletar logs de um arquivo de texto com o Agente do Azure Monitor