Partilhar via

Migrar do Splunk para os Logs do Azure Monitor

  • Artigo

O Azure Monitor Logs é um serviço gerenciado de monitoramento e observabilidade baseado em nuvem que oferece muitas vantagens em termos de gerenciamento de custos, escalabilidade, flexibilidade, integração e baixa sobrecarga de manutenção. O serviço é projetado para lidar com grandes quantidades de dados e escalar facilmente para atender às necessidades de organizações de todos os tamanhos.

Os Logs do Monitor do Azure coletam dados de uma ampla variedade de fontes, incluindo logs de eventos do Windows, Syslog e logs personalizados, para fornecer uma exibição unificada de todos os recursos do Azure e não do Azure. Usando uma linguagem de consulta sofisticada e visualização selecionada, você pode analisar rapidamente milhões de registros para identificar, entender e responder a padrões críticos em seus dados de monitoramento.

Este artigo explica como migrar sua implantação do Splunk Observability para os Logs do Azure Monitor para registro em log e análise de dados de log.

Para obter informações sobre como migrar sua implantação do SIEM (Gerenciamento de Informações de Segurança e Eventos) do Splunk Enterprise Security para o Azure Sentinel, consulte Planejar sua migração para o Microsoft Sentinel.

Por que migrar para o Azure Monitor?

Os benefícios da migração para o Azure Monitor incluem:

Comparar ofertas

Oferta Splunk Produto Oferta do Azure
Plataforma Splunk
  • Plataforma de nuvem Splunk
  • Splunk Empresa
 O Azure Monitor Logs é uma plataforma centralizada de software como serviço (SaaS) para coletar, analisar e agir em dados de telemetria gerados por recursos e aplicativos do Azure e não do Azure.
Observabilidade Splunk
  • Monitoramento de infraestrutura Splunk
  • Monitoramento de desempenho de aplicativos Splunk
  • Inteligência de serviços de TI da Splunk
 O Azure Monitor é uma solução de ponta a ponta para coletar, analisar e agir em telemetria de seus ambientes de nuvem, multinuvem e locais, construída sobre um poderoso pipeline de ingestão de dados compartilhado com o Microsoft Sentinel. O Azure Monitor oferece às empresas uma solução abrangente para monitorizar ambientes na nuvem, híbridos e locais, com isolamento de rede, funcionalidades de resiliência e proteção contra falhas do centro de dados, relatórios, alertas e capacidades de resposta .
Os recursos internos do Azure Monitor incluem:
  • Azure Monitor Insights - experiências de monitoramento prontas para uso e selecionadas com entradas de dados, pesquisas, alertas e visualizações pré-configuradas.
  • Application Insights - fornece gerenciamento de desempenho de aplicativos (APM) para aplicativos Web ao vivo.
  • Azure Monitor AIOps e recursos internos de aprendizado de máquina - fornecem informações e ajudam você a solucionar problemas e automatizar tarefas orientadas por dados, como prever o uso da capacidade e o dimensionamento automático, identificar e analisar problemas de desempenho de aplicativos e detetar comportamentos anômalos em máquinas virtuais, contêineres e outros recursos.
Estas funcionalidades estão isentas de taxas de instalação.
Segurança Splunk
  • Segurança Empresarial Splunk
  • Controle de Missão Splunk
    Splunk SOAR
 O Microsoft Sentinel é uma solução nativa da nuvem que é executada na plataforma Azure Monitor para fornecer análises de segurança inteligentes e inteligência contra ameaças em toda a empresa.

Introdução aos conceitos-chave

Registos do Azure Monitor Conceito Splunk semelhante Description
Área de trabalho do Log Analytics Espaço de Nomes Um espaço de trabalho do Log Analytics é um ambiente no qual você pode coletar dados de log de todos os recursos monitorados do Azure e não do Azure. Os dados no espaço de trabalho estão disponíveis para consulta e análise, recursos do Azure Monitor e outros serviços do Azure. Semelhante a um namespace Splunk, você pode gerenciar o acesso aos dados e artefatos, como alertas e pastas de trabalho, em seu espaço de trabalho do Log Analytics.
Projete sua arquitetura de espaço de trabalho do Log Analytics com base em suas necessidades - por exemplo, faturamento dividido, requisitos regionais de armazenamento de dados e considerações de resiliência.
Gestão de tabelas Indexação O Azure Monitor Logs ingere dados de log em tabelas em um banco de dados gerenciado do Azure Data Explorer . Durante a ingestão, o serviço indexa automaticamente e carimba a data e hora dos dados, o que significa que você pode armazenar vários tipos de dados e acessar os dados rapidamente usando consultas Kusto Query Language (KQL).
Use as propriedades da tabela para gerenciar o esquema da tabela, a retenção de dados e se os dados devem ser armazenados para auditoria e solução de problemas ocasionais ou para análise contínua e uso por recursos e serviços.
Para obter uma comparação dos conceitos de manipulação e consulta de dados do Splunk e do Azure Data Explorer, consulte Splunk to Kusto Query Language map.
Planos de tabela analíticos, básicos e auxiliares O Azure Monitor Logs oferece três planos de tabela que permitem reduzir os custos de ingestão e retenção de logs e aproveitar os recursos avançados e de análise do Azure Monitor com base em suas necessidades.
O plano do Google Analytics disponibiliza dados de log para consultas interativas e uso por recursos e serviços.
O plano Basic permite ingerir e reter logs a um custo reduzido para solução de problemas e resposta a incidentes.
O plano Auxiliar é uma maneira de baixo custo de ingerir e reter logs de dados de baixo toque, como logs detalhados, e dados necessários para auditoria e conformidade.
Retenção de longa duração Estados do bucket de dados (quente, quente, frio, descongelado), arquivamento, DDAA (Dynamic Data Ative Archive) A opção econômica de retenção de longo prazo mantém seus logs no espaço de trabalho do Log Analytics e permite que você acesse esses dados imediatamente, quando precisar. As alterações na configuração de retenção entram em vigor imediatamente porque os dados não são fisicamente transferidos para o armazenamento externo. Você pode restaurar dados em retenção de longo prazo ou executar um trabalho de pesquisa para disponibilizar um intervalo de tempo específico de dados para análise em tempo real.
Controlo de acesso Acesso de usuário baseado em função, permissões Defina quais pessoas e recursos podem ler, gravar e executar operações em recursos específicos usando o RBAC (controle de acesso baseado em função) do Azure. Um usuário com acesso a um recurso tem acesso aos logs do recurso.
O Azure facilita a segurança de dados e o gerenciamento de acesso com recursos como funções internas, funções personalizadas, herança de permissão de função e histórico de auditoria.
Você também pode configurar o acesso no nível do espaço de trabalho e o acesso no nível da tabela para controle de acesso granular a tipos de dados específicos.
Transformações de dados Transformações, extrações de campo As transformações permitem filtrar ou modificar dados de entrada antes de serem enviados para um espaço de trabalho do Log Analytics. Use transformações para remover dados confidenciais, enriquecer dados em seu espaço de trabalho do Log Analytics, executar cálculos e filtrar dados que não são necessários para reduzir os custos de dados.
Regras de recolha de dados Entradas de dados, pipeline de dados Defina quais dados coletar, como transformá-los e para onde enviá-los.
Linguagem de consulta Kusto (KQL) Linguagem de processamento de pesquisa Splunk (SPL) O Azure Monitor Logs usa um grande subconjunto de KQL que é adequado para consultas de log simples, mas também inclui funcionalidades avançadas, como agregações, junções e análises inteligentes. Use o mapa Splunk to Kusto Query Language para traduzir seu conhecimento do Splunk SPL para o KQL. Você também pode aprender KQL com tutoriais e módulos de treinamento KQL.
Log Analytics Splunk Web, aplicativo de pesquisa, ferramenta Pivot Uma ferramenta no portal do Azure para editar e executar consultas de log nos Logs do Azure Monitor. O Log Analytics também fornece um rico conjunto de ferramentas para explorar e visualizar dados sem usar o KQL.
Otimização de custos O Azure Monitor fornece ferramentas e práticas recomendadas para ajudá-lo a entender, monitorar e otimizar seus custos com base em suas necessidades.

1. Compreenda o seu uso atual

Seu uso atual no Splunk ajudará você a decidir qual camada de preço selecionar no Azure Monitor e estimar seus custos futuros:

2. Configurar um espaço de trabalho do Log Analytics

Seu espaço de trabalho do Log Analytics é onde você coleta dados de log de todos os seus recursos monitorados. Você pode reter dados em um espaço de trabalho do Log Analytics por até sete anos. O arquivamento de dados de baixo custo no espaço de trabalho permite que você acesse dados em retenção de longo prazo de forma rápida e fácil quando precisar, sem a sobrecarga de gerenciar um armazenamento de dados externo.

Recomendamos coletar todos os seus dados de log em um único espaço de trabalho do Log Analytics para facilitar o gerenciamento. Se você estiver pensando em usar vários espaços de trabalho, consulte Criar uma arquitetura de espaço de trabalho do Log Analytics.

Para configurar um espaço de trabalho do Log Analytics para coleta de dados:

  1. Crie um espaço de trabalho do Log Analytics.

    Os Logs do Azure Monitor criam tabelas do Azure em seu espaço de trabalho automaticamente com base nos serviços do Azure que você usa e nas configurações de coleta de dados definidas para os recursos do Azure.

  2. Configure seu espaço de trabalho do Log Analytics, incluindo:

    1. Escalão de preço.
    2. Vincule seu espaço de trabalho do Log Analytics a um cluster dedicado para aproveitar os recursos avançados, se você for elegível, com base na camada de preço.
    3. Limite diário.
    4. Retenção de dados.
    5. Isolamento de rede.
    6. Controlo de acessos.

  3. Use as definições de configuração no nível da tabela para:

    1. Defina o plano de dados de log de cada tabela.

      O plano de dados de log padrão é o Analytics, que permite que você aproveite os recursos avançados de monitoramento e análise do Azure Monitor.

    2. Defina uma política de retenção e arquivamento de dados para tabelas específicas, se precisar que elas sejam diferentes da política de retenção e arquivamento de dados no nível do espaço de trabalho.

    3. Modifique o esquema da tabela com base no seu modelo de dados.

3. Migrar artefatos do Splunk para o Azure Monitor

Para migrar a maioria dos artefatos Splunk, você precisa traduzir Splunk Processing Language (SPL) para Kusto Query Language (KQL). Para obter mais informações, consulte o mapa Splunk to Kusto Query Language e Introdução às consultas de log no Azure Monitor.

Esta tabela lista artefatos do Splunk e links para orientação para configurar os artefatos equivalentes no Azure Monitor:

Artefato Splunk Artefato do Azure Monitor
Alertas Regras de alerta
Ações de alerta Grupos de ações
Monitorização de Infraestruturas O Azure Monitor Insights é um conjunto de experiências de monitoramento prontas para uso e selecionadas com entradas de dados, pesquisas, alertas e visualizações pré-configuradas para que você comece a analisar dados de forma rápida e eficaz.
Dashboards Livros
Pesquisas O Azure Monitor fornece várias maneiras de enriquecer dados, incluindo:
- Regras de coleta de dados, que permitem enviar dados de várias fontes para um espaço de trabalho do Log Analytics e executar cálculos e transformações antes de ingerir os dados.
- Operadores KQL, como o operador de junção, que combina dados de diferentes tabelas, e o operador externaldata, que retorna dados de armazenamento externo.
- Integração com serviços, como Azure Machine Learning ou Azure Event Hubs, para aplicar machine learning avançado e transmitir mais dados.
Espaços de nomes Você pode conceder ou limitar permissão a artefatos no Azure Monitor com base no controle de acesso definido no espaço de trabalho do Log Analytics ou nos grupos de recursos do Azure.
Permissões Gestão de acessos
Relatórios O Azure Monitor oferece uma variedade de opções para analisar, visualizar e compartilhar dados, incluindo:
- Integração com Grafana
- Informações
- Livros
- Dashboards
- Integração com o Power BI
- Integração com Excel
Pesquisas Consultas
Tipos de origem Defina seu modelo de dados no espaço de trabalho do Log Analytics. Use transformações de tempo de ingestão para filtrar, formatar ou modificar dados de entrada.
Métodos de recolha de dados Consulte Coletar dados para ferramentas do Azure Monitor projetadas para recursos específicos.

Para obter informações sobre como migrar artefatos do Splunk SIEM, incluindo regras de deteção e automação SOAR, consulte Planejar sua migração para o Microsoft Sentinel.

4. Recolha de dados

O Azure Monitor fornece ferramentas para coletar dados de fontes de dados de log em recursos do Azure e de outros recursos em seu ambiente.

Para coletar dados de um recurso:

  1. Configure a ferramenta de recolha de dados relevante com base na tabela abaixo.
  2. Decida quais dados você precisa coletar do recurso.
  3. Use transformações para remover dados confidenciais, enriquecer dados ou realizar cálculos e filtrar dados de que não precisa para reduzir custos.

Esta tabela lista as ferramentas que o Azure Monitor fornece para coletar dados de vários tipos de recursos.

Tipo de recurso Ferramenta de recolha de dados Ferramenta Splunk semelhante Dados recolhidos
Azure Configurações de diagnóstico Locatário do Azure - Os logs de auditoria do Microsoft Entra fornecem o histórico de atividades de entrada e a trilha de auditoria das alterações feitas em um locatário.
Recursos do Azure - Logs e contadores de desempenho.
Assinatura do Azure - Registros de integridade do serviço juntamente com registros sobre quaisquer alterações de configuração feitas nos recursos em sua assinatura do Azure.
Aplicação Application Insights Monitoramento de desempenho de aplicativos Splunk Dados de monitoramento de desempenho de aplicativos.
Container (Contentor) Informações sobre contêineres Monitorização de Contentores Dados de desempenho do contêiner.
Sistema Operativo Azure Monitor Agent Transitário Universal, Transitário Pesado Monitoramento de dados do sistema operacional convidado de máquinas virtuais do Azure e não do Azure.
Origem não Azure API de ingestão de logs Coletor de eventos HTTP (HEC) Logs baseados em arquivos e quaisquer dados enviados para um ponto de extremidade de coleta de dados em um recurso monitorado.

Diagrama que mostra várias fontes de dados sendo conectadas aos Logs do Azure Monitor.

5. Transição para os logs do Azure Monitor

Uma abordagem comum é fazer a transição para os Logs do Azure Monitor gradualmente, mantendo os dados históricos no Splunk. Durante este período, pode:

  • Use a API de ingestão de log para ingerir dados do Splunk.
  • Use a exportação de dados do espaço de trabalho do Log Analytics para exportar dados do Azure Monitor.

Para exportar seus dados históricos do Splunk:

  1. Use um dos métodos de exportação do Splunk para exportar dados no formato CSV.
  2. Para recolher os dados exportados:

    1. Use o Azure Monitor Agent para coletar os dados exportados do Splunk, conforme descrito em Coletar logs de texto com o Azure Monitor Agent.

      ou

    2. Colete os dados exportados diretamente com a API de Ingestão de Logs, conforme descrito em Enviar dados para Logs do Azure Monitor usando uma API REST.

Diagrama que mostra o streaming de dados do Splunk para um espaço de trabalho do Log Analytics nos Logs do Azure Monitor.

Próximos passos