Transformações de coleta de dados no Azure Monitor
Com as transformações no Azure Monitor, é possível filtrar ou modificar os dados de entrada antes de enviá-los a um workspace do Log Analytics. Este artigo fornece uma descrição básica das transformações e de como elas são implementadas. Também fornece links para outros conteúdos relacionados à criação de uma transformação.
As transformações são executadas no Azure Monitor no pipeline de ingestão de dados depois que a fonte de dados fornece os dados e antes de serem enviados para o destino. A fonte de dados pode executar a própria filtragem antes do envio dos dados, mas contar com a transformação para uma manipulação adicional antes de enviá-los ao destino.
As transformações são definidas em uma DCR (regra de coleta de dados) e usam uma instrução KQL (Kusto Query Language) que é aplicada individualmente a cada entrada nos dados recebidos. Ele deve entender o formato dos dados de entrada e criar saída na estrutura esperada pelo destino.
O diagrama a seguir ilustra o processo de transformação de dados de entrada e mostra uma consulta de exemplo que pode ser usada. Consulte Estrutura de transformação no Azure Monitor para obter detalhes sobre como criar consultas de transformação.
Por que usar transformações
A tabela a seguir descreve as diferentes metas que podem ser alcançadas usando transformações.
| Categoria | Detalhes |
|---|---|
| Remover dados confidenciais | É possível ter uma fonte de dados que envia informações que você não deseja armazenar por motivos de privacidade ou conformidade. Filtrar informações confidenciais. Filtre linhas inteiras ou colunas específicas que contenham informações confidenciais. Ofuscar informações confidenciais. Substituir informações como dígitos em um endereço IP ou número de telefone por um caractere comum. Envie-as para uma tabela alternativa. Envie registros confidenciais para uma tabela alternativa com uma configuração diferente de controle de acesso baseado em função. |
| Enriquecer os dados com informações adicionais ou calculadas | Use uma transformação para adicionar informações aos dados que fornecem contexto empresarial ou simplifica a consulta dos dados posteriormente. Adicione uma coluna com mais informações. Por exemplo, você pode adicionar uma coluna identificando se um endereço IP em outra coluna é interno ou externo. Adicione informações específicas de negócios. Por exemplo, você pode adicionar uma coluna que indica uma divisão da empresa com base nas informações de localização em outras colunas. |
| Reduzir custos de dados | Como você é cobrado pelo custo de ingestão de todos os dados enviados a um workspace do Log Analytics, filtre aqueles que são desnecessários para reduzir os custos. Remova linhas inteiras. Por exemplo, é possível ter uma configuração de diagnóstico para coletar logs de um determinado recurso, mas sem incluir todas as entradas de log geradas por ele. Crie uma transformação que filtra os registros correspondentes a determinados critérios. Remova uma coluna de cada linha. Também é possível que os dados incluam colunas com dados redundantes ou valores mínimos. Crie uma transformação que filtre colunas que não são necessárias. Analise dados importantes de uma coluna. Além disso, você pode ter uma tabela com dados importantes que estão em uma coluna específica. Use uma transformação para analisar os dados valiosos em uma nova coluna e remover o original. Enviar determinadas linhas para logs básicos. Envie as linhas em seus dados que exigem recursos básicos de consulta para tabelas de logs básicas a fim de obter um custo de ingestão menor. |
| Formatar dados para o destino | Você pode ter uma fonte de dados que envia dados em um formato que não corresponde à estrutura da tabela de destino. Use uma transformação para reformatar os dados para o esquema necessário. |
Tabelas com suporte
Consulte Tabelas que dão suporte a transformações nos Logs do Azure Monitor para obter uma lista das tabelas que podem ser usadas com transformações. Você também pode usar a Referência de dados do Azure Monitor que lista os atributos de cada tabela, incluindo se ela dá suporte a transformações. Além dessas tabelas, também há suporte para tabelas personalizadas (sufixo de _CL).
- Todas as tabelas do Azure listadas em Tabelas que oferecem suporte a transformações nos Logs do Azure Monitor. Você também pode usar a Referência de dados do Azure Monitor que lista os atributos de cada tabela, incluindo se ela dá suporte a transformações.
- Qualquer tabela personalizada criada para o Agente do Azure Monitor. (A tabela personalizada do MMA não pode usar transformações)
Criar uma transformação
Há vários métodos para criar transformações dependendo do método de coleta de dados. A tabela a seguir lista diretrizes para diferentes métodos para criar transformações.
| Coleta de dados | Referência |
|---|---|
| API de ingestão de logs | Enviar dados para logs do Azure Monitor usando a API REST (portal do Azure) Enviar dados para logs do Azure Monitor usando a API REST (modelos do Azure Resource Manager) |
| Máquina virtual com agente do Azure Monitor | Adicionar transformação ao Log do Azure Monitor |
| Cluster do Kubernetes com insights de contêiner | Transformação de dados em insights de contêiner |
| Hubs de eventos do Azure | Tutorial: ingerir eventos dos Hubs de Eventos do Azure nos Logs do Azure Monitor (Visualização Pública) |
Custo para transformações
Embora as transformações em si não incorram em custos diretos, os seguintes cenários podem resultar em encargos adicionais:
- Se uma transformação aumentar o tamanho dos dados de entrada, como adicionando uma coluna calculada, você será cobrado pela taxa de ingestão padrão pelos dados extras.
- Se uma transformação reduzir os dados de ingrestão em mais de 50%, você será cobrado pela quantidade de dados filtrados acima de 50%.
Para calcular a cobrança de processamento de dados resultante de transformações, use a seguinte fórmula:
[GB filtrado por transformações] – ([DADOS GB ingeridos por pipeline] / 2). A tabela a seguir mostra exemplos.
| Dados ingeridos por pipeline | Dados descartados por transformação | Dados ingeridos pelo workspace do Log Analytics | Encargo de processamento de dados | Encargo de ingestão |
|---|---|---|---|---|
| 20 GB | 12 GB | 8 GB | 2 GB 1 | 8 GB |
| 20 GB | 8 GB | 12 GB | 0 GB | 12 GB |
1 Essa cobrança exclui a cobrança pelos dados ingeridos pelo workspace do Log Analytics.
Para evitar essa cobrança, você precisa filtrar dados ingeridos usando métodos alternativos antes de aplicar transformações. Ao fazer isso, você pode reduzir a quantidade de dados processados por transformações e, portanto, minimizar os custos adicionais.
Confira os Preços do Azure Monitor das cobranças atuais para ingestão e retenção de dados de log no Azure Monitor.
Importante
Se o Azure Sentinel estiver habilitado para o workspace do Log Analytics, não haverá cobrança de ingestão de filtragem, independentemente da quantidade de dados filtrada pela transformação.