Transformaciones de recopilación de datos en Azure Monitor
Con las transformaciones en Azure Monitor puede filtrar o modificar los datos entrantes antes de que se envíen a un área de trabajo de Log Analytics. En este artículo se proporciona una descripción básica de las transformaciones y de cómo se implementan. Proporciona vínculos a otro contenido para crear una transformación.
Las transformaciones se realizan en Azure Monitor en la canalización de ingesta de datos después de que el origen de datos entregue los datos y antes de enviarlos al destino. El origen de datos puede realizar su propio filtrado antes de enviar datos, pero basarse en la transformación para manipularlos antes de enviarlos a su destino.
Las transformaciones se definen en una regla de recopilación de datos (DCR) y usan una instrucción del Lenguaje de consulta Kusto (KQL) que se aplica individualmente a cada entrada de los datos entrantes. Debe comprender el formato de los datos entrantes y crear la salida en la estructura esperada por el destino.
En el diagrama siguiente se muestra el proceso de transformación de los datos entrantes y se muestra una consulta de ejemplo que se puede usar. Consulte Estructura de transformación en Azure Monitor para obtener más información sobre la creación de consultas de transformación.
Por qué usar transformaciones
En la tabla siguiente se describen los distintos objetivos que se pueden conseguir con el uso de transformaciones.
| Category | Detalles |
|---|---|
| Eliminación de datos confidenciales | Es posible que tenga un origen de datos que envía información que no quiera almacenar por motivos de privacidad o cumplimiento. Filtre información confidencial. Filtre filas completas o columnas concretas que contengan información confidencial. Ofusque información confidencial. Remplaza información como los dígitos de una dirección IP o un número de teléfono por un carácter común. Envío a una tabla alternativa. Envíe registros confidenciales a una tabla alternativa con una configuración de control de acceso basado en rol diferente. |
| Enriquecimiento de datos con información adicional o calculada | Use una transformación para agregar información a los datos que proporcionan contexto empresarial o simplifican la consulta de los datos más adelante. Agregue una columna con más información. Por ejemplo, puede agregar una columna que identifique si una dirección IP de otra columna es interna o externa. Agregue información específica de la empresa. Por ejemplo, puede agregar una columna que indique una división de la empresa en función de la información de ubicación de otras columnas. |
| Reducción de los costos de datos | Puesto que se le cobra el costo de ingesta de los datos enviados a un área de trabajo de Log Analytics, para reducirlo, se recomienda filtrar los datos que no necesite. Quite filas completas. Por ejemplo, puede tener un diagnóstico para recopilar los registros de un determinado recurso, pero quizá no necesite todas las entradas de registro que genera. Cree una transformación que filtre los registros que coinciden con determinados criterios. Quite una columna de cada fila. Por ejemplo, los datos pueden incluir columnas con datos redundantes o con un valor mínimo. Cree una transformación que filtre las columnas que no son necesarias. Analice datos importantes de una columna. Es posible que tenga una tabla con datos importantes incluidos en una columna determinada. Use una transformación para analizar los datos importantes en una nueva columna y elimine la original. Enviar determinadas filas a registros básicos. Envíe filas de los datos que requieran funcionalidades de consulta básicas a tablas de registros básicas para un costo de ingesta menor. |
| Dar formato a los datos de destino | Es posible que tenga un origen de datos que envíe datos en un formato que no coincida con la estructura de la tabla de destino. Use una transformación para volver a formatear los datos en el esquema necesario. |
Tablas admitidas
Consulte Tablas que admiten transformaciones en Registros de Azure Monitor para obtener una lista de las tablas que se pueden usar con transformaciones. También puede usar la referencia de datos de Azure Monitor que enumera los atributos de cada tabla, incluido si admite transformaciones. Además de estas tablas, también se admiten las tablas personalizadas (sufijo de _CL).
- Cualquier tabla de Azure que aparezca en Tablas que admiten transformaciones en Registros de Azure Monitor. También puede usar la referencia de datos de Azure Monitor que enumera los atributos de cada tabla, incluido si admite transformaciones.
- Cualquier tabla personalizada creada para el agente de Azure Monitor. (La tabla personalizada de MMA no puede usar transformaciones)
Creación de una transformación
Hay varios métodos para crear transformaciones en función del método de recopilación de datos. En la tabla siguiente se enumeran las instrucciones de diferentes métodos para crear transformaciones.
| datos, recopilación | Referencia |
|---|---|
| API de ingesta de registros | Envío de datos a los registros de Azure Monitor mediante la API REST (Azure Portal) Envío de datos a los registros de Azure Monitor mediante la API REST (plantillas de Resource Manager) |
| Máquina virtual con el agente de Azure Monitor | Adición de la transformación al registro de Azure Monitor |
| Clúster de Kubernetes con información de contenedor | Transformaciones de datos en Container Insights |
| Azure Event Hubs | Tutorial: Ingesta de eventos de Azure Event Hubs en los Registros de Azure Monitor (versión preliminar pública) |
Coste de las transformaciones
Aunque las propias transformaciones no incurren en costos directos, los siguientes escenarios pueden dar lugar a cargos adicionales:
- Si una transformación aumenta el tamaño de los datos entrantes, como al agregar una columna calculada, se le cobrará la tasa de ingesta estándar de los datos adicionales.
- Si una transformación reduce los datos ingeridos en más del 50 %, se le cobrará por la ingesta cantidad de datos filtrados por encima del 50 %.
Para calcular el cargo de procesamiento de datos resultante de las transformaciones, use la fórmula siguiente:
[GB filtrados por transformaciones] - ([GB datos ingeridos por canalización] / 2). En la tabla siguiente se muestran ejemplos.
| Datos ingeridos por canalización | Datos eliminados por transformación | Datos ingeridos por el área de trabajo de Log Analytics | Cambio de procesamiento de datos | Cargo de la ingesta |
|---|---|---|---|---|
| 20 GB | 12 GB | 8 GB | 2 GB 1 | 8 GB |
| 20 GB | 8 GB | 12 GB | 0 GB | 12 GB |
1 Este cargo excluye el cargo por los datos ingeridos por el área de trabajo de Log Analytics.
Para evitar este cargo, debería filtrar los datos ingeridos mediante métodos alternativos antes de aplicar transformaciones. Al hacerlo, puede reducir la cantidad de datos procesados por transformaciones y, por lo tanto, minimizar los costos adicionales.
Consulte Precios de Azure Monitor para ver los cargos actuales por la ingesta y la retención de datos de registro en Azure Monitor.
Importante
Si Azure Sentinel está habilitado para el área de trabajo de Log Analytics, no hay ningún cargo por la ingesta de filtrado, independientemente de la cantidad de datos que filtre la transformación.