Agregue datos en un área de trabajo de Log Analytics mediante reglas de resumen (versión preliminar)

Una regla de resumen permite agregar datos de registro a una cadencia regular y enviar los resultados agregados a una tabla de registro personalizada en el área de trabajo de Log Analytics. Use reglas de resumen para optimizar los datos para:

• Análisis e informes, especialmente sobre grandes conjuntos de datos y intervalos de tiempo, según sea necesario para el análisis de seguridad e incidentes, informes empresariales mensuales o anuales, etc. Las consultas complejas en un conjunto de datos de gran tamaño suelen agotar el tiempo de espera. Es más fácil y eficaz analizar e informar sobre los datos resumidos limpios y agregados.

• Ahorro de costos en registros detallados, que puede conservar durante tan poco o siempre que necesite en una tabla de registro básica barata y enviar datos resumidos a una tabla de Análisis para análisis e informes.

• Seguridad y privacidad de datos mediante la eliminación o ofuscación de los detalles de privacidad en los datos que se pueden compartir resumidos y limitando el acceso a las tablas con datos sin procesar.

En este artículo se describe cómo funcionan las reglas de resumen y cómo definir y ver las reglas de resumen, y se proporcionan algunos ejemplos del uso y las ventajas de las reglas de resumen.

Este es un vídeo que proporciona información general sobre algunas de las ventajas de las reglas de resumen:

Funcionamiento de las reglas de resumen

Las reglas de resumen realizan el procesamiento por lotes directamente en el área de trabajo de Log Analytics. La regla de resumen agrega fragmentos de datos, definidos por tamaño de rango, en función de una consulta KQL y vuelve a analizar los resultados resumidos en una tabla personalizada con un Plan de registro de Analytics en el área de trabajo de Log Analytics.

Puede agregar datos de cualquier tabla, independientemente de si la tabla tiene un Plan de datos de Análisis o Básico. Azure Monitor crea el esquema de tabla de destino en función de la consulta que defina. Si la tabla de destino ya existe, Azure Monitor agrega las columnas necesarias para admitir los resultados de la consulta. Todas las tablas de destino también incluyen un conjunto de campos estándar con información de regla de resumen, entre las que se incluyen:

• _RuleName: regla de resumen que generó la entrada de registro agregada.
• _RuleLastModifiedTime: cuando se modificó por última vez la regla.
• _BinSize: intervalo de agregación.
• _BinStartTime Hora de inicio de la agregación.

Puede configurar hasta 30 reglas activas para agregar datos de varias tablas y enviar los datos agregados a tablas de destino independientes o a la misma tabla.

Puede exportar datos resumidos de una tabla de registro personalizada a una cuenta de almacenamiento o Event Hubs para realizar más integraciones mediante la definición de una regla de exportación de datos.

Ejemplo: Resumir datos ContainerLogsV2

Si va a supervisar contenedores, ingiere un gran volumen de registros detallados en la tabla ContainerLogsV2.

Puede usar esta consulta en la regla de resumen para agregar todas las entradas de registro únicas en un plazo de 60 minutos, manteniendo los datos útiles para el análisis y la eliminación de datos que no necesita:

ContainerLogV2 | summarize Count = count() by  Computer, ContainerName, PodName, PodNamespace, LogSource, LogLevel, Message = tostring(LogMessage.Message)

Estos son los datos sin procesar de la tabla ContainerLogsV2 :

Estos son los datos agregados que envía la regla de resumen a la tabla de destino:

En lugar de registrar cientos de entradas similares en un plazo de una hora, la tabla de destino muestra el recuento de cada entrada única, tal como se define en la consulta KQL. Establezca el Plan de datos básico en la ContainerLogsV2 tabla para la retención barata de los datos sin procesar y use los datos resumidos en la tabla de destino para sus necesidades de análisis.

Permisos necesarios

Restricciones y limitaciones

• Actualmente, las reglas de resumen solo están disponibles en la nube pública.

• La regla de resumen procesa los datos entrantes y no se puede configurar en un intervalo de tiempo histórico.

• Cuando se agotan los reintentos de ejecución de bin, se omite el bin y no se puede volver a ejecutar.

• No se admite la consulta de un área de trabajo de Log Analytics en otro inquilino mediante Lighthouse.

• Los límites de KQL dependen del plan de tabla de la tabla de origen.

  • Analytics: admite todos los comandos KQL, excepto para:

    • consultas entre recursos, mediante las expresiones workspaces(), app(), resource() y consultas entre servicios, mediante las expresiones ADX() y ARG().
    • Complementos que vuelven a dar forma al esquema de datos, incluidos desempaquetar paquetes, estrechar y pivotar.

  • Básico: admite todos los comandos KQL en una sola tabla. Puede unir hasta cinco tablas de Analytics mediante el operador de búsqueda.

  • Functions: no se admiten funciones definidas por el usuario. Se admiten las funciones del sistema proporcionadas por Microsoft.

Modelo de precios

No hay ningún costo adicional para las reglas de resumen. Solo paga por la consulta y la ingesta de resultados en la tabla de destino, en función del plan de tabla de la tabla de origen en la que se ejecuta la consulta:

Por ejemplo, el cálculo de costos de una regla por hora que devuelve 100 registros por rango es:

Para obtener más información, consulte Precios de Azure Monitor.

Crear o actualizar una regla de resumen

Antes de crear una regla, experimente con la consulta en Log Analytics. Compruebe que la consulta no alcanza ni está cerca del límite de consultas. Compruebe que la consulta genera el esquema previsto y los resultados esperados. Si la consulta está cerca de los límites de consulta, considere la posibilidad de usar un binSize de menos tamaño para procesar menos datos por rango. También puede modificar la consulta para devolver menos registros o quitar campos con un volumen superior.

Al actualizar una consulta y quitar campos de salida del conjunto de resultados, Azure Monitor no quita automáticamente las columnas de la tabla de destino. Debe eliminar columnas de la tabla manualmente.

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourcegroup}/providers/Microsoft.OperationalInsights/workspaces/{workspace}/summarylogs/{ruleName}?api-version=2023-01-01-preview
Authorization: {credential}

{
  "properties": {
      "ruleType": "User",
      "description": "My test rule",
      "ruleDefinition": {
          "query": "StorageBlobLogs | summarize count() by AccountName",
          "binSize": 30,
          "destinationTable": "MySummaryLogs_CL"
      }
  }
}

{
  "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
  "contentVersion": "1.0.0.0",
  "parameters": {
    "workspaceName": {
      "type": "String",
      "metadata": {
        "description": "The workspace name where summary rule is deployed."
      }
    },
    "summaryRuleName": {
      "type": "String",
      "metadata": {
        "description": "The summary rule name."
      }
    },
    "description": {
      "type": "String",
      "metadata": {
        "description": "A description of the rule."
      }
    },
    "location": {
      "defaultValue": "[resourceGroup().location]",
      "type": "String",
      "metadata": {
        "description": "The Location of the workspace summary rule is deployed."
      }
    },
    "ruleType": {
      "defaultValue": "User",
      "allowedValues": [
        "User"
      ],
      "type": "String",
      "metadata": {
        "description": "The summary rule type (User,System). Should be 'User' for and rule with query that you define."
      }
    },
    "query": {
      "type": "String",
      "metadata": {
      "description": "The query used in summary rules."
      }
    },
    "binSize": {
      "defaultValue": 60,
      "allowedValues": [
        20,
        30,
        60,
        120,
        180,
        360,
        720,
        1440
      ],
      "type": "Int",
      "metadata": {
        "description": "The execution interval in minutes, and the lookback time range."
      }
    },
    "destinationTable": {
      "type": "String",
      "metadata": {
        "description": "The name of the custom log table that the summary results are sent to. Name must end with '_CL'."
      }
    }
    // ----- optional -----
    // "binDelay": {
    //   "type": "Int",
    //   "metadata": {
    //     "description": "Optional - The minimum wait time in minutes before bin execution. For example, value of '10' cause bin (01:00-02:00) to be executed after 02:10."
    //   }
    // },
    // "timeSelector": {
    //   "defaultValue": "TimeGenerated",
    //   "allowedValues": [
    //     "TimeGenerated"
    //   ],
    //   "type": "String",  
    //   "metadata": {
    //     "description": "Optional - The time field to be used by the summary rule. Must be 'TimeGenerated'."
    //   }
    // },
    // "binStartTime": {
    //   "type": "String",
    //   "metadata": {
    //     "description": "Optional - The Time of initial bin. Can start at current time minus binSize, or future, and in whole hours. For example: '2024-01-01T08:00'."
    //   }
    // }
  },
  "variables": {},
  "resources": [
    {
      "type": "Microsoft.OperationalInsights/workspaces/summaryLogs",
      "apiVersion": "2023-01-01-preview",
      //"name": "[format('{0}/{1}', parameters('workspaceName'), parameters('summaryRuleName'))]",
      "name": "[concat(parameters('workspaceName'), '/', parameters('summaryRuleName'))]",
      "properties": {
        "ruleType": "[parameters('ruleType')]",
        "description": "[parameters('description')]",
        "ruleDefinition": {
          "query": "[parameters('query')]",
          "binSize": "[parameters('binSize')]",
          "destinationTable": "[parameters('destinationTable')]"
          // ----- optional -----
          //"binDelay": "[parameters('binDelay')]",
          //"timeSelector": "[parameters('timeSelector')]",
          //"binStartTime": "[parameters('binStartTime')]"
        }
      }
    }
  ]
}

{
  "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentParameters.json#",
  "contentVersion": "1.0.0.0",
  "parameters": {
    "workspaceName": {
      "value": "myworkspace"
    },
    "summaryRuleName": {
      "value": "myrulename"
    },
    "description": {
      "value": "My rule description."
    },
    "location": {
      "value": "eastus" //Log Analytics workspace region
    },
    "ruleType": {
      "value": "User"
    },
    "query": {
      "value": "StorageBlobLogs | summarize Count = count(), DurationMs98 = percentile(DurationMs, 90) by StatusCode, CallerIpAddress, OperationName"
    },
    "binSize": {
      "value": 20
    },
    "destinationTable": {
      "value": "MySummaryLogs_CL"
    }
  }
}

En esta tabla se describen los parámetros de la regla de resumen:

Configuración del tiempo de agregación

De manera predeterminada, la regla de resumen crea la primera agregación poco después de la próxima hora completa.

El breve retraso que Azure Monitor agrega cuentas para la latencia de ingesta, o el tiempo entre el momento en que se crean los datos en el sistema supervisado y el tiempo que está disponible para el análisis en Azure Monitor. De manera predeterminada, este retraso está entre tres y medio minutos y el 10 % del valor binSize antes de agregar cada fragmento de datos. En la mayoría de los casos, este retraso garantiza que Azure Monitor agregue todos los datos registrados dentro de cada período de rango.

Por ejemplo:

• Cree una regla de resumen con un tamaño de rango de 30 minutos a las 14:44.

  La regla crea la primera agregación poco después de las 15:00 (por ejemplo, a las 15:04) para los datos registrados entre las 14:30 y las 15:00.

• Cree una regla de resumen con un tamaño de rango de 720 minutos (12 horas) a las 14:44.

  La regla crea la primera agregación a las 16:12 a 72 minutos (10 % del tamaño de 720 contenedores) después de 13:00, para los datos registrados entre 03:00 y 15:00.

Use los parámetros binStartTime y binDelay para cambiar el tiempo de la primera agregación y el retraso que Azure Monitor agrega antes de cada agregación.

En las secciones siguientes se proporcionan ejemplos de los intervalos de agregación predeterminados y las opciones de tiempo de agregación más avanzadas.

Uso del tiempo de agregación predeterminado

En este ejemplo, la regla de resumen se crea en el 2023-06-07 a las 14:44 y Azure Monitor agrega un retraso predeterminado de cuatro minutos.

Establecimiento de parámetros de tiempo de agregación opcionales

En este ejemplo, la regla de resumen se crea en el 2023-06-07 a las 14:44 y la regla incluye estas opciones de configuración avanzadas:

• binStartTime: 2023-06-08 07:00
• binDelay: 8 minutos

Ver reglas de resumen

Use esta llamada API de GET para ver la configuración de una regla de resumen específica:

GET https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourcegroup}/providers/Microsoft.OperationalInsights/workspaces/{workspace}/summarylogs/{ruleName1}?api-version=2023-01-01-preview
Authorization: {credential}

Use esta llamada API de GET para ver la configuración para ver la configuración de todas las reglas de resumen en el área de trabajo de Log Analytics:

GET https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourcegroup}/providers/Microsoft.OperationalInsights/workspaces/{workspace}/summarylogs?api-version=2023-01-01-preview
Authorization: {credential}

Detener y reiniciar una regla de resumen

Puede detener una regla durante un período de tiempo; por ejemplo, si desea comprobar que los datos se ingieren en una tabla y no desea afectar a la tabla y los informes resumidos. Al reiniciar la regla, Azure Monitor comienza a procesar datos desde la próxima hora completa o en función del parámetro definido binStartTime (opcional).

Para detener una regla, use esta llamada API de POST:

POST https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourcegroup}/providers/Microsoft.OperationalInsights/workspaces/{workspace}/summarylogs/{ruleName}/stop?api-version=2023-01-01-preview
Authorization: {credential}

Para reiniciar la regla, use esta llamada API de POST:

POST https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourcegroup}/providers/Microsoft.OperationalInsights/workspaces/{workspace}/summarylogs/{ruleName}/start?api-version=2023-01-01-preview
Authorization: {credential}

Eliminación de una regla de resumen

Puede tener hasta 30 reglas de resumen activas en el área de trabajo de Log Analytics. Si desea crear una nueva regla, pero ya tiene 30 reglas activas, debe detener o eliminar una regla de resumen activa.

Para eliminar una regla, use esta llamada API de DELETE:

DELETE https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourcegroup}/providers/Microsoft.OperationalInsights/workspaces/{workspace}/summarylogs/{ruleName}?api-version=2023-01-01-preview
Authorization: {credential}

Supervisión de reglas de resumen

Para supervisar las reglas de resumen, habilite la categoría Registros de resumen en la configuración de diagnóstico del área de trabajo de Log Analytics. Azure Monitor envía detalles de ejecución de reglas de resumen, incluida la ejecución de reglas de resumen, la información correcta y con errores, a la tablaLASummaryLogs del área de trabajo.

Se recomienda configurar reglas de alertas de registro para recibir notificaciones de errores de rango o cuando la ejecución del rango se acerca al tiempo de espera, como se muestra a continuación. Según el motivo del error, puede reducir el tamaño de la papelera para procesar menos datos en cada ejecución o modificar la consulta para devolver menos registros o campos con un volumen superior.

Esta consulta devuelve ejecuciones con errores:

LASummaryLogs | where Status == "Failed"

Esta consulta devuelve el rango que se ejecuta donde el valor de QueryDurationMs es mayor que 0,9 x 600 000 milisegundos:

LASummaryLogs | where QueryDurationMs > 0.9 * 600000

Comprobación de la integridad de los datos

Las reglas de resumen están diseñadas para la escala e incluyen un mecanismo de reintento para superar los errores transitorios de servicio o consulta relacionados con los límites de consulta, por ejemplo. El mecanismo de reintento realiza 10 intentos de agregar un contenedor con error en un rango de ocho horas y omite un contenedor, si se agota. La regla se establece en isActive: false y se mantiene en espera después de ocho reintentos consecutivos. Si habilita reglas de resumen de supervisión, Azure Monitor registra un evento en la tabla LASummaryLogs del área de trabajo.

No se puede volver a ejecutar un contenedor con errores, pero puede usar la siguiente consulta para ver las ejecuciones con errores:

let startTime = datetime("2024-02-16");
let endtTime = datetime("2024-03-03");
let ruleName = "myRuleName";
let stepSize = 20m; // The stepSize value is equal to the bin size defined in the rule
LASummaryLogs
| where RuleName == ruleName
| where Status == 'Succeeded'
| make-series dcount(BinStartTime) default=0 on BinStartTime from startTime to endtTime step stepSize
| render timechart

Esta consulta representa los resultados como un gráfico de tiempo:

Consulte la sección Reglas de resumen de monitor para ver las opciones de corrección de reglas y las alertas proactivas.

Cifrado de consultas de reglas de resumen mediante claves administradas por el cliente

Una consulta KQL puede contener información confidencial en los comentarios o en la sintaxis de la consulta. Para cifrar las consultas de reglas de resumen, vincule una cuenta de almacenamiento al área de trabajo de Log Analytics y use claves administradas por el cliente.

Consideraciones al trabajar con consultas cifradas:

• La vinculación de una cuenta de almacenamiento para cifrar las consultas no interrumpe las reglas existentes.
• De manera predeterminada, Azure Monitor almacena consultas de reglas de resumen en el almacenamiento de Log Analytics. Si tiene reglas de resumen existentes antes de vincular una cuenta de almacenamiento al área de trabajo de Log Analytics, actualice las reglas de resumen para que las consultas guarden las consultas existentes en la cuenta de almacenamiento.
• Las consultas que guarde en una cuenta de almacenamiento se encuentran en la tabla CustomerConfigurationStoreTable. Estas consultas se consideran artefactos de servicio y su formato puede cambiar.
• Puede usar la misma cuenta de almacenamiento para las consultas de reglas de resumen, las Consultas guardadas en Log Analytics, y las alertas de registro.

Solución de problemas de reglas de resumen

En esta sección se proporcionan sugerencias para solucionar problemas de reglas de resumen.

Tabla de destino de regla de resumen eliminada accidentalmente

Si elimina la tabla de destino mientras la regla de resumen está activa, la regla se suspende y Azure Monitor envía un evento a la tabla LASummaryLogs con un mensaje que indica que se suspendió la regla.

Si no necesita los resultados de resumen en la tabla de destino, elimine la regla y la tabla. Si necesita recuperar los resultados de resumen, siga los pasos descritos en la sección Crear o actualizar reglas de resumen para volver a crear la tabla. La tabla de destino se restaura, incluidos los datos ingeridos antes de la eliminación, en función de la directiva de retención de la tabla.

Si no necesita los resultados de resumen en la tabla de destino, elimine la regla y la tabla. Si necesita los resultados de resumen, siga los pasos descritos en la sección Crear o actualizar reglas de resumen para volver a crear la tabla de destino y restaurar todos los datos, incluidos los datos ingeridos antes de la eliminación, en función de la directiva de retención de la tabla.

La consulta usa operadores que crean nuevas columnas en la tabla de destino

El esquema de la tabla de destino se define al crear o actualizar una regla de resumen. Si la consulta de la regla de resumen incluye operadores que permiten la expansión del esquema de salida en función de los datos entrantes, por ejemplo, si la consulta usa la función arg_max(expression, *): Azure Monitor no agrega nuevas columnas a la tabla de destino después de crear o actualizar la regla de resumen y se quitarán los datos de salida que requieren estas columnas. Para agregar los nuevos campos a la tabla de destino, actualizar la regla de resumen o agregar manualmente una columna a la tabla.

Los datos de las columnas eliminadas permanecen en el área de trabajo en función de la configuración de retención de la tabla.

Al quitar columnas en la consulta, las columnas y los datos permanecen en el destino y se basan en el período de retención definido en la tabla o el área de trabajo. Si no necesita las columnas quitadas en la tabla de destino, elimine las columnas del esquema de tabla. Si, a continuación, agrega columnas con el mismo nombre, los datos que no sean más antiguos que el período de retención volverán a aparecer.

Contenido relacionado

• Obtenga más información sobre Planes de datos de registros de Azure Monitor.
• Consulte un tutorial sobre el uso del modo KQL en Log Analytics.
• Acceda a la documentación de referencia completa de KQL.