Procedimientos para ingerir datos históricos en Azure Data Explorer

LightIngest puede ser útil para cargar datos históricos de un sistema de almacenamiento existente en Azure Data Explorer. Aunque puede crear su propio comando mediante la lista de argumentos de la línea de comandos, en este artículo se muestra cómo generar automáticamente este comando a través de un asistente para ingesta. Además de crear el comando, puede usar este proceso para crear una tabla y crear una asignación de esquemas. Esta herramienta deduce la asignación de esquemas del conjunto de datos.

Destino

1. En la interfaz de usuario web de Azure Data Explorer, en el menú de la izquierda, seleccione Consulta.

2. Haga clic con el botón derecho en la base de datos en la que desea ingerir los datos y, a continuación, seleccione LightIngest.

   

   Se abre la ventana Ingerir datos con la pestaña Destino seleccionada. Los campos Clúster y Base de datos se rellenan automáticamente.

3. Seleccione una tabla de destino. Si desea ingerir datos en una nueva tabla, seleccione Nueva tabla y escriba un nombre de tabla.

   Nota:

   Los nombres de tabla pueden tener hasta 1024 caracteres, entre los que se incluyen espacios, alfanuméricos, guiones y caracteres de subrayado. No se admiten caracteres especiales.

   

4. Seleccione Next: Source (Siguiente: Origen).

Source

1. En Seleccionar origen, seleccione Agregar dirección URL o Seleccionar contenedor.

   • Al agregar una dirección URL, en Vínculo al origen, especifique la clave de cuenta o la dirección URL de SAS en un contenedor. Puede crear la dirección URL de SAS de forma manual o automática.

   • Al seleccionar un contenedor de la cuenta de almacenamiento, seleccione la suscripción de Storage, la cuenta de almacenamiento y el contenedor en los menús desplegables.

     

   Nota:

   La ingesta admite un tamaño de archivo máximo de 6 GB. Se recomienda ingerir archivos de entre 100 MB y 1 GB.

2. Seleccione Configuración avanzada para definir opciones adicionales para el proceso de ingesta mediante LightIngest.

   

3. En el panel Configuración avanzada, defina la configuración de LightIngest según la tabla siguiente.

   

   Propiedad	Descripción
   Patrón de tiempo de creación	Especifique para invalidar la propiedad de tiempo de ingesta de la extensión creada con un patrón, por ejemplo, para aplicar una fecha basada en la estructura de carpetas del contenedor. Consulte también Patrón de tiempo de creación.
   Patrón de nombre de blob	Especifique el patrón utilizado para identificar los archivos que se van a ingerir. Ingiera todos los archivos que coincidan con el patrón de nombre de blob en el contenedor especificado. Admite caracteres comodín. Se recomienda incluir entre comillas dobles.
   Tag	Una etiqueta asignada a los datos ingeridos. La etiqueta puede ser cualquier cadena.
   Limitar la cantidad de archivos	Especifique el número de archivos que se pueden ingerir. Ingiere los primeros archivos n que coinciden con el patrón de nombre de blob, hasta el número especificado.
   No espere a que se complete la ingesta	Si está configurado, pone en cola los blobs para la ingesta sin supervisar el proceso de ingesta. Si no está configurado, LightIngest continúa sondeando el estado de ingesta hasta que se completa la ingesta.
   Mostrar solo elementos seleccionados	Enumera los archivos del contenedor, pero no los ingiere.

4. Seleccione Listo para volver a la pestaña Origen .

   1. Opcionalmente, seleccione Filtros de archivo para filtrar los datos para ingerir solo archivos en una ruta de acceso de carpeta específica o con una extensión de archivo determinada.

      

      De forma predeterminada, uno de los archivos del contenedor se selecciona aleatoriamente y se usa para generar el esquema de la tabla.

   2. Opcionalmente, en Esquema de definición de archivo, puede especificar el archivo que se va a usar.

5. Seleccione Next: Schema (Siguiente: esquema) para ver y editar la configuración de la columna de tabla.

Esquema

La pestaña esquema proporciona una vista previa de los datos.

Para generar el comando LightIngest, seleccione Siguiente: Iniciar ingesta.

Opcionalmente:

• Cambie el formato de datos inferido automáticamente seleccionando el formato deseado en el menú desplegable.
• Cambie el nombre de asignación inferido automáticamente. Puede usar caracteres alfanuméricos y caracteres de subrayado. No se admiten espacios, caracteres especiales ni guiones.
• Cuando se usa una tabla existente, puede elegir Keep current table schema (Mantener esquema de la tabla actual) si el esquema de tabla coincide con el formato seleccionado.
• Seleccione Visor de comandos para ver y copiar los comandos automáticos generados a partir de los valores que haya introducido.
• Editar columnas. En Vista previa de datos parciales, seleccione los menús desplegables de columnas para modificar varios aspectos de la tabla.

Los cambios que pueda realizar a una tabla dependerán de los siguientes parámetros:

• El tipo de tabla es nuevo o existente
• El tipo de asignación es nuevo o existente

Ingesta

1. Una vez que la tabla, la asignación y el comando LightIngest están marcados con marcas de verificación verdes, seleccione el icono de copia situado en la parte superior derecha del cuadro de comandos Generado para copiar el comando LightIngest generado.

   

   Nota:

   Si es necesario, puede descargar la herramienta LightIngest seleccionando Descargar LightIngest.

2. Para completar el proceso de ingesta, debe ejecutar LightIngest mediante el comando copiado.

Paso 1: Preparación para la repartición

1. Ajuste la directiva de retención para permitir datos antiguos. En el ejemplo siguiente, se establece la directiva de retención de la tabla MyTable en 10 años.

   .alter-merge table MyTable policy retention softdelete = 3650d recoverability = enabled
   

2. Ajuste la directiva de almacenamiento en caché para que todos los datos estén en caché activa para la repartición, ya que solo se pueden volver a particionar los datos posteriores a la ingesta. En el ejemplo siguiente, se establece el almacenamiento en caché de la tabla MyTable en 10 años.

   .alter table MyTable policy caching hot = 3650d
   

   Importante

   Aumentar la directiva de almacenamiento en caché puede usar considerablemente más caché activa que en las operaciones normales y puede dar lugar a un mayor costo.

Paso 2: Iniciar la repartición

1. Cree una directiva de creación de particiones que particione los datos por la columna denominada Timestamp. En el ejemplo siguiente, se establece la directiva de creación de particiones para la tabla MyTable en la partición mediante la columna denominada Timestamp.

   .alter table MyTable policy partitioning
   ```
   {
     "EffectiveDateTime" : "1970-01-01T00:00:00",
     "PartitionKeys": [
       {
         "ColumnName": "Timestamp",
         "Kind": "UniformRange",
         "Properties": {
           "Reference": "1970-01-01T00:00:00",
           "RangeSize": "1.00:00:00",
           "OverrideCreationTime": true
         }
       }
     ]
   }
   ```
   

   Para obtener información sobre las propiedades de la directiva de creación de particiones, consulte propiedades de partición. Para la ingesta histórica, es importante establecer las siguientes propiedades:

   • La propiedad EffectiveDateTime debe establecerse en una fecha anterior al inicio de la ingesta para desencadenar la repartición.
   • RangeSize se establece en un día para que los datos se vuelvan a particionar en cubos de un día. Sin embargo, debe establecer este valor para que se alinee con los datos. Por ejemplo, si tiene menos de varios GB de datos al día, considere la posibilidad de establecer un valor mayor.
   • OverrideCreationTime debe establecerse en true para que, después de volver a particionar los datos en cubos de día, las extensiones se marcan con ese día como hora de creación.

2. Establezca una directiva de combinación para permitir la combinación de todas las extensiones, incluidas las extensiones anteriores a 14 días. Establecer esta directiva es importante porque el proceso de repartición crea extensiones anteriores a 14 días, que de forma predeterminada se excluyen en el proceso de combinación.

   .alter table MyTable policy merge
   ```
   {
     "Lookback": {
       "Kind": "HotCache"
     }
   }
   ```
   

3. Supervise el progreso de la repartición mediante el comando .show database extents partitioning statistics . En los resultados devueltos, busque la tabla que va a particionar y supervise la columna PartitionedRowPercentage . Cuando el valor de la columna PartitionedRowPercentage es 100, se completa la repartición.

Paso 3: Limpieza de la repartición posterior

Una vez completada la repartición, puede limpiar las directivas establecidas en los pasos anteriores.

1. Quite la directiva de creación de particiones.

   .delete table MyTable policy partitioning
   

2. Quite la directiva de combinación.

   .delete table MyTable policy merge
   

3. Quite o establezca la directiva de almacenamiento en caché.

   // Remove the caching policy
   .delete table MyTable policy caching
   // OR set the caching policy to your desired value
   .alter table MyTable policy caching hot = 90d
   

4. Quite o establezca la directiva de retención.

   // Remove the retention policy
   .delete table MyTable policy retention
   // OR set the retention policy to your desired value
   .alter-merge table MyTable policy retention softdelete = 30d recoverability = enabled
   

Contenido relacionado

• Consulta de datos en Azure Data Explorer