Ingesta y transformación de datos en tiempo real

• 15 minutos

Los eventstreams de Microsoft Fabric se usan para capturar, transformar y cargar datos en tiempo real desde una amplia gama de orígenes de datos de streaming. Al configurar un eventstream en el sistema, va a definir un motor de procesamiento de datos que se ejecuta perpetuamente para ingerir y transformar datos en tiempo real. Se le indica dónde obtener datos, dónde enviarlos y cómo cambiarlos a lo largo del proceso si es necesario.

Orígenes de datos para eventstreams

Los eventstreams de Microsoft Fabric admiten una amplia gama de orígenes de datos, entre los que se incluyen:

• Servicios externos, como Azure Storage, Azure Event Hubs, Azure IoT Hubs, centros de Apache Kafka, fuentes de captura de datos modificados (CDC) en servicios de bases de datos relacionales y más.
• Eventos de Fabric, como cambios en elementos de un área de trabajo de Fabric, cambios de datos en almacenes de datos de OneLake y eventos asociados a trabajos de Fabric.
• Datos de ejemplo, que incluyen una variedad de ejemplos que pueden ayudarle a explorar escenarios de análisis en tiempo real en Microsoft Fabric.

Transformaciones de datos en eventstreams

Puede transformar los datos a medida que fluye en el eventstream, lo que le permite filtrar, resumir y volver a configurarlos antes de almacenarlos. Las transformaciones disponibles incluyen:

• Filtro: Use la transformación Filtro para filtrar eventos en función del valor de un campo de la entrada. Dependiendo del tipo de datos (número o texto), la transformación mantiene los valores que coinciden con la condición seleccionada, como si es null o is not null.
• Administrar campos: Esta transformación le permite agregar, eliminar, cambiar el tipo de datos o cambiar el nombre de los campos procedentes de una entrada o de otra transformación.
• Agregado: Use la transformación Agregado para calcular una agregación (Suma, Mínimo, Máximo o Promedio) cada vez que se produce un evento nuevo durante un período de tiempo. Esta operación también permite cambiar el nombre de estas columnas calculadas y filtrar o segmentar la agregación en función de otras dimensiones de los datos. Puede tener una o varias agregaciones en la misma transformación.
• Agrupar por: use la transformación Agrupar por para calcular agregaciones en todos los eventos dentro de un período de tiempo determinado. Puede agrupar por los valores en uno o varios campos. Es como la transformación Agregado que permite cambiar el nombre de las columnas, pero proporciona más opciones para la agregación e incluye opciones más complejas para las ventanas de tiempo. Al igual que Agregado, puede incluir más de una agregación por transformación.
• Unión: Use la transformación Unión para conectar dos o más nodos y agregar eventos que tengan campos compartidos (con el mismo nombre y tipo de datos) en una tabla. Los campos que no coincidan se descartan y no se incluyen en la salida.
• Expandir: Use esta matriz para crear una nueva fila por cada valor dentro de una matriz.
• Combinación: se trata de una transformación para combinar datos de dos flujos en función de una condición coincidente entre ellos.

Destinos de datos en eventstreams

Puede cargar los datos del flujo en los destinos siguientes:

• Eventhouse: Este destino permite ingerir los datos de eventos en tiempo real en un eventhouse, donde puede usar el Lenguaje de consulta Kusto (KQL) para consultar y analizar los datos.
• Almacén de lago: Este destino le ofrece la capacidad de transformar los eventos en tiempo real antes de ingerirlos en el almacén de lago de datos. Los eventos en tiempo real se convierten en formato Delta Lake y, a continuación, se almacenan en las tablas del almacén de lago designadas.
• Flujo derivado: El flujo derivado se usa para redirigir la salida del eventstream a otro eventstream. La secuencia derivada representa la secuencia predeterminada transformada después del procesamiento del flujo.
• Fabric Activator: Este destino le permite conectar directamente los datos de eventos en tiempo real a un Fabric Activator; que es un agente inteligente que puede automatizar acciones en función de los valores del flujo.
• Punto de conexión personalizado: Con este destino, puede enrutar los eventos en tiempo real a un punto de conexión personalizado. Este destino es útil cuando desea dirigir datos en tiempo real a un sistema externo o una aplicación personalizada fuera de Microsoft Fabric.