Cree canalizaciones totalmente administradas mediante Delta Live Tables con proceso sin servidor
Nota:
Para obtener información sobre la idoneidad y la habilitación de canalizaciones DLT sin servidor, vea Habilitación del proceso sin servidor.
Si necesita usar una conexión de Azure Private Link con las canalizaciones de DLT sin servidor, póngase en contacto con el representante de Databricks.
En este artículo se explica cómo usar Delta Live Tables con proceso sin servidor para ejecutar las actualizaciones de canalización con proceso totalmente administrado y detalles de las características del proceso sin servidor que mejoran el rendimiento de las canalizaciones.
Use canalizaciones de DLT sin servidor para ejecutar las canalizaciones de Delta Live Tables sin configurar e implementar la infraestructura. Con las canalizaciones de DLT sin servidor se centra en implementar la ingesta de datos y la transformación, y Azure Databricks administra eficazmente los recursos de proceso, incluida la optimización y el escalado del proceso para las cargas de trabajo. Las canalizaciones de DLT sin servidor incluyen las siguientes funcionalidades:
- Proceso optimizado automáticamente que se ejecuta solo cuando sea necesario.
- Recursos de proceso confiables y totalmente administrados.
- Actualizaciones de conjuntos de datos más eficaces con actualización incremental para vistas materializadas.
- Inicio más rápido para los recursos del proceso que ejecutan una actualización de canalización.
Las canalizaciones de DLT sin servidor también tienen las siguientes características para optimizar el rendimiento de procesamiento de las canalizaciones, admitir el uso más eficaz de los recursos de proceso y ayudar a reducir el costo de ejecutar la canalización:
- Canalización de flujo: para mejorar el uso, el rendimiento y la latencia del flujo de las cargas de trabajo de datos, como la ingesta de datos, se canalizan microlotes. En otras palabras, en lugar de ejecutar microlotes secuencialmente como el flujo estructurado estándar de Spark, las canalizaciones de DLT sin servidor ejecutan microlotes simultáneamente, lo que conduce a un mejor uso de recursos del proceso. La canalización de flujo está habilitada de forma predeterminada en canalizaciones de DLT sin servidor.
- Escalado automático vertical: las canalizaciones de DLT sin servidor se agregan al escalado automático horizontal proporcionado por el Escalado automático mejorado de Databricks asignando automáticamente los tipos de instancia más rentables que pueden ejecutar la canalización de Delta Live Tables sin fallos debido a errores de memoria insuficiente. Vea ¿Qué es el escalado automático vertical?
Dado que no se requiere el permiso de creación de clústeres, todos los usuarios del área de trabajo pueden usar las canalizaciones de DLT sin servidor para ejecutar sus flujos de trabajo.
Requisitos
Para usar canalizaciones de DLT sin servidor, el área de trabajo debe tener habilitado el Catálogo de Unity.
El área de trabajo debe estar en una región habilitada para que no haya servidor.
Ejecute una actualización de canalización con canalizaciones de DLT sin servidor
Importante
Dado que los recursos de proceso están totalmente administrados por canalizaciones de DLT sin servidor, la configuración del proceso no está disponible en la interfaz de usuario de Delta Live Tables para una canalización sin servidor. Al habilitar sin servidor, se quitan las opciones de proceso que haya configurado para una canalización. Si vuelve a cambiar una canalización a actualizaciones sin servidor, esta configuración de proceso debe volver a agregarse a la configuración de canalización. Tampoco puede agregar manualmente valores de proceso en un objeto clusters de la configuración JSON de la canalización.
Para ejecutar una actualización de canalización que use canalizaciones de DLT sin servidor, active la casilla Sin servidor al crear o editar una canalización.
¿Cómo se actualizan las vistas materializadas en canalizaciones de DLT sin servidor?
Cuando sea posible, los resultados de la consulta se actualizan incrementalmente para las vistas materializadas en una canalización sin servidor. Cuando se realiza una actualización incremental, los resultados son equivalentes a un nuevo proceso completo. Si la vista materializada no se puede actualizar de manera incremental, el proceso de actualización usa una actualización completa en su lugar. Consulte Operaciones de actualización para vistas materializadas.
¿Qué es el escalado automático vertical?
El escalado automático vertical de canalizaciones de DLT sin servidor asigna automáticamente los tipos de instancia disponibles más rentables para ejecutar las actualizaciones de canalización de Delta Live Tables sin fallos debido a errores de memoria insuficiente. El escalado automático vertical aumenta verticalmente cuando se requieren tipos de instancia más grandes para ejecutar una actualización de canalización y también se reduce verticalmente cuando determina que la actualización se puede ejecutar con tipos de instancia más pequeños. El escalado automático vertical determina si los nodos de controlador, los nodos de trabajo o ambos se deben aumentar o reducir verticalmente.
El escalado automático vertical se usa para todas las canalizaciones de DLT sin servidor, incluidas las canalizaciones que usan las vistas materializadas de Databricks SQL y flujo de tablas.
El escalado automático vertical funciona mediante la detección de actualizaciones de canalización que han fallado debido a errores de memoria insuficiente. Cuando se detectan estos fallos, el escalado automático vertical asigna tipos de instancias más grandes en función de los datos de memoria insuficiente recopilados de la actualización fallida. En el modo de producción, se inicia automáticamente una nueva actualización que usa los nuevos recursos de proceso. En el modo de desarrollo, los nuevos recursos de proceso se usan al iniciar manualmente una nueva actualización.
Si el escalado automático vertical detecta que la memoria de las instancias asignadas está subutilizada de forma coherente, reducirá verticalmente los tipos de instancia que se usarán en la siguiente actualización de canalización.
¿Cómo puedo encontrar el uso de DBU de una canalización sin servidor?
Para encontrar el uso de DBU de canalizaciones DLT sin servidor, consulte la tabla de uso facturable, parte de las tablas del sistema de Azure Databricks. Consulte ¿Cuál es el consumo de DBU de una canalización DLT sin servidor?