Databricks Runtime 6.1 (EoS)

Databricks publicó esta versión en octubre de 2019.

En las siguientes notas de la versión se proporciona información sobre Databricks Runtime 6.1, con tecnología de Apache Spark.

Nuevas características

Mejoras de Delta Lake

API de Python para tablas delta (Versión preliminar pública)

Ahora puede eliminar datos de tablas Delta y actualizarlos e insertarlos, limpiar tablas y obtener el historial de tablas mediante las API de Python.

Para más información, consulte ¿Qué es Delta Lake?

La limpieza dinámica de archivos (DFP) está habilitada de forma predeterminada

La limpieza dinámica de archivos usa los metadatos de las tablas Delta (por ejemplo, las estadísticas de columna mínima/máxima en un archivo), lo cual mejora significativamente el rendimiento de muchas consultas al omitir los archivos con valores de columna fuera del intervalo. A diferencia de la limpieza dinámica de particiones (DPP), la limpieza dinámica de archivos también funciona en columnas sin particiones. La limpieza dinámica de archivos puede ser beneficiosa para las cargas de trabajo que se unen en claves sin particiones.

Configuración de clústeres con su imagen de contenedor mediante Databricks Container Services

Databricks Container Services permite configurar un clúster con una imagen de contenedor propia. Puede empaquetar previamente entornos complejos dentro de un contenedor, publicarlo en un registro de contenedor popular como ACR, ECR o Docker Hub y hacer que Databricks extraiga la imagen para compilar un clúster. Algunos casos de uso de ejemplo son:

• Personalización de la biblioteca: tendrá control total sobre las bibliotecas del sistema que desea instalar.
• Entorno de contenedor modelo: la imagen de Docker es un entorno bloqueado que no cambia.
• Integración de CI/CD de Docker: puede integrar Azure Databricks con las canalizaciones de CI/CD de Docker.

Hay muchos otros casos de uso, desde la especificación de la configuración hasta la instalación de paquetes de aprendizaje automático.

Para más información, consulte Personalización de contenedores con Databricks Container Service.

Secretos a los que hacen referencia las propiedades de configuración y las variables de entorno de Spark (versión preliminar pública)

A partir de la actualización de mantenimiento del 7 de noviembre de Databricks Runtime 6.1, la capacidad de hacer referencia a un secreto en una variable de entorno o propiedad de configuración de Spark está en versión preliminar pública. Para más información, consulte Uso de un secreto en una variable de entorno o una propiedad de configuración de Spark.

Las métricas de Ganglia ahora están disponibles en los clústeres con ACL de tabla y acceso directo a credenciales.

Anteriormente, las métricas de Ganglia no se permitían en los clústeres con control de acceso a las tablas o el acceso directo a credenciales habilitado. Ahora están disponibles.

Mejoras

• Se ha actualizado netty-all dela versión 4.1.17.Final a la 4.1.39.Final.
• Se ha actualizado la versión del conector Snowflake de la 2.4.10 a la 2.5.3.

Acceso directo a credenciales

• Las credenciales de Microsoft Entra ID se propagan ahora en cuadernos que se ejecutan mediante dbutils.notebook.run().
• Ahora se admiten todas las clases de ML de PySpark.
• Ahora está disponible la interfaz de usuario de Ganglia.

Para obtener más información, consulte Acceso a Azure Data Lake Storage mediante el paso directo de credenciales de Microsoft Entra ID (heredado)

Apache Spark

Databricks Runtime 6.1 incluye Apache Spark 2.4.4. Esta versión incluye todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 6.0 (EoS), junto con las siguientes correcciones de errores y mejoras adicionales de Spark:

• [SPARK-28782][SQL] Compatibilidad del generador en las expresiones de agregado.
• [SPARK-19147][CORE] Control preciso del error en la tarea después de detenerse el ejecutor.
• [SPARK-26003][SQL] Mejora del rendimiento de SQLAppStatusListener.aggregateMetrics.
• [SPARK-29101][SQL] Corrección de la API de recuento para el archivo CSV cuando se selecciona el modo DROPMALFORMED.
• [SPARK-29042][CORE] El RDD basado en muestreo con entrada no ordenada debe ser INDETERMINADO.
• [SPARK-29124][CORE] Uso de bytesHash(data, seed) de ByteHash3 en lugar de bytesHash(data).
• [SPARK-26713][CORE] Interrupción de los subprocesos de E/S de canalización en PipedRDD cuando finaliza la tarea.
• [SPARK-29046][SQL] Corrección de NPE en SQLConf.get cuando se detiene un SparkContext activo.
• [SPARK-28483] Se ha corregido el error de la tarea en modo de barrera en barrier() cuando la tarea ha terminado.
• [SPARK-29087][CORE][STREAMING] Se usa DelegatingServletContextHandler para evitar CCE.
• [SPARK-27122][CORE] Las clases jetty no deben devolverse mediante los captadores de org.apache.spark.ui.WebUI.
• [SPARK-11150][SQL] Recorte dinámico de particiones.
• [SPARK-27592][SQL] Establecimiento correcto de la tabla de origen de datos en cubos de SerDe.
• [SPARK-23519][SQL] La creación de vistas debe funcionar a partir de una consulta con columnas de salida duplicadas.
• [SPARK-29011][BUILD] Actualización de netty-all de la versión 4.1.17-Final a la 4.1.39-Final.
• [SPARK-28912] Se ha corregido MatchError en getCheckpointFiles().
• [SPARK-26046][SS] Incorporación de StreamingQueryManager.listListeners().
• [SPARK-3137][CORE] Se ha reemplazado el bloqueo global de Broadcast por KeyLock más fino (6.x).
• [SPARK-28709][DSTREAMS] Corrección de la pérdida de StreamingContext por streaming.
• [SPARK-22955][DSTREAMS]: el apagado correcto no debe llevar a la generación de trabajos...
• [SPARK-28730][SPARK-28495] Introducción de la directiva de asignación de almacén ANSI para la inserción de tablas.
• [SPARK-27992][SPARK-28881][PYTHON] Permiso para que Python se combine con el subproceso de conexión para propagar errores.
• [SPARK-28025][SS] Corrección de la pérdida de archivos CRC de FileContextBasedCheckpointFileManager.
• [SPARK-28699][CORE] Corrección de un caso especial para anular una fase indeterminada.
• [SPARK-28780][ML] Desuso de LinearSVCModel.setWeightCol.
• [SPARK-28844][SQL] Corrección de errores tipográficos en SQLConf FILE_COMRESSION_FACTOR.
• [SPARK-26895][CORE] Los usuarios proxy deben llamar a prepareSubmitEnvironment dentro de doAs.

Actualizaciones de mantenimiento

Consulte Actualizaciones de mantenimiento de Databricks Runtime 6.1.

Entorno del sistema

• Sistema operativo: Ubuntu 16.04.6 LTS
• Java: 1.8.0_232
• Scala: 2.11.12
• Python: 3.7.3
• R: versión de R 3.6.1 (2019-07-05)
• Delta Lake: 0.4.0

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.11)