Databricks Runtime 7.5 (EoS)

Databricks publicó esta versión en diciembre de 2020.

Las notas de la versión siguientes proporcionan información sobre Databricks Runtime 7.5, con tecnología Apache Spark 3.0.

Nuevas características

Característica y mejoras de Delta Lake

En esta versión se proporcionan las siguientes características y mejoras de Delta Lake:

• Los puntos de comprobación asincrónicos eliminan los picos de duración de microlotes de streaming
• La información de tabla más reciente ahora se propaga a los catálogos
• MERGE INTO La operación ahora admite la evolución del esquema de las columnas anidadas
• MERGE INTOLa operación ahora usa automáticamente las escrituras optimizadas
• Las operaciones UPDATE y MERGE INTO ahora resuelven las columnas struct anidadas por nombre
• CLONE está disponible de forma general y ahora puede invalidar las propiedades de tabla
• RESTORE está disponible de forma general
• Los implícitos de Scala simplifican las API de lectura y escritura de Spark
• Mejora del rendimiento de streaming con la opción de conector fetchParallelism
• Seguimiento del progreso de streaming con nuevas métricas de Auto Loader

Los puntos de comprobación asincrónicos eliminan los picos de duración de microlotes de streaming

Delta Lake realiza puntos de comprobación cada 10 confirmaciones de forma predeterminada. En las cargas de trabajo de streaming, los puntos de comprobación pueden provocar picos menores en la duración del microlote cada 10 confirmaciones. Los puntos de comprobación asincrónicos eliminan estos picos.

Los puntos de comprobación asincrónicos están habilitados de forma predeterminada para todas las cargas de trabajo de streaming que no son de desencadenador de un uso. Con los puntos de comprobación asincrónicos, los escritores de streaming también escriben puntos de control mejorados, por lo que no es necesario participar explícitamente en puntos de control mejorados.

Para deshabilitar los puntos de comprobación asincrónicos, establezca la configuración SQL spark.databricks.delta.checkpoint.async.enabled false.

Las cargas de trabajo por lotes siguen escribiendo puntos de comprobación de forma sincrónica y se recomienda no habilitar los puntos de comprobación asincrónicos para las cargas de trabajo por lotes.

La información de tabla más reciente ahora se propaga a los catálogos

Delta Lake ahora propaga la información de tabla más reciente, como las propiedades de esquema y tabla, a catálogos como el metastore de Hive, siguiendo una estrategia de máximo esfuerzo. Esta información puede ayudarle a aprovechar las herramientas de catalogación para comprender el esquema de las tablas Delta.

Delta Lake no depende internamente de esta información, pero intenta mantenerla actualizada. Además, Delta Lake almacena las propiedades de tabla delta.lastUpdateVersion y delta.lastCommitTimestamp para indicar la versión y la marca de tiempo de la confirmación que insertó por última vez un cambio en el metastore. El metastore solo se actualiza cuando el esquema de la tabla o las propiedades de la tabla no coinciden. Por lo tanto, las propiedades de tabla mencionadas anteriormente no reflejan necesariamente la versión más reciente de la tabla.

Si la información de la tabla y la información del metastore no están sincronizadas, puede ejecutar un comando como DESCRIBE <table> para actualizar el metastore.

La operación MERGE INTO ahora admite la evolución del esquema de las columnas anidadas

La evolución del esquema de las columnas anidadas ahora tiene la misma semántica que la de las columnas de nivel superior. Por ejemplo, las nuevas columnas anidadas se pueden agregar automáticamente a una columna StructType. Consulte Evolución automática del esquema en combinación para obtener más información.

La operación MERGE INTO ahora usa automáticamente las escrituras optimizadas

Las escrituras optimizadas pueden proporcionar un rendimiento mucho mejor para MERGE INTO de serie, especialmente para MERGE INTO en las tablas con particiones. Para deshabilitar las escrituras optimizadas, establezca la configuración de Spark spark.databricks.delta.optimizeWrite.enabled en false.

Las operaciones MERGE INTO y UPDATE ahora resuelven las columnas struct anidadas por nombre

Los comandos UPDATE y MERGE INTO de las operaciones de actualización resuelven las columnas struct anidadas por nombre. Es decir, al comparar o asignar columnas de tipo StructType, el orden de las columnas anidadas no importa (exactamente de la misma manera que el orden de las columnas de nivel superior). Para revertir a la resolución por posición, establezca la configuración de Spark spark.databricks.delta.resolveMergeUpdateStructsByName.enabled en false.

CLONE está disponible de forma general y ahora puede invalidar las propiedades de tabla

El comando CLONE ahora está disponible con carácter general. Consulte CREATE TABLE CLONE. Además, ahora puede especificar invalidaciones de propiedades de tabla al usar CLONE. Para ver ejemplos, consulte Clonación de una tabla en Azure Databricks.

RESTORE está disponible de forma general

El comando RESTORE ahora está disponible con carácter general. Consulte RESTORE.

Los implícitos de Scala simplifican las API de lectura y escritura de Spark

Puede importar io.delta.implicits._ para usar el método delta con las API de lectura y escritura de Spark.

import io.delta.implicits._

spark.read.delta("/my/table/path")
df.write.delta("/my/table/path")
spark.readStream.delta("/my/table/path")
df.writeStream.delta("/my/table/path")

Mejora del rendimiento de streaming con la opción de conector fetchParallelism

El conector de AQS ahora admite una nueva opción fetchParallelism para especificar el paralelismo para capturar mensajes de Queue service.

Seguimiento del progreso de streaming con nuevas métricas de Auto Loader

Auto Loader ahora notifica cuántos archivos existen en el trabajo pendiente y el tamaño del trabajo pendiente después de cada lote. Puede usar estas métricas para hacer un seguimiento del progreso de streaming. Para obtener más información sobre cómo ver las métricas, consulte ¿Qué es Auto Loader?.

Mejoras

Compatibilidad más amplia con bibliotecas de ámbito de cuaderno mediante los comandos magic %pip y %conda

Ahora puede instalar bibliotecas con ámbito de cuaderno mediante los comandos magic %pip y %conda en clústeres de alta simultaneidad con listas de control de acceso de tabla o acceso directo a credenciales habilitado.

Visualización precisa de Spark SQL DECIMAL

El tipo de datos de SQL Spark DECIMAL se muestra ahora en tablas sin pérdida de precisión ni escala.

Conector de almacenamiento de ADLS Gen 2 basado en Hadoop 3.3 para ABFS

Una versión actualizada del conector de almacenamiento de ADLS Gen 2 se basa en Hadoop 3.3 para ABFS. El conector actualizado contiene muchas mejoras de estabilidad (consulte Estabilidad de Hadoop) e incluye compatibilidad con la Autenticación de tokens de SAS.

Otras correcciones

Se ha quitado el conector de Kafka de Databricks para Spark Streaming. Use el conector de Apache Spark.

Actualizaciones de bibliotecas

• Bibliotecas de Python actualizadas:
  • Koalas se ha actualizado de 1.3.0 a 1.4.0.
• Se han actualizado varias bibliotecas de R instaladas. Consulte Bibliotecas de R instaladas.
• Compilación de OpenJDK 8 actualizada a Zulu 8.50.0.51-CA-linux64 (compilación  1.8.0_275-b01).

Apache Spark

Databricks Runtime 7.5 incluye Apache Spark 3.0.1. En esta versión, se incluyen todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 7.4 (EoS), junto con las siguientes correcciones de errores y mejoras de Spark:

• [SPARK-33611] [UI] Evitar la codificación dos veces en el parámetro de consulta de la dirección URL de proxy reescrita
• [SPARK-33587][CORE] Terminación del ejecutor en errores irrecuperables anidados (7.x)
• [SPARK-33140] [SQL] Reversión del código que no usa SparkSession pasado para obtener SQLConf.
• [SPARK-33472] [SQL] Ajuste del orden de regla RemoveRedundantSorts
• [SPARK-33422] [DOC] Corrección de la visualización correcta del elemento de menú izquierdo
• [SPARK-27421] [SQL] Corrección del filtro para la columna int y la clase de valor java.lang.String al eliminar la columna de partición
• [SPARK-33483] [INFRA][TESTS] Corrección de patrones de exclusión de rat y adición de una licencia
• [SPARK-33464] [INFRA] Agregar o quitar memoria caché (in)necesaria y reestructurar las acciones yaml de GitHub
• [SPARK-33407] [PYTHON][7.X] Simplificación del mensaje de excepción de las UDF de Python (deshabilitadas de forma predeterminada)
• [SPARK-33435] [SQL] DSv2: REFRESH TABLE debe invalidar las memorias caché que hacen referencia a la tabla
• [SPARK-33358] [SQL] Código de retorno cuando se ha generado un error en el proceso de comando
• [SPARK-33183] [DBCONNECT] Adición de RemoveRedundantSorts.scala a ALLOW_LIST.txt
• [SPARK-33290] [SQL] REFRESH TABLE debe invalidar la memoria caché aunque la propia tabla no se almacene en caché.
• [SPARK-33140] [SQL] Corrección de la compilación delta
• [SPARK-33316] [SQL] Adición de pruebas unitarias para from_avro y to_avro con el Registro de esquema y el esquema de Avro que admite un valor NULL proporcionado por el usuario
• [SPARK-33404] [SQL] Corrección de resultados incorrectos en la expresión date_trunc
• [SPARK-33339] [PYTHON] Bloqueo de la aplicación Pyspark debido a un error que no es de excepción
• [SPARK-33412] [SQL] OverwriteByExpression debe resolver su condición de eliminación en función de la relación de tabla y no de la consulta de entrada
• [SPARK-33391] [SQL] Incumplimiento de un índice basado por parte de element_at con CreateArray
• [SPARK-33316] [SQL] El usuario de soporte ha proporcionado un esquema de Avro que acepta valores NULL para el esquema de Catalyst que no acepta valores NULL en la escritura de Avro
• [SPARK-33372] [SQL] Corrección de la eliminación de cubos InSet
• [SPARK-33371] [PYTHON] Actualización de setup.py y pruebas para Python 3.9
• [SPARK-33140] [SQL] Eliminación de SQLConf y SparkSession en todas las subclases de Rule[QueryPlan]
• [SPARK-33338] [SQL] No debería producirse un error cuando GROUP BY usa una asignación literal
• [SPARK-33306] [SQL] Zona horaria necesaria al convertir fecha en cadena
• [SPARK-33284] [WEB-UI] En la página de interfaz de usuario de Storage, al hacer clic en cualquier campo para ordenar la tabla, se perderá el contenido del encabezado.
• [SPARK-33362] [SQL] skipSchemaResolution todavía debería requerir que se resuelva la consulta
• [SPARK-32257] [SQL] Notifica errores explícitos para el uso no válido del comando SET/RESET
• [SPARK-32406] [SQL] Hacer que la sintaxis RESET admita un restablecimiento de configuración único
• [SPARK-32376] [SQL] Hacer que el comportamiento de unionByName con relleno nulo funcione con columnas struct
• [SPARK-32308] [SQL] Mover la lógica de resolución por nombre de unionByName del código de API a la fase de análisis
• [SPARK-20044] [UI] Compatibilidad con la interfaz de usuario de Spark situada detrás del proxy inverso de front-end mediante una URL proxy de reversión de prefijo de ruta de acceso
• [SPARK-33268] [SQL][PYTHON] Corrección de errores para convertir datos desde o hacia PythonUserDefinedType
• [SPARK-33292] [SQL] Desambiguación de la representación de cadena de ArrayBasedMapData literal
• [SPARK-33183] [SQL] Corrección de la regla del optimizador EliminateSorts y adición de una regla física para quitar las ordenaciones redundantes
• [SPARK-33272] [SQL] Eliminación de la asignación de atributos en QueryPlan.transformUpWithNewOutput
• [SPARK-32090] [SQL] Mejora de UserDefinedType.equal() para que sea simétrico
• [SPARK-33267] [SQL] Corrección del problema de NPE en el filtro "In" cuando uno de los valores contiene NULL
• [SPARK-33208] [SQL] Actualización del documento de SparkSession#sql
• [SPARK-33260] [SQL] Corrección de resultados incorrectos de SortExec cuando sortOrder es Stream
• [SPARK-33230] [SQL] Los confirmadores de Hadoop para obtener un identificador de trabajo único en "spark.sql.sources.writeJobUUID"
• [SPARK-33197] [SQL] Los cambios en spark.sql.analyzer.maxIterations se hacen efectivos en tiempo de ejecución
• [SPARK-33228] [SQL] No eliminar de caché los datos al reemplazar una vista que tiene el mismo plan lógico
• [SPARK-32557] [CORE] Registro e ingesta de la excepción por entrada en el servidor de historial
• [SPARK-32436] [CORE] Inicialización de numNonEmptyBlocks en HighlyCompressedMapStatus.readExternal
• [SPARK-33131] [SQL] Corregir conjuntos de agrupación con cláusula having no puede resolver el nombre col completo
• [SPARK-32761] [SQL] Permitir la agregación de varias expresiones distintas que se pueden plegar
• [SPARK-33094] [SQL] Hacer que el formato ORC propague la configuración de Hadoop desde las opciones de DS hata el sistema de archivos HDFS subyacente

Actualizaciones de mantenimiento

Consulte Actualizaciones de mantenimiento de Databricks Runtime 7.5.

Entorno del sistema

• Sistema operativo: Ubuntu 18.04.5 LTS
• Java: Zulu 8.50.0.51-CA-linux64 (compilación 1.8.0_275-b01)
• Scala: 2.12.10
• Python: 3.7.5
• R: Versión R 3.6.3 (29-02-2020)
• Delta Lake 0.7.0

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN del 02-11-2020.

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)