Databricks Runtime 8.1 (EoS)

Databricks publicó esta versión en marzo de 2021.

Las notas de la versión siguientes proporcionan información sobre Databricks Runtime 8.1, con tecnología Apache Spark 3.1.1.

Nuevas características y mejoras

• Los nuevos operadores SQL reducen la ETL compleja en cadenas JSON
• Control de la visibilidad de las listas de control de acceso a tablas
• Las nuevas opciones de Auto Loader permiten mejorar el rendimiento
• Autenticación en Azure Synapse Analytics con OAuth 2.0 y una entidad de servicio (versión preliminar pública)
• Inserción manual de columnas IDENTITY en tablas de Azure Synapse Analytics
• Azure Auto Loader ahora admite la autenticación con una entidad de servicio para las operaciones de cola
• Seguimiento del progreso de flujos con métricas de Kafka
• Seguimiento del progreso de flujos con métricas de origen de streaming de Delta Lake

Los nuevos operadores SQL reducen la ETL compleja en cadenas JSON

Dos nuevos operadores SQL,:: y :, permiten extraer fácilmente datos de cadenas JSON.

• Para convertir la expresión en un tipo de datos, use un signo de dos puntos doble, ::. Por ejemplo, en lugar de especificar cast(col as int), ahora puede indicar col::int.
• Para extraer campos de datos semiestructurados, use un solo signo de dos puntos, :. Si tiene una columna STRING que contiene datos JSON, puede extraer un campo de esa cadena JSON mediante la sintaxis <json-column>:<field> que extrae la clave field de JSON <json-column> como STRING. Puede combinar esto con la sintaxis :: para convertir los datos en un tipo específico.

Por ejemplo, si tiene los datos JSON:

{
  "store":{
    "bicycle":{
      "price":19.95,
      "color":"red"
    }
  }
}

y se crea una tabla store_data a partir de los datos:

CREATE TABLE store_data AS SELECT
'{
   "store":{
      "bicycle":{
        "price":19.95,
        "color":"red"
      }
    }
 }' as raw

la instrucción SELECT raw:store.bicycle.price::double FROM store_data devuelve:

+--------+
| price  |
+--------+
| 19.95  |
+--------+

Para obtener más información, consulte Consulta de cadenas JSON.

Control de la visibilidad de las listas de control de acceso a tablas

Para evitar la pérdida de información mediante la enumeración de todos los permisos definidos en una tabla, ahora solo puede ejecutar la instrucción SHOW GRANTS [<user>] <object> si:

• Un administrador de Databricks SQL o el propietario de <object>.
• El usuario especificado en [<user>].

Las nuevas opciones de Auto Loader permiten mejorar el rendimiento

Auto Loader ahora admite una nueva opción cloudFiles.fetchParallelism para especificar el paralelismo para capturar mensajes de Queue service.

Consulte ¿Qué es Auto Loader?.

Autenticación en Azure Synapse Analytics con OAuth 2.0 y una entidad de servicio (versión preliminar pública)

El conector de Azure Synapse Analytics ahora admite la autenticación con OAuth 2.0 y una entidad de servicio de Microsoft Entra ID, lo que permite aplicaciones que requieren autenticación con una entidad de servicio, en lugar de un nombre de usuario y una contraseña. Para más información, consulte ¿Cómo funciona la autenticación entre Azure Databricks y Synapse? para el conector de Azure Synapse Analytics.

Inserción manual de columnas IDENTITY en tablas de Azure Synapse Analytics

El conector de Azure Synapse Analytics ahora admite la inserción explícita de valores en columnas IDENTITY de tablas de Azure Synapse Analytics basadas en valores establecidos en DataFrames. Esta funcionalidad es compatible con las inserciones por lotes y de streaming, y permite casos de uso que requieren valores personalizados de columnas IDENTITY. Para más información, consulte el parámetro identityInsert en la referencia de opciones del conector de Azure Databricks Synapse del conector de Azure Synapse Analytics.

Azure Auto Loader ahora admite la autenticación con una entidad de servicio para las operaciones de cola

Ahora puede autenticarse con una entidad de servicio de Microsoft Entra ID a la que se hayan concedido permisos relacionados con las colas para las operaciones de cola con Auto Loader. Este cambio elimina el requisito anterior de usar una cadena de conexión para las operaciones de cola y una entidad de servicio para las operaciones de eventos, y permite usar una entidad de servicio para ambos tipos de operación. Para obtener más información, consulte ¿Qué es el cargador automático?.

Seguimiento del progreso de flujos con métricas de Kafka

El origen de streaming de Kafka ahora informa del número de desplazamientos que un consumidor ha quedando por detrás del más reciente después de cada lote. Puede usar estas métricas para hacer un seguimiento del progreso de streaming. Para obtener detalles sobre cómo ver las métricas, consulta Recuperar métricas de Kafka.

Seguimiento del progreso de flujos con métricas de origen de streaming de Delta Lake

Un origen de streaming de Delta Lake ahora informa el tamaño del trabajo pendiente y cuántos archivos existen en el trabajo pendiente después de cada lote. Puede usar estas métricas para hacer un seguimiento del progreso del flujo. Para obtener más información sobre cómo ver las métricas, consulte Métricas.

Actualizaciones de bibliotecas

• Biblioteca de Python actualizada:
  • Koalas se actualizó de 1.5.0 a 1.6.0.
• Bibliotecas de Python instaladas recientemente:
  • plotly 4.14.3
  • retrying 1.3.3
• R se actualizó de 4.0.3 a 4.0.4.
• Se han actualizado varias bibliotecas de R instaladas. Consulte Bibliotecas de R instaladas.
• Biblioteca de Java actualizada:
  • jetty de 9.4.34.v20201102 a 9.4.36.v20210114
• OpenJDK, compilación 8, se actualizó a Zulu 8.52.0.23-CA-linux64 (compilación 1.8.0_282-b08)

Apache Spark

Databricks Runtime 8.1 incluye Apache Spark 3.1.1. En esta versión, se incluyen todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 8.0 (EoS), junto con las siguientes correcciones de errores y mejoras adicionales de Spark:

• [SPARK-34534] Corrección del orden de blockIds al usar FetchShuffleBlocks para capturar bloques
• [SPARK-34613] [SQL] Corrección de la vista que no captura la configuración para deshabilitar sugerencias
• [SPARK-34392] [SQL] Compatibilidad con ZoneOffset +h:mm en DateTimeUtils. getZoneId
• [SPARK-34436] [SQL] Compatibilidad de DPP con la expresión LIKE ANY/ALL.
• [SPARK-34497] [SQL] Corrección de los proveedores de conexiones JDBC integrados para restaurar los cambios de contexto de seguridad de JVM.
• [SPARK-34543] [SQL] Cumplimiento de la configuración spark.sql.caseSensitive al resolver la especificación de partición en la versión 1 de SET LOCATION.
• [SPARK-34550] [SQL] Omisión del valor NULL de InSet durante la inserción del filtro en el metastore de Hive.
• [SPARK-34531] [CORE] Eliminación de la etiqueta de API "Experimental" en PrometheusServlet.

Actualizaciones de mantenimiento

Consulte Actualizaciones de mantenimiento de Databricks Runtime 8.1.

Entorno del sistema

• Sistema operativo: Ubuntu 18.04.5 LTS
• Java: Zulu 8.52.0.23-CA-linux64 (compilación 1.8.0_282-b08)
• Scala: 2.12.10
• Python: 3.8.8 (actualizado desde 3.8.6 en la actualización de mantenimiento del 26 de mayo de 2021)
• R: versión de R 4.0.4 (2021-02-15)
• Delta Lake: 0.8.0

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN del 02-11-2020.

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)