Databricks Runtime 6.5 (EoS)

Databricks publicó esta versión en abril de 2020.

En las siguientes notas de la versión se proporciona información sobre Databricks Runtime 6.5, con tecnología de Apache Spark.

Nuevas características

Las métricas de operación para todas las escrituras, actualizaciones y eliminaciones de una tabla Delta ahora se muestran en el historial de tablas

Ahora puede ver las métricas de operación (por ejemplo, el número de archivos y filas cambiados) para todas las escrituras, actualizaciones y eliminaciones de una tabla Delta en el historial de la tabla. La generación de estas métricas está habilitada de manera predeterminada. Para ver el historial, ejecute:

DESCRIBE HISTORY deltaTableName

Limitación del volumen de datos procesados en microlotes de streaming de Delta Lake

Al procesar datos de Delta Lake mediante Structured Streaming, ahora puede establecer la opción maxBytesPerTrigger para limitar el volumen de datos procesados en cada microlote. Esto establece un "máximo flexible", lo que significa que un lote procesa aproximadamente esta cantidad de datos y puede procesar más que el límite.

Si usa la instrucción Trigger.Once para el streaming, se omite esta opción. Además, si usa esta opción junto con maxFilesPerTrigger, el microlote procesa los datos hasta que se alcanza el límite maxFilesPerTrigger o maxBytesPerTrigger.

Mejoras

Conector de Snowflake actualizado a la versión 2.5.9

El conector actualizado promueve el controlador JDBC de Snowflake a la versión 3.12.0.

Java actualizado a 1.8.0_242

Esta versión presenta nuevas comprobaciones en los certificados de anclaje de veracidad, para asegurarse de que los anclajes de veracidad son certificados de CA y contienen las extensiones adecuadas. Los certificados de anclaje de veracidad deben incluir una extensión de Restricciones básicas, con el campo ca establecido en true. Además, si incluyen una extensión de Uso de clave, el bit keyCertSign debe establecerse.

Si usa certificados de anclaje de veracidad autofirmados, puede alcanzar las siguientes excepciones introducidas por las nuevas comprobaciones:

TrustAnchor with subject "..." is not a CA certificate

TrustAnchor with subject "..." does not have keyCertSign bit set in KeyUsage extension

Para seguir usando certificados de anclaje de veracidad autofirmados, tiene dos opciones para abordar las excepciones anteriores:

• Establezca la propiedad jdk.security.allowNonCaAnchor del sistema Java, introducida con Java 1.9.0_242, en true, para restaurar el comportamiento anterior. Puede usar las instrucciones spark.driver.extraJavaOptions y spark.executor.extraJavaOptions para establecer esta propiedad del sistema en controladores y ejecutores de Spark, respectivamente.

• Incluya una extensión de Restricciones básicas, con el campo ca establecido en true para los certificados de anclaje de veracidad. Si los certificados de anclaje de veracidad incluyen una extensión de Uso de clave, establezca el bit keyCertSign.

  Si usa Java Keytool para generar pares de claves públicas y privadas, establezca -ext BasicConstraints=ca:true al generar certificados de anclaje de veracidad. Si los certificados de anclaje de veracidad incluyen una extensión de Uso de claves, establezca el bit -ext KeyUsage=...,keyCertSign de keyCertSign al generar certificados de anclaje de veracidad.

Bibliotecas de R actualizadas

Se han actualizado varias bibliotecas de R instaladas. Consulte Bibliotecas de R instaladas.

En desuso

• El paquete boto está en desuso y se quitará en una versión principal futura de Databricks Runtime. Azure Databricks recomienda usar el paquete boto3 en su lugar.
• Los siguientes paquetes de R se quitarán en una versión principal futura de Databricks Runtime:
  • abind
  • bitops
  • automóvil
  • carData
  • doMC
  • gbm
  • h2o
  • littler
  • lme4
  • mapproj
  • maps
  • maptools
  • MatrixModels
  • minqa
  • mvtnorm
  • nloptr
  • openxlsx
  • pbkrtest
  • pkgKitten
  • quantreg
  • R.methodsS3
  • R.oo
  • R.utils
  • RcppEigen
  • RCurl
  • rio
  • sp
  • SparseM
  • statmod
  • zip

Azure Databricks recomienda usar el código siguiente para instalar y cargar paquetes de R que no están instalados por Databricks Runtime:

if (!require("package_name")) {
  install.packages("package_name")
  library("package_name")
}

Spark de Apache

Databricks Runtime 6.5 incluye Apache Spark 2.4.5. En esta versión, se incluyen todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 6.4 (EoS), junto con las siguientes correcciones de errores y mejoras de Spark:

• [SPARK-27099] [SQL] Agregación de 'xxhash64' para el hash de columnas arbitrarias a Long
• [SPARK-26151] [SQL] Devolución de resultados parciales de registros CSV incorrectos
• [SPARK-30927] [SS] StreamingQueryManager debe evitar mantener la referencia a una secuencia StreamingQuery finalizada
• [SPARK-22590] Copia de sparkContext.localproperties en el subproceso secundario BroadcastExchangeExec.executionContext
• [SPARK-30671] emptyDataFrame debe usar LocalRelation
• [SPARK-30556] [SQL] Restablece el estado cambiado en SQLExecution withThreadLocalCaptured
• [SPARK-30763] [SQL] Corrección de java.lang.IndexOutOfBoundsException No group 1 for regexp_extract
• [SPARK-30806] [SQL] Evalúa una vez por grupo en UnboundedWindowFunctionFrame
• [SPARK-30731] Actualización de la opción Mkdocs en desuso
• [SPARK-30857] [SQL] Corrección de truncamientos de marcas de tiempo antes de la época en horas y días
• [SPARK-30798] Scope Session.active en QueryExecution
• [SPARK-30793] [SQL] Corrección de truncamientos de marcas de tiempo antes de la época en minutos y segundos
• [SPARK-30826] [SQL] Respeta el caso de referencia para la instrucción StringStartsWith insertada en Parquet
• [SPARK-30797] [SQL] Establecimiento de permisos de usuario, grupo u otro tipo, en las entradas de ACL al configurar ACL en la tabla de truncamiento
• [SPARK-30065] [SQL] DataFrameNaFunctions.drop debe controlar columnas duplicadas
• [SPARK-29890] [SQL] DataFrameNaFunctions.fill debe controlar columnas duplicadas
• [SPARK-30310] [CORE] Resolución de casos de coincidencia ausentes en SparkUncaughtExceptionHandler y pruebas agregadas
• [SPARK-30512] Se ha agregado un grupo de bucles de eventos de jefe dedicado

Actualizaciones de mantenimiento

Consulte Actualizaciones de mantenimiento de Databricks Runtime 6.5.

Entorno del sistema

• Sistema operativo: Ubuntu 16.04.6 LTS
• Java: 1.8.0_252
• Scala: 2.11.12
• Python: 3.7.3
• R: Versión R 3.6.3 (29-02-2020)
• Delta Lake: 0.5.0

En esta sección:

• Bibliotecas de Python instaladas
• Bibliotecas de R instaladas
• Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.11)

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN del 26-02-2020.

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.11)