Databricks Runtime 9.0 (EoS)

Las siguientes notas de la versión proporcionan información sobre Databricks Runtime 9.0 y Databricks Runtime 9.0 Photon, con tecnología de Apache Spark 3.1.2. Databricks publicó esta versión en agosto de 2021. Photon se encuentra en versión preliminar pública.

Corrección

Una versión anterior de estas notas de la versión indicaba incorrectamente que las dependencias de Apache Parquet se actualizaron de la versión 1.10 a la 1.12. De hecho, las dependencias de Parquet permanecen en la versión 1.10. Se ha quitado la nota de la versión incorrecta.

Nuevas características y mejoras

• Nueva API para estadísticas de resumen de conjuntos de datos (versión preliminar pública)
• Configuración del origen de datos externo más sencilla para el conector de Azure Synapse
• Opcionalmente, limitar la sesión a una duración especificada para el conector de Amazon Redshift
• Cargador automático
• SQL
• Compatibilidad con R
• Evitar la fase de rehacer especificando el estado inicial para el procesamiento con estado del streaming estructurado
• Ahora hay disponible una implementación de orden aleatorio bajo del comando MERGE INTO de Delta (versión preliminar pública)

Nueva API para estadísticas de resumen de conjuntos de datos (versión preliminar pública)

El nuevo comando dbutils.data.summarize de las utilidades de Databricks permite iniciar un trabajo de Spark que calcula automáticamente las estadísticas de resumen en las columnas de un DataFrame de Spark y, a continuación, muestra los resultados de forma interactiva. Esta función está disponible en Scala y Python. Consulte Utilidad de datos (dbutils.data).

Configuración del origen de datos externo más sencilla para el conector de Azure Synapse

La nueva opción externalDataSource del conector de Consulta de datos en Azure Synapse Analytics permite usar un origen de datos externo aprovisionado previamente para leer desde una base de datos de Azure Synapse. La opción externalDataSource elimina la necesidad del permiso CONTROL requerido anteriormente.

Al establecer externalDataSource, el origen de datos externo y la opción tempDir utilizada para configurar el almacenamiento temporal deben hacer referencia al mismo contenedor de la cuenta de almacenamiento.

Opcionalmente, limitar la sesión a una duración especificada para el conector de Amazon Redshift

La opción fs.s3a.assumed.role.session.duration nueva del conector Consulta de Amazon Redshift con Azure Databricks permite establecer opcionalmente una duración para la sesión cuando Redshift accede al cubo temporal de S3 con un rol asumido.

Cargador automático

• Enumeración de archivos optimizada
• Almacenamiento de datos de imagen optimizado
• Miniaturas de imagen para archivos binarios (versión preliminar pública)
• Los eventos DirectoryRename habilitan el procesamiento atómico de varios archivos

Enumeración de archivos optimizada

Las optimizaciones de Auto Loader proporcionan mejoras de rendimiento y ahorro de costos al enumerar directorios anidados en el almacenamiento en la nube, incluidos AWS S3, Azure Data Lake Storage Gen2 (ADLS Gen2) y Google Cloud Storage (GCS).

Por ejemplo, si tenía archivos cargados como /some/path/YYYY/MM/DD/HH/fileName, para buscar todos los archivos de estos directorios, Auto Loader solía realizar una lista paralela de todos los subdirectorios, lo que provocaba 365 (por día) * 24 (por hora) = 8760 llamadas de directorio de la API LIST al almacenamiento subyacente para cada directorio de año. Al recibir una respuesta plana de estos sistemas de almacenamiento, Auto Loader reduce el número de llamadas API al número de archivos del almacenamiento dividido por el número de resultados devueltos por cada llamada API (1000 para S3, 5000 para ADLS Gen2 y 1024 para GCS), lo que reduce considerablemente los costos en la nube.

Almacenamiento de datos de imagen optimizado

Auto Loader ahora puede detectar automáticamente los datos de imagen que se ingieren y optimizar su almacenamiento en tablas Delta para mejorar el rendimiento de lectura y escritura. Consulte la Ingesta de datos binarios o de imagen en Delta Lake para ML.

Miniaturas de imagen para archivos binarios (versión preliminar pública)

Las imágenes en formato binaryFile cargadas o guardadas como tablas Delta mediante Auto Loader tienen anotaciones adjuntas para que las miniaturas de imagen aparezcan al mostrar la tabla en un cuaderno de Azure Databricks. Para más información, consulte Imágenes.

Los eventos DirectoryRename habilitan el procesamiento atómico de varios archivos.

Las secuencias de Auto Loader creadas en Databricks Runtime 9.0 y versiones posteriores en Azure Data Lake Storage Gen2 configuran notificaciones de eventos de archivos para incluir los cambios de nombres de directorio y escuchar eventos RenameDirectory. Puede usar los cambios de nombre de directorio para que varios archivos aparezcan de forma atómica en Auto Loader.

SQL

• Exclusión de columnas en SELECT * (versión preliminar pública)
• Funciones escalares de SQL (versión preliminar pública)
• Referencia a alias y columnas anteriores en las consultas secundarias de la cláusula FROM (versión preliminar pública)

Exclusión de columnas en SELECT * (versión preliminar pública)

SELECT * ahora admite la palabra clave EXCEPT, que permite excluir las columnas de nivel superior especificadas de la expansión. Por ejemplo, la instrucción SELECT * EXCEPT (b) FROM tbl de una tabla con el esquema (a, b, c) se expande a (a, c).

Funciones escalares de SQL (versión preliminar pública)

CREATE FUNCTION ahora admite funciones escalares de SQL. Puede crear funciones escalares que toman un conjunto de argumentos y devuelven un único valor de tipo escalar. El cuerpo de la función de SQL puede ser cualquier expresión. Por ejemplo:

CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);

Para más información, consulte CREATE FUNCTION (SQL y Python).

Referencia a alias y columnas anteriores en las consultas secundarias de la cláusula FROM (versión preliminar pública)

Las consultas secundarias de la cláusula FROM de una consulta ahora pueden ir precedidas de la palabra clave LATERAL, que les permite hacer referencia a alias y columnas de los elementos FROM anteriores. Por ejemplo:

SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)

La palabra clave LATERAL admite INNER, CROSS y LEFT (OUTER) JOIN.

Consulte Parámetros y Parámetros.

Compatibilidad con R

Bibliotecas de R con ámbito de cuaderno (versión preliminar pública)

Las bibliotecas con ámbito de cuaderno permiten instalar las bibliotecas y crear un entorno con ámbito de una sesión de cuaderno. Estas bibliotecas no afectan a otros cuadernos que se ejecuten en el mismo clúster. Las bibliotecas están disponibles tanto en el controlador como en los nodos de trabajo, por lo que puede hacer referencia a ellas en funciones definidas por el usuario. Consulte Bibliotecas de R con ámbito de cuaderno.

Mensajes de advertencia en cuadernos de R

El valor predeterminado de la opción warn ahora se establece en 1 dentro de los cuadernos de R. Como resultado, ahora se exponen todas las advertencias como parte del resultado del comando. Para más información sobre la opción warn, consulte Configuración de opciones.

Evitar la fase de rehacer especificando el estado inicial para el procesamiento con estado del streaming estructurado

Ahora puede especificar un estado inicial definido por el usuario para el procesamiento con estado del streaming estructurado mediante el operador [flat]MapGroupsWithState.

Vea Especificar estado inicial de mapGroupsWithState

Ahora hay disponible una implementación de orden aleatorio bajo del comando MERGE INTO de Delta (versión preliminar pública)

El comando MERGE INTO de Delta tiene disponible una nueva implementación que reduce el orden aleatorio de las filas no modificadas. Esta técnica mejora el rendimiento del comando y ayuda a conservar la agrupación en clústeres existente en la tabla, como la ordenación Z. Para habilitar la combinación de orden aleatorio bajo, establezca spark.databricks.delta.merge.enableLowShuffle en true. Consulte Combinación de orden aleatorio bajo en Azure Databricks.

Corrección de errores

• Ya no se puede sobrescribir una vista mediante la creación de una vista con el mismo nombre.

Actualizaciones de bibliotecas

• Bibliotecas de Python actualizadas:
  • certifi de 2021.5.30 a 2020.12.5
  • chardet de 3.0.4 a 4.0.0
  • Cython de 0.29.21 a 0.29.23
  • decorator de 4.4.2 a 5.0.6
  • ipython de 7.19.0 a 7.22.0
  • joblib de 0.17.0 a 1.0.1
  • jupyter-client de 6.1.7 a 6.1.12
  • jupyter-core de 4.6.3 a 4.7.1
  • kiwisolver de 1.3.0 a 1.3.1
  • matplotlib de 3.2.2 a 3.4.2
  • pandas de 1.1.5 a 1.2.4
  • pip de 20.2.4 a 21.0.1
  • prompt-toolkit de 3.0.8 a 3.0.17
  • protobuf de 3.17.3 a 3.17.2
  • ptyprocess de 0.6.0 to 0.7.0
  • pyarrow de 1.0.1 a 4.0.0
  • Pygments de 2.7.2 a 2.8.1
  • pyzmq de 19.0.2 a 20.0.0
  • requests de 2.24.0 a 2.25.1
  • s3transfer de 0.3.6 a 0.3.7
  • scikit-learn de 0.23.2 a 0.24.1
  • scipy de 1.5.2 a 1.6.2
  • seaborn de 0.10.0 a 0.11.1
  • setuptools de 50.3.1 a 52.0.0
  • statsmodels de 0.12.0 a 0.12.2
  • tornado de 6.0.4 a 6.1
  • virtualenv de 20.2.1 a 20.4.1
  • wheel de 0.35.1 a 0.36.2
• Bibliotecas de R actualizadas:
  • Matrix de 1.3-3 a 1.3-4

Apache Spark

Databricks Runtime 9.0 incluye Apache Spark 3.1.2. En esta versión, se incluyen todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 8.4 (EoS), junto con las siguientes correcciones de errores y mejoras de Spark:

• [SPARK-35886] [SQL][3.1] PromotePrecision no debe sobrescribir genCodePromotePrecision no debe sobrescribir genCode
• [SPARK-35879] [CORE][SHUFFLE] Corrección de la regresión de rendimiento causada por collectFetchRequests
• [SPARK-35817] [SQL][3.1] Restauración del rendimiento de las consultas en tablas de Avro anchas
• [SPARK-35841] [SQL] La conversión de cadena a tipo decimal no funciona si...
• [SPARK-35783] [SQL] Establecimiento de la lista de columnas de lectura en la configuración de la tarea para reducir la lectura de datos de ORC.
• [SPARK-35576] [SQL][3.1] Eliminación de la información confidencial en el resultado del comando Set
• [SPARK-35449] [SQL][3.1] Extraer solo expresiones comunes de los valores CaseWhen si elseValue está establecido
• [SPARK-35288] [SQL] StaticInvoke debe encontrar el método sin coincidencia exacta con las clases de argumento
• [SPARK-34794] [SQL] Corrección de problemas de nombre de variable lambda en funciones de DataFrame anidadas
• [SPARK-35278] [SQL] La invocación debe encontrar el método con el número correcto de parámetros
• [SPARK-35226] [SQL] Compatibilidad con la opción refreshKrb5Config en orígenes de datos JDBC
• [SPARK-35244] [SQL] La invocación debe producir la excepción original
• [SPARK-35213] [SQL] Mantenimiento del orden correcto de las estructuras anidadas en las operaciones withField encadenadas.
• [SPARK-35087] [UI] Algunas columnas de la tabla Aggregated Metrics by Executor de la página stage-detail se muestran incorrectamente.
• [SPARK-35168] [SQL] mapred.reduce.tasks debe ser shuffle.partitions y no adaptive.coalescePartitions.initialPartitionNum
• [SPARK-35127] [UI] Cuando cambiamos entre distintas páginas de detalles de fase, el elemento de entrada de la página recién abierta puede estar en blanco.
• [SPARK-35142] [PYTHON][ML] Corrección del tipo de valor devuelto incorrecto para rawPredictionUDF en OneVsRestModel
• [SPARK-35096] [SQL] SchemaPruning debería cumplir la configuración spark.sql.caseSensitive.
• [SPARK-34639] [SQL][3.1] RelationalGroupedDataset.alias no debe crear UnresolvedAlias
• [SPARK-35080] [SQL] Permitir solo un subconjunto de predicados de igualdad correlacionados cuando se agrega una subconsulta
• [SPARK-35117] [UI] Cambio de la barra de progreso para resaltar la proporción de tareas en curso
• [SPARK-35136] Quitar el valor null inicial de LiveStage.info
• [SPARK-34834] [NETWORK] Corrección de una posible pérdida de memoria de Netty en TransportResponseHandler
• [SPARK-35045] [SQL] Adición de una opción interna para controlar el búfer de entrada en univocity
• [SPARK-35014] Corrección del patrón PhysicalAggregation para no reescribir expresiones que se pueden plegar.
• [SPARK-35019] [PYTHON][SQL] Corrección de errores de coincidencia de sugerencias de tipo en pyspark.sql.*
• [SPARK-34926] [SQL][3.1] PartitioningUtils.getPathFragment() debe respetar que el valor de partición sea NULL.
• [SPARK-34630] [PYTHON] Adición de typehint para pyspark.version
• [SPARK-34963] [SQL] Corrección de la eliminación de columnas anidadas para extraer el campo de estructura que no distingue mayúsculas de minúsculas de una matriz de estructuras
• [SPARK-34988] [CORE][3.1] Actualización de Jetty para CVE-2021-28165
• [SPARK-34922] [SQL][3.1] Uso de una función de comparación de costos relativos en CBO
• [SPARK-34970] [SQL][SECURITY][3.1] Censura de las opciones de map-type en la salida de explain()
• [SPARK-34923] [SQL] La salida de metadatos debe estar vacía para más planes
• [SPARK-34949] [CORE] Impedir que BlockManager vuelva a registrar cuando el ejecutor se está cerrando
• [SPARK-34939] [CORE] Se produce una excepción de error de captura cuando no se pueden deserializar los estados de mapa difundidos
• [SPARK-34909] [SQL] Corrección de la conversión de negativo a sin signo en conv()
• [SPARK-34845] [CORE] ProcfsMetricsGetter no debe devolver métricas de procfs parciales.
• [SPARK-34814] [SQL] LikeSimplification debe controlar valores NULL.
• [SPARK-34876] [SQL] Relleno de defaultResult de los agregados que no aceptan valores NULL
• [SPARK-34829] [SQL] Corrección de los resultados de la función de orden superior
• [SPARK-34840] [SHUFFLE] Correcciones de los casos de daños en el orden aleatorio combinado...
• [SPARK-34833] [SQL] Aplicar el relleno a la derecha correctamente para las subconsultas correlacionadas.
• [SPARK-34630] [PYTHON][SQL] Se ha agregado typehint para pyspark.sql.Column.contains.
• [SPARK-34763] [SQL] col(), $"name" y df("name") deben controlar correctamente los nombres de columna entre comillas.
• [SPARK-33482][SPARK-34756] [SQL] Corrección de la comprobación de igualdad de FileScan
• [SPARK-34790] [CORE] Deshabilitación de la captura de bloques aleatorios en lotes cuando el cifrado de E/S está habilitado
• [SPARK-34803] [PYSPARK] Se pasa el valor de importError generado si pandas o pyarrow no se pueden importar.
• [SPARK-34225] [CORE] No codificar más cuando se pasa una cadena de formato URI a addFile o addJar
• [SPARK-34811] [CORE] Censura de fs.s3a.access.key como secreto y token
• [SPARK-34796] [SQL][3.1] Inicializar la variable de contador para LIMIT code-gen en doProduce()
• [SPARK-34128] [SQL] Suprimir advertencias TTransportException no deseadas implicadas en THRIFT-4805
• [SPARK-34776] [SQL] La limpieza de columnas anidadas no debe eliminar los atributos generados por la ventana.
• [SPARK-34087] [3.1][SQL] Corrección de la pérdida de memoria de ExecutionListenerBus
• [SPARK-34772] [SQL] RebaseDateTime loadRebaseRecords debe usar el cargador de clases de Spark en lugar del contexto.
• [SPARK-34719] [SQL][3.1] Resolver correctamente la consulta de vista con nombres de columna duplicados
• [SPARK-34766] [SQL][3.1] No capturar la configuración de Maven para las vistas
• [SPARK-34731] [CORE] Evitar ConcurrentModificationException al censurar propiedades en EventLoggingListener
• [SPARK-34737] [SQL][3.1] Conversión de una entrada float a double en TIMESTAMP_SECONDS
• [SPARK-34749] [SQL][3.1] Simplificar ResolveCreateNamedStruct
• [SPARK-34768][SQL] Se respeta el tamaño del búfer de entrada predeterminado en Univocity.
• [SPARK-34770] [SQL] InMemoryCatalog.tableExists no debería producir un error si la base de datos no existe.
• [SPARK-34504] [SQL] Se evita la resolución innecesaria de vistas temporales de SQL para comandos DDL.
• [SPARK-34727] [SQL] Corrección de la discrepancia en la conversión de float a timestamp
• [SPARK-34723] [SQL] Corrección del tipo de parámetro para la eliminación de una subexpresión en toda la fase
• [SPARK-34724] [SQL] Corrección de la evaluación interpretada mediante getMethod en lugar de getDeclaredMethod
• [SPARK-34713] [SQL] Corrección de la agrupación por CreateStruct con ExtractValue.
• [SPARK-34697] [SQL] Se permiten DESCRIBE FUNCTION y SHOW FUNCTIONS explain about || (operador de concatenación de cadenas)
• [SPARK-34682] [SQL] Uso de PrivateMethodTester en lugar de reflection
• [SPARK-34682] [SQL] Corrección de la regresión en la comprobación de errores de canonización en CustomShuffleReaderExec
• [SPARK-34681] [SQL] Corrección del error de combinación hash aleatoria externa completa al compilar el lado izquierdo con una condición no igual.
• [SPARK-34545] [SQL] Corrección de problemas con la característica valueCompare de pyrolite
• [SPARK-34607] [SQL][3.1] Adición de Utils.isMemberClass para corregir un error de nombre de clase con formato incorrecto en jdk8u
• [SPARK-34596][SQL] Uso de Utils.getSimpleName para evitar alcanzar el nombre de clase con formato incorrecto en NewInstance.doGenCode
• [SPARK-34613] [SQL] Corrección de la vista que no captura la configuración para deshabilitar sugerencias
• [SPARK-32924] [WEBUI] Ahora la columna de duración de la interfaz de usuario maestra está ordenada en el orden correcto.
• [SPARK-34482] [SS] Corrección de la sesión de Spark activa para StreamExecution.logicalPlan
• [SPARK-34567] [SQL] CreateTableAsSelect también debe actualizar las métricas.
• [SPARK-34599] [SQL] Se ha corregido el problema por el que INSERT INTO OVERWRITE no admite columnas de partición que contienen un punto para DSv2.
• [SPARK-34577] [SQL] Corrección de la eliminación o adición de columnas a un conjunto de datos de DESCRIBE NAMESPACE
• [SPARK-34584] [SQL] La partición estática también debe seguir StoreAssignmentPolicy al insertar en tablas v2.
• [SPARK-34555] [SQL] Resolución de la salida de metadatos de DataFrame
• [SPARK-34534] Corrección del orden de blockIds al usar FetchShuffleBlocks para capturar bloques
• [SPARK-34547] [SQL] Solo se usan las columnas de metadatos para la resolución como último recurso.
• [SPARK-34417] [SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap produce un error si el nombre de columna tiene un punto.
• [SPARK-34561] [SQL] Corrección de la eliminación o adición de columnas a o desde un conjunto de datos de DESCRIBE TABLE en la versión v2
• [SPARK-34556] [SQL] La comprobación de las columnas de partición estáticas duplicadas debe respetar la configuración para distinguir mayúsculas de minúsculas.
• [SPARK-34392] [SQL] Compatibilidad con ZoneOffset +h:mm en DateTimeUtils. getZoneId
• [SPARK-34550] [SQL] Omisión del valor NULL de InSet durante la inserción del filtro en el metastore de Hive.
• [SPARK-34543] [SQL] Cumplimiento de la configuración spark.sql.caseSensitive al resolver la especificación de partición en la versión 1 de SET LOCATION.
• [SPARK-34436] [SQL] Compatibilidad de DPP con la expresión LIKE ANY/ALL.
• [SPARK-34531] [CORE] Eliminación de la etiqueta de API "Experimental" en PrometheusServlet.
• [SPARK-34497] [SQL] Corrección de los proveedores de conexiones JDBC integrados para restaurar los cambios de contexto de seguridad de JVM.
• [SPARK-34515] [SQL] Corrección de NPE si InSet contiene un valor NULL durante getPartitionsByFilter.
• [SPARK-34490] [SQL] El análisis debería producir un error si la vista hace referencia a una tabla eliminada.
• [SPARK-34473] [SQL] Se evita NPE en DataFrameReader.schema(StructType).
• [SPARK-34384] [CORE] Adición de documentos que faltan para las API de ResourceProfile
• [SPARK-34373] [SQL] HiveThriftServer2 startWithContext puede bloquearse con un problema de carrera.
• [SPARK-20977] [CORE] Uso de un campo no final para el estado de CollectionAccumulator
• [SPARK-34421] [SQL] Resolución de vistas y funciones temporales en vistas con CTE.
• [SPARK-34431] [CORE] Solo se carga hive-site.xml una vez.
• [SPARK-34405] [CORE] Corrección del valor medio de timersLabels en la clase PrometheusServlet
• [SPARK-33438] [SQL] Inicialización rápida de objetos con configuraciones definidas de SQL para el comando set -v
• [SPARK-34158] Dirección URL incorrecta del único desarrollador de Matei en pom.xml
• [SPARK-34346] [CORE][SQL][3.1] El valor de io.file.buffer.size establecido por la invalidación de spark.buffer.size al cargar hive-site.xml accidentalmente puede provocar una regresión del rendimiento.
• [SPARK-34359] [SQL][3.1] Adición de una configuración heredada para restaurar el esquema de salida de SHOW DATABASES
• [SPARK-34331] [SQL] Aceleración de la resolución de columnas de metadatos de DS v2
• [SPARK-34318] [SQL][3.1] Dataset.colRegex debe funcionar con nombres de columna y calificadores que contengan nuevas líneas.
• [SPARK-34326] [CORE][SQL] Corrección de los UT agregados en SPARK-31793 en función de la longitud de la ruta de acceso temporal
• [SPARK-34319] [SQL] Resolución de atributos duplicados para FlatMapCoGroupsInPandas y MapInPandas
• [SPARK-34310] [CORE][SQL] Sustitución de map y flatten por flatMap
• [SPARK-34083] [SQL][3.1] Uso de las definiciones originales de TPCDS para columnas char y varchar
• [SPARK-34233] [SQL][3.1] Corrección de NPE para el relleno de caracteres en la comparación binaria
• [SPARK-34270] [SS] La combinación de StateStoreMetrics no debe invalidar StateStoreCustomMetric.
• [SPARK-34144] [SQL] Se genera una excepción al intentar escribir valores de LocalDate e Instant en una relación JDBC.
• [SPARK-34273] [CORE] No se vuelve a registrar BlockManager cuando SparkContext está detenido.
• [SPARK-34262] [SQL][3.1] Actualización de los datos almacenados en caché de una tabla de la versión v1 en ALTER TABLE .. SET LOCATION
• [SPARK-34275] [CORE][SQL][MLLIB] Reemplaza el filtro y el tamaño por un recuento.
• [SPARK-34260][SQL] Corrección de UnresolvedException al crear la vista temporal dos veces
• [SPARK-33867] [SQL] Los valores de Instant y LocalDate no se controlan al generar consultas SQL.
• [SPARK-34193] [CORE] Corrección de la condición de carrera en la retirada del administrador de bloques TorrentBroadcast
• [SPARK-34221] [WEBUI] Se garantiza que si se produce un error en una fase en la página de la interfaz de usuario, el mensaje de error correspondiente se pueda mostrar correctamente.
• [SPARK-34236] [SQL] Corrección de la versión v2 de la sobrescritura de v2 con una partición estática con valor NULL que genera el error No se puede traducir la expresión al filtro de origen: NULL
• [SPARK-34212] [SQL] Corrección de la lectura decimal incorrecta de archivos Parquet
• [SPARK-34244] [SQL] Retirada de la versión de función de Scala de regexp_extract_all
• [SPARK-34235] [SS] Ahora spark.sql.hive es un paquete privado.
• [SPARK-34232] [CORE] Censura del evento SparkListenerEnvironmentUpdate en el registro
• [SPARK-34229] [SQL] Avro debe leer valores decimales con el esquema de archivo.
• [SPARK-34223] [SQL] Corrección de NPE para una partición estática con valor NULL en InsertIntoHadoopFsRelationCommand
• [SPARK-34192] [SQL] Se ha trasladado el relleno de caracteres al lado de escritura y se ha quitado también la comprobación de longitud en el lado de lectura.
• [SPARK-34203] [SQL] Conversión de los valores de partición null a __HIVE_DEFAULT_PARTITION__ en el catálogo In-Memory de la versión v1
• [SPARK-33726] [SQL] Corrección de nombres de campo duplicados durante la agregación
• [SPARK-34133] [AVRO] Se respeta la distinción entre mayúsculas y minúsculas al realizar la búsqueda de coincidencias de campos entre Catalyst y Avro.
• [SPARK-34187] [SS] Uso del intervalo de desplazamiento disponible obtenido durante el sondeo al comprobar la validación del desplazamiento
• [SPARK-34052] [SQL][3.1] Almacenamiento del texto SQL para una vista temporal creada con "CACHE TABLE .. AS SELECT …"
• [SPARK-34213] [SQL] Actualización de los datos almacenados en caché de una tabla de la versión v1 en LOAD DATA
• [SPARK-34191] [PYTHON][SQL] Adición de tipos para la sobrecarga de UDF
• [SPARK-34200] [SQL] Una referencia de columna ambigua debe tener en cuenta la disponibilidad de los atributos.
• [SPARK-33813] [SQL][3.1] Corrección del problema por el que el origen JDBC no puede tratar los tipos espaciales de MS SQL Server
• [SPARK-34178] [SQL] Copia de etiquetas para el nuevo nodo creado por MultiInstanceRelation.newInstance
• [SPARK-34005] [CORE][3.1] Actualización de las métricas de memoria máxima para cada ejecutor al final de la tarea
• [SPARK-34115] [CORE] Comprobación de SPARK_TESTING como validación diferida para evitar la ralentización
• [SPARK-34153] [SQL][3.1][3.0] Eliminación de la función getRawTable() no utilizada de HiveExternalCatalog.alterPartitions()
• [SPARK-34130] [SQL] Mejora del rendimiento para el relleno de elementos char y varchar y comprobación de longitud con StaticInvoke
• [SPARK-34027] [SQL][3.1] Actualización de la caché en ALTER TABLE .. RECOVER PARTITIONS
• [SPARK-34151] [SQL] Sustitución de java.io.File.toURL por java.io.File.toURI.toURL
• [SPARK-34140] [SQL][3.1] Traslado de QueryCompilationErrors.scala a org/apache/spark/sql/errors
• [SPARK-34080] [ML][PYTHON] Adición de UnivariateFeatureSelector
• [SPARK-33790] [CORE][3.1] Reducción de la llamada rpc de getFileStatus en SingleFileEventLogFileReader
• [SPARK-34118] [CORE][SQL][3.1] Sustitución del filtro y comprobación de elemento vacío con exists o forall
• [SPARK-34114] [SQL] No se debe recortar a la derecha para el relleno y la comprobación de longitud de caracteres del lado de lectura
• [SPARK-34086] [SQL][3.1] RaiseError genera demasiado código y puede producir un error en la comprobación de longitud de codegen para elementos char y varchar.
• [SPARK-34075] [SQL][CORE] Se enumeran los directorios ocultos para la inferencia de particiones.
• [SPARK-34076] [SQL] SQLContext.dropTempTable produce un error si la memoria caché no está vacía.
• [SPARK-34084] [SQL][3.1] Corrección de la actualización automática de las estadísticas de tabla en ALTER TABLE .. ADD PARTITION
• [SPARK-34090] [SS] El resultado de hadoopDelegationTokenManager.isServiceEnabled en caché se utiliza en KafkaTokenUtil.needTokenUpdate.
• [SPARK-34069] [CORE] Las tareas de eliminación de barreras deben respetar SPARK_JOB_INTERRUPT_ON_CANCEL.
• [SPARK-34091] [SQL] La captura por lotes aleatoria debe poder deshabilitarse una vez habilitada.
• [SPARK-34059] [SQL][CORE][3.1] Uso de for/foreach en lugar de map para asegurarse de una ejecución diligente
• [SPARK-34002] [SQL] Corrección del uso del codificador en ScalaUDF
• [SPARK-34060] [SQL][3.1] Corrección del almacenamiento en caché de tablas de Hive al actualizar estadísticas mediante ALTER TABLE .. DROP PARTITION
• [SPARK-31952] [SQL] Corrección de la métrica de volcado de memoria incorrecta al realizar la agregación
• [SPARK-33591] [SQL][3.1] Reconocimiento de null en los valores de especificación de partición
• [SPARK-34055] [SQL][3.1] Actualización de la caché en ALTER TABLE .. ADD PARTITION
• [SPARK-34039] [SQL][3.1] ReplaceTable debe invalidar la caché.
• [SPARK-34003] [SQL] Corrección de conflictos de reglas entre PaddingAndLengthCheckForCharVarchar y ResolveAggregateFunctions
• [SPARK-33938] [SQL][3.1] Optimización de Like Any y All by LikeSimplification
• [SPARK-34021] [R] Corrección de hipervínculos en la documentación de SparkR para el envío de CRAN
• [SPARK-34011] [SQL][3.1][3.0] Actualización de la caché en ALTER TABLE .. RENAME TO PARTITION
• [SPARK-33948] [SQL] Corrección del error de CodeGen del método MapObjects.doGenCode en Scala 2.13
• [SPARK-33635] [SS] Ajuste del orden de comprobación en KafkaTokenUtil.needTokenUpdate para solucionar la regresión de rendimiento
• [SPARK-33029] [CORE][WEBUI] Corrección de la página del ejecutor de la interfaz de usuario que marca incorrectamente el controlador como excluido
• [SPARK-34015] [R] Corrección del tiempo de entrada en gapply
• [SPARK-34012] [SQL] Mantenimiento de un comportamiento coherente cuando el valor de configuración spark.sql.legacy.parser.havingWithoutGroupByAsWhere es true con la guía de migración
• [SPARK-33844] [SQL][3.1] El comando InsertIntoHiveDir también debe comprobar el nombre de columna.
• [SPARK-33935] [SQL] Corrección de la función de costo de CBO
• [SPARK-33100] [SQL] Omisión de un punto y coma dentro de un comentario entre corchetes en spark-sql
• [SPARK-34000] [CORE] Corrección de stageAttemptToNumSpeculativeTasks y java.util.NoSuchElementException
• [SPARK-33992] [SQL] Invalidación de transformUpWithNewOutput para agregar allowInvokingTransformsInAnalyzer
• [SPARK-33894] [SQL] Cambio de la visibilidad de las clases de casos privados en mllib para evitar errores de compilación en tiempo de ejecución con Scala 2.13
• [SPARK-33950] [SQL][3.1][3.0] Actualización de la caché en la versión v1 de ALTER TABLE .. DROP PARTITION
• [SPARK-33980] [SS] Invalidación de char y varchar en spark.readStream.schema
• [SPARK-33945] [SQL][3.1] Controla una inicialización aleatoria que consta de un árbol de expresión.
• [SPARK-33398] Corrección de la carga de modelos de árbol anteriores a Spark 3.0
• [SPARK-33963] [SQL] Canonización de HiveTableRelation sin estadísticas de tabla
• [SPARK-33906] [WEBUI] Corrección del error de la página del ejecutor de la interfaz de usuario bloqueada debido a un elemento peakMemoryMetrics no definido
• [SPARK-33944] [SQL] Registro incorrecto de las claves de almacenamiento en las opciones de SharedState
• [SPARK-33936] [SQL][3.1] Adición la versión cuando se agregaron las interfaces del conector
• [SPARK-33916] [CORE] Corrección del desplazamiento de almacenamiento de reserva y mejora de la cobertura de prueba del códec de compresión
• [SPARK-33899] [SQL][3.1] Corrección del error de aserción en la versión v1 de SHOW TABLES/VIEWS en spark_catalog
• [SPARK-33901] [SQL] Corrección del error de visualización de Char y Varchar después de los DDL
• [SPARK-33897] [SQL] No se puede establecer la opción "cross" en el método join.
• [SPARK-33907] [SQL][3.1] Solo se eliminan columnas de JsonToStructs si las opciones de análisis están vacías.
• [SPARK-33621][SPARK-33784] [SQL][3.1] Adición de una manera de insertar reglas de reescritura del origen de datos
• [SPARK-33900] [WEBUI] Muestra del tamaño de lectura aleatoria o los registros correctamente cuando solo está disponible remotebytesread
• [SPARK-33892] [SQL] Visualización de char y varchar en DESC y SHOW CREATE TABLE
• [SPARK-33895] [SQL] Error de Char y Varchar en MetaOperation de ThriftServer
• [SPARK-33659] [SS] Documentación del comportamiento actual de la API DataStreamWriter.toTable
• [SPARK-33893] [CORE] Exclusión del administrador de bloques de reserva de executorList
• [SPARK-33277][PYSPARK][SQL] Uso de ContextAwareIterator para interrumpir el consumo una vez que finalice la tarea
• [SPARK-33889] [SQL][3.1] Corrección de NPE en SHOW PARTITIONS en tablas de la versión V2
• [SPARK-33879] [SQL] Error de valores Char y Varchar con un error de coincidencia como columnas de partición
• [SPARK-33877] [SQL] Documentos de referencia de SQL para INSERT con una lista de columnas
• [SPARK-33876] [SQL] Adición de una comprobación de longitud para leer valores char y varchar desde tablas con una ubicación externa
• [SPARK-33846] [SQL] Inclusión de comentarios para un esquema anidado en StructType.toDDL
• [SPARK-33860] [SQL] Ahora el valor de una matriz especial coincide con el de CatalystTypeConverters.convertToCatalyst.
• [SPARK-33834] [SQL] Comprobación de ALTER TABLE CHANGE COLUMN con Char y Varchar
• [SPARK-33853] [SQL] EXPLAIN CODEGEN y BenchmarkQueryTest no muestran el código de la subconsulta.
• [SPARK-33836] [SS][PYTHON] Se exponen DataStreamReader.table y DataStreamWriter.toTable.
• [SPARK-33829] [SQL][3.1] El cambio de nombre de las tablas de la versión v2 debe volver a crear la caché.
• [SPARK-33756] [SQL] El elemento MapIterator de BytesToBytesMap ahora es idempotente.
• [SPARK-33850] [SQL] EXPLAIN FORMATTED no muestra el plan para las subconsultas si AQE está habilitado.
• [SPARK-33841] [CORE][3.1] Corrección del problema de los trabajos que desaparecen de manera intermitente del SHS cuando la carga es elevada
• [SPARK-33593] [SQL] El lector de vectores obtuvo datos incorrectos con el valor de partición binario.
• [SPARK-26341] [WEBUI] Exposición de las métricas de memoria del ejecutor en el nivel de fase en la pestaña Fases.
• [SPARK-33831] [UI] Actualización a jetty 9.4.34
• [SPARK-33822] [SQL] Uso del método CastSupport.cast en HashJoin
• [SPARK-33774] [UI][CORE] "Volver al maestro" devuelve el error 500 en un clúster independiente.
• [SPARK-26199] [SPARK-31517] [R] Corrección de la estrategia para controlar... nombres al mutar
• [SPARK-33819] [CORE][3.1] SingleFileEventLogFileReader y RollingEventLogFilesFileReader deben ser package private.
• [SPARK-33697] [SQL] RemoveRedundantProjects debe requerir la ordenación de columnas de manera predeterminada.
• [SPARK-33752] [SQL][3.1] Se evita que el elemento getSimpleMessage de AnalysisException agregue un punto y coma varias veces.
• [SPARK-33788] [SQL][3.1][3.0][2.4] Se genera la excepción NoSuchPartitionsException desde HiveExternalCatalog.dropPartitions().
• [SPARK-33803] [SQL] Ordenación de las propiedades de la tabla por clave en el comando DESCRIBE TABLE
• [SPARK-33786] [SQL] Se debe respetar el nivel de almacenamiento de una memoria caché cuando se modifica un nombre de tabla.
• [SPARK-33273] [SQL] Corrección de una condición de carrera en la ejecución de subconsultas
• [SPARK-33653] [SQL][3.1] DSv2: REFRESH TABLE debe volver a almacenar en caché la propia tabla.
• [SPARK-33777] [SQL] Ordenación de la salida de la versión V2 de SHOW PARTITIONS
• [SPARK-33733] [SQL] PullOutNondeterministic debe comprobar y recopilar el campo determinista.
• [SPARK-33764] [SS] Ahora el intervalo de mantenimiento del almacén de estado es una configuración de SQL.
• [SPARK-33729] [SQL] Al actualizar la caché, Spark no debe usar el plan almacenado en caché al volver a almacenar los datos en caché.
• [SPARK-33742] [SQL][3.1] Se genera la excepción PartitionsAlreadyExistException desde HiveExternalCatalog.createPartitions().
• [SPARK-33706] [SQL] Se requiere un identificador de partición totalmente especificado en partitionExists().
• [SPARK-33740] [SQL] Las configuraciones de hadoop de hive-site.xml pueden anular las configuraciones de hadoop existentes previamente.
• [SPARK-33692] [SQL] La vista debe usar el catálogo y el espacio de nombres capturados para la función de búsqueda.
• [SPARK-33669] Mensaje de error incorrecto del monitor de estado de la aplicación de YARN cuando sc.stop se encuentra en modo de cliente de YARN.
• [SPARK-32110] [SQL] Normalización de los números de punto flotante especiales en HyperLogLog++
• [SPARK-33677] [SQL] Omisión de la regla LikeSimplification si el patrón contiene cualquier carácter de escape
• [SPARK-33693] [SQL] Entrada en desuso de spark.sql.hive.convertCTAS
• [SPARK-33641] [SQL] Invalidación de los nuevos tipos char y varchar en las API públicas que producen resultados incorrectos
• [SPARK-32680] [SQL] No se debe procesar previamente la versión V2 de CTAS con una consulta sin resolver.
• [SPARK-33676] [SQL] Se requiere la coincidencia exacta de la especificación de partición con el esquema en la versión V2 de ALTER TABLE .. ADD/DROP PARTITION.
• [SPARK-33670] [SQL] Se comprueba que el proveedor de particiones sea Hive en la versión v1 de SHOW TABLE EXTENDED.
• [SPARK-33663] [SQL] No se debe llamar a la retirada del almacenamiento en caché en vistas temporales no existentes.
• [SPARK-33667] [SQL] Cumplimiento de la configuración spark.sql.caseSensitive al resolver la especificación de partición en la versión 1 de SHOW PARTITIONS
• [SPARK-33652] [SQL] DSv2: DeleteFrom debe actualizar la memoria caché.

Actualizaciones de mantenimiento

Consulte Actualizaciones de mantenimiento de Databricks Runtime 9.0.

Entorno del sistema

• Sistema operativo: Ubuntu 20.04.2 LTS
• Java: Zulu 8.54.0.21-CA-linux64
• Scala: 2.12.10
• Python: 3.8.10
• R: 4.1.0 (2021-05-18)
• Delta Lake 1.0.0

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN del 28-07-2021.

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)