Databricks Runtime 11.1 (EoS)

Las siguientes notas de la versión proporcionan información sobre Databricks Runtime 11.1, con tecnología de Apache Spark 3.3.0. Databricks publicó esta versión en julio de 2022.

Nuevas características y mejoras

• Photon tiene disponibilidad general
• Photon: tipos de instancia admitidos
• La fuente de distribución de datos modificados ahora puede controlar automáticamente las marcas de tiempo fuera del intervalo
• Al describir y mostrar las funciones SQL ahora se muestran los nombres de Unity Catalog en la salida (versión preliminar pública)
• Inferencia de esquemas y evolución para archivos Parquet en el cargador automático (versión preliminar pública)
• Auto Loader ahora admite la evolución del esquema para Avro (GA)
• Compatibilidad de Delta Lake con las sobrescrituras de particiones dinámicas
• Compatibilidad del esquema de información con objetos creados en Unity Catalog
• Restricciones informativas en tablas de Delta Lake con Unity Catalog (versión preliminar pública)
• Unity Catalog está en disponibilidad general
• Delta Sharing está en disponibilidad general

Photon tiene disponibilidad general

Photon ya está disponible con carácter general, a partir de Databricks Runtime 11.1. Photon es el motor nativo vectorizado de consultas en Azure Databricks, escrito para ser directamente compatible con las API de Apache Spark, por lo que funciona con el código existente. Photon se ha desarrollado en C++ para aprovechar el hardware moderno y usa las técnicas más recientes en el procesamiento vectorizado de consultas para aprovechar el paralelismo de nivel de datos e instrucciones en las CPU, lo que mejora el rendimiento de los datos y las aplicaciones reales, todo ello de forma nativa en el lago de datos.

Photon forma parte de un entorno de ejecución de alto rendimiento que ejecuta las llamadas API SQL y DataFrame existentes más rápidamente y reduce el coste total por carga de trabajo. Photon se usa de forma predeterminada en los almacenes de Databricks SQL.

Entre las nuevas características y mejoras se incluyen las siguientes:

• Nuevo operador de ordenación vectorial
• Nuevas funciones de ventana vectorial
• Nuevos tipos y tamaños de instancia en todas las nubes

Limitaciones:

• Photon no admite UDF de Scala/Python
• Photon no admite RDD
• Photon no admite el streaming estructurado

Para más información, consulte los siguientes anuncios de Photon.

Photon: Nuevo operador de ordenación vectorial

Photon ahora admite una ordenación vectorial para cuando una consulta contiene SORT_BY, CLUSTER_BY o una función de ventana con ORDER BY.

Limitaciones: Photon no admite una cláusula ORDER BY global. Las ordenaciones para la evaluación de ventanas se harán con Photon, pero la ordenación global seguirá ejecutándose en Spark.

Photon: Nuevas funciones de ventana vectorial

Photon ahora admite la evaluación de funciones de ventana vectorial para muchos tipos de marco y funciones. Las nuevas funciones de ventana incluyen: row_number, rank, dense_rank, lag, lead, percent_rank, ntile y nth_value. Tipos de marco de ventana admitidos: en ejecución (UNBOUNDED PRECEDING AND CURRENT ROW), sin enlazar (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING), en crecimiento (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING) y en reducción (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING).

Limitaciones:

• Photon solo admite versiones ROWS de todos los tipos de marco.
• Photon aún no admite el tipo de marco deslizante (<OFFSET> PRECEDING AND <OFFSET> FOLLOWING).

Photon: tipos de instancia admitidos

• dds_v5
• ds_v5
• eas_v4
• eds_v4
• eds_v5
• es_v5
• las_v3
• ls_v3

La fuente de distribución de datos modificados ahora puede controlar automáticamente las marcas de tiempo fuera del intervalo

La fuente de distribución de datos modificados (CDF) ahora tiene un nuevo modo para proporcionar marcas de tiempo o versiones anteriores a una versión de confirmación más reciente sin producir errores. Este modo está deshabilitado de forma predeterminada. Puede habilitarlo si establece la configuración spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled en true.

Al describir y mostrar las funciones SQL ahora se muestran los nombres de Unity Catalog en la salida (versión preliminar pública)

Los comandos DESC TABLE, DESC DATABASE, DESC SCHEMA, DESC NAMESPACE, DESC FUNCTION, EXPLAIN y SHOW CREATE TABLE ahora muestran siempre el nombre del catálogo en la salida.

Inferencia de esquemas y evolución para archivos Parquet en el cargador automático (versión preliminar pública)

El cargador automático ahora admite la inferencia y la evolución de esquemas en archivos Parquet. Al igual que los formatos JSON, CSV y Avro, ahora puede usar la columna de datos de rescate para rescatar datos inesperados que puedan aparecer en los archivos Parquet. Incluidos los datos que no se pueden analizar en el tipo de datos esperado, las columnas con uso de mayúsculas o minúsculas diferente o las columnas adicionales que no forman parte del esquema esperado. Puede configurar el cargador automático para que el esquema evolucione automáticamente al encontrar nuevas columnas agregadas en los datos entrantes. Consulte Configuración de inferencia y evolución de esquemas en Auto Loader.

Ahora Auto Loader admite la evolución del esquema para Avro (GA)

Consulte Configuración de inferencia y evolución de esquemas en Auto Loader.

Compatibilidad de Delta Lake con las sobrescrituras de particiones dinámicas

Delta Lake ahora habilita el modo de sobrescritura de dinámica de particiones para sobrescribir todos los datos existentes en cada partición lógica para la que la escritura va a confirmar los nuevos datos. Consulte Sobrescritura de datos de forma selectiva con Delta Lake.

Compatibilidad del esquema de información con objetos creados en Unity Catalog

El esquema de información proporciona una API basada en SQL que describe automáticamente a los metadatos de varios objetos de base de datos, incluidas tablas y vistas, restricciones y rutinas. Dentro del esquema de información se encuentra un conjunto de vistas que describen los objetos conocidos del catálogo del esquema que tiene permiso para ver. El esquema de información del catálogo SYSTEM devuelve información sobre los objetos de todos los catálogos del metastore. Consulte Esquema de información.

Restricciones informativas en tablas de Delta Lake con Unity Catalog (versión preliminar pública)

Ahora puede definir restricciones de clave principal informativa y clave externa en tablas de Delta Lake con Unity Catalog. No se aplican restricciones informativas. Consulte Cláusula CONSTRAINT.

Unity Catalog está en disponibilidad general

A partir de Databricks Runtime 11.1, Unity Catalog ya está disponible con carácter general. Consulte ¿Qué es Unity Catalog?

Delta Sharing está en disponibilidad general

A partir de Databricks Runtime 11.1, Delta Sharing ya está disponible con carácter general.

Databricks-to-Databricks Delta Sharing se administra completamente sin necesidad de intercambiar tokens. Puede crear y administrar proveedores, destinatarios y recursos compartidos en la interfaz de usuario o bien con las API de REST y SQL.

Entre las características se incluyen la restricción del acceso a los destinatarios, la consulta de datos con listas de acceso IP, restricciones de regiones y la delegación de la administración de Delta Sharing a aquellos que no son administradores. También puede consultar los cambios en los datos o compartir versiones incrementales con fuentes de distribución de datos modificados. Vea ¿Qué es Delta Sharing?.

Cambios de comportamiento

Redacción de propiedades confidenciales para DESCRIBE TABLE y SHOW TABLE PROPERTIES

Las propiedades confidenciales se redactan en DataFrames y la salida de los DESCRIBE TABLE comandos y SHOW TABLE PROPERTIES .

Los clústeres de trabajo tienen como valor predeterminado el modo de acceso de usuario único con Databricks Runtime 11.1 y versiones posteriores

Para ser compatibles con el catálogo de Unity, los clústeres de trabajo que usan Databricks Runtime 11.1 y versiones posteriores creados a través de la interfaz de usuario de trabajos o la API de trabajos tendrán como valor predeterminado el modo de acceso de usuario único. El modo de acceso de usuario único admite la mayoría de los lenguajes de programación, las características del clúster y las características de gobernanza de datos. Todavía puede configurar el modo de acceso compartido a través de la interfaz de usuario o la API, pero es posible que los idiomas o características estén limitados.

Actualizaciones de bibliotecas

• Bibliotecas de Python actualizadas:
  • filelock de 3.6.0 a 3.7.1
  • plotly: de 5.6.0 a 5.8.2
  • protobuf de 3.20.1 a 4.21.2
• Bibliotecas de R actualizadas:
  • chron de 2.3-56 a 2.3-57
  • DBI de 1.1.2 a 1.1.3
  • dbplyr de 2.1.1 a 2.2.0
  • e1071 de 1.7-9 a 1.7-11
  • future de 1.25.0 a 1.26.1
  • globales de 0.14.0 a 0.15.1
  • hardhat de 0.2.0 a 1.1.0
  • ipred de 0.9-12 a 0.9-13
  • openssl de 2.0.0 a 2.0.2
  • parallelly de 1.31.1 a 1.32.0
  • processx de 3.5.3 a 3.6.1
  • progressr de 0.10.0 a 0.10.1
  • proxy de 0.4-26 a 0.4-27
  • ps de 1.7.0 a 1.7.1
  • randomForest de 4.7-1 a 4.7-1.1
  • roxygen2 de 7.1.2 a 7.2.0
  • Rserve de 1.8-10 a 1.8-11
  • RSQLite de 2.2.13 a 2.2.14
  • sparklyr de 1.7.5 a 1.7.7
  • tinytex de 0.38 a 0.40
  • usethis de 2.1.5 a 2.1.6
  • xfun de 0.30 a 0.31
• Bibliotecas de Java actualizadas:
  • io.delta.delta-sharing-spark_2.12 de 0.4.0 a 0.5.0

Apache Spark

Databricks Runtime 11.2 incluye Apache Spark 3.3.0. Esta versión incluye todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 11.1 (EoS), junto con las siguientes correcciones de errores y mejoras de Spark:

• [SPARK-40054] [SQL] Restauración de la sintaxis de control de errores de try_cast()
• [SPARK-39489] [CORE] Mejora del rendimiento de JsonProtocol del registro de eventos mediante Jackson en lugar de Json4s
• [SPARK-39319] [CORE][SQL] Creación de contextos de consulta como parte de SparkThrowable
• [SPARK-40085] [SQL] Uso de la clase de error INTERNAL_ERROR en lugar de IllegalStateException para indicar errores
• [SPARK-40001] [SQL] Hacer que las escrituras NULL en columnas DEFAULT de JSON escriban "null" en el almacenamiento
• [SPARK-39635] [SQL] Compatibilidad con métricas de controladores en la API de métricas personalizadas de DS v2
• [SPARK-39184] [SQL] Control de la matriz de resultados infradimensionada en secuencias de fecha y marca de tiempo
• [SPARK-40019] [SQL] Refactorización del comentario de containsNull de ArrayType y refactorización de las lógicas de malentendido en la expresión de collectionOperator sobre containsNull
• [SPARK-39989] [SQL] Compatibilidad con estadísticas de columna de estimación si es una expresión plegable
• [SPARK-39926] [SQL] Corrección de errores en la compatibilidad con la columna DEFAULT para exámenes de Parquet no vectorizados
• [SPARK-40052] [SQL] Control de búferes de bytes directos en VectorizedDeltaBinaryPackedReader
• [SPARK-40044] [SQL] Corrección del tipo de intervalo de destino en errores de desbordamiento de conversión
• [SPARK-39835] [SQL] Corrección de EliminateSorts de eliminación de la ordenación global debajo de la ordenación local
• [SPARK-40002] [SQL] No insertar el límite a través de la ventana mediante ntiles
• [SPARK-39976] [SQL] ArrayIntersect debe controlar null en la primera expresión correctamente
• [SPARK-39985] [SQL] Habilitación de valores de columna DEFAULT implícitos en inserciones de DataFrames
• [SPARK-39776] [SQL] La cadena detallada JOIN debe agregar el tipo Join
• [SPARK-38901] [SQL] DS V2 admite la delegación de las funciones misc
• [SPARK-40028] [SQL] [Seguimiento] Mejora de ejemplos de funciones de cadena
• [SPARK-39983] [CORE] [SQL] No almacenar en caché las relaciones de difusión no serializadas en el controlador
• [SPARK-39812] [SQL] Simplificación del código que construye AggregateExpression con toAggregateExpression
• [SPARK-40028] [SQL] Adición de ejemplos binarios para expresiones de cadena
• [SPARK-39981] [SQL] Se produce la excepción QueryExecutionErrors.castingCauseOverflowErrorInTableInsert en Cast
• [SPARK-40007] [PYTHON] [SQL] Adición de "mode" a las funciones
• [SPARK-40008] [SQL] Compatibilidad con la conversión de enteros a intervalos ANSI
• [SPARK-40003] [PYTHON] [SQL] Adición de "median" a las funciones
• [SPARK-39952] [SQL] SaveIntoDataSourceCommand debe volver a almacenar en caché la relación de resultados
• [SPARK-39951] [SQL] Actualización de la comprobación de columnas Parquet V2 para campos anidados
• [SPARK-39775] [CORE] [AVRO] Deshabilitación de la validación de valores predeterminados al analizar esquemas de Avro
• [SPARK-33236] [shuffle] Portabilidad con versión anterior de DBR 11.x: Habilitar el servicio Shuffle basado en inserciones para almacenar el estado en la BD de nivel NM para reinicio con conservación del trabajo
• [SPARK-39836] [SQL] Simplificación de V2ExpressionBuilder mediante el método común
• [SPARK-39867] [SQL] El límite global no debe heredar OrderPreservingUnaryNode
• [SPARK-39873] [SQL] Quitar OptimizeLimitZero y combinarlo en EliminateLimits
• [SPARK-39961] [SQL] DS V2 delega la traducción de Cast si la conversión es segura
• [SPARK-39872] [SQL] Cambio para usar BytePackerForLong#unpack8Values con la API de entrada de matriz en VectorizedDeltaBinaryPackedReader
• [SPARK-39858] [SQL] Eliminación de AliasHelper o PredicateHelper innecesarios para algunas reglas
• [SPARK-39962] [WARMFIX] [ES-393486][PYTHON] [SQL] Aplicación de proyección cuando los atributos de grupo están vacíos
• [SPARK-39900] [SQL] Condición parcial o negada de dirección en el predicado de delegación de formato binario
• [SPARK-39904] [SQL] Cambio de nombre de inferDate a prefersDate y aclaración de la semántica de la opción en el origen de datos CSV
• [SPARK-39958] [SQL] Adición del registro de advertencias cuando no se puede cargar el objeto de métrica personalizado
• [SPARK-39936] [SQL] Almacenamiento del esquema en las propiedades de las vistas de Spark
• [SPARK-39932] [SQL] WindowExec debe borrar el búfer de partición final
• [SPARK-37194] [SQL] Evitar la ordenación innecesaria en la escritura v1 si no es una partición dinámica
• [SPARK-39902] [SQL] Adición de detalles del examen al nodo de examen del plan de Spark en SparkUI
• [SPARK-39865] [SQL] Mostrar mensajes de error adecuados en los errores de desbordamiento de la inserción de tabla
• [SPARK-39940] [SS] Actualización de la tabla de catálogo en la consulta de streaming con el receptor DSv1
• [SPARK-39827] [SQL] Uso de la clase de error ARITHMETIC_OVERFLOW en desbordamiento de int en add_months()
• [SPARK-39914] [SQL] Adición de filtro de DS V2 a la conversión de filtro V1
• [SPARK-39857] [SQL] Portabilidad manual con la versión anterior de DBR 11.x: V2ExpressionBuilder usa el tipo de datos LiteralValue incorrecto para el predicado In 43454
• [SPARK-39840] [SQL] [PYTHON] Exclusión de PythonArrowInput como simetría para PythonArrowOutput
• [SPARK-39651] [SQL] Eliminación de la condición de filtro si la comparación con rand es determinista
• [SPARK-39877] [PYTHON] Adición de anulación de dinamización a la API de DataFrame de PySpark
• [SPARK-39847] [WARMFIX] [SS] Corrección de la condición de carrera en RocksDBLoader.loadLibrary() si se interrumpe el subproceso del autor de la llamada
• [SPARK-39909] [SQL] Organizar la comprobación de la información de inserción para JDBCV2Suite
• [SPARK-39834] [SQL] [SS] Incluir las estadísticas y restricciones de origen para LogicalRDD si procede de DataFrame
• [SPARK-39849] [SQL] Dataset.as(StructType) rellena las nuevas columnas que faltan con un valor NULL
• [SPARK-39860] [SQL] Más expresiones deberían extender Predicate
• [SPARK-39823] [SQL] [PYTHON] Cambio de nombre de Dataset.as como Dataset.to y adición de DataFrame.to en PySpark
• [SPARK-39918] [SQL] [MINOR] Reemplazo de la palabra "un-comparable" por "incomparable" en el mensaje de error
• [SPARK-39857] [SQL] [3.3] V2ExpressionBuilder usa el tipo de datos LiteralValue incorrecto para el predicado In
• [SPARK-39862] [SQL] Portabilidad manual con versiones anteriores para PR 43654 con destino en DBR 11.x: Actualizar SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS para permitir o denegar los comandos ALTER TABLE… ADD COLUMN por separado.
• [SPARK-39844] [SQL] Portabilidad manual con versiones anteriores para PR 43652 con destino en DBR 11.x
• [SPARK-39899] [SQL] Corrección del paso de parámetros de mensaje a InvalidUDFClassException
• [SPARK-39890] [SQL] Hacer que TakeOrderedAndProjectExec herede AliasAwareOutputOrdering
• [SPARK-39809] [PYTHON] Compatibilidad con CharType en PySpark
• [SPARK-38864] [SQL] Adición de unpivot/melt al conjunto de datos
• [SPARK-39864] [SQL] Registro diferido de ExecutionListenerBus
• [SPARK-39808] [SQL] Compatibilidad con la función de agregado MODE
• [SPARK-39839] [SQL] Control del caso especial de decimales de longitud variable null con offsetAndSize distinto de cero en la comprobación de integridad estructural UnsafeRow
• [SPARK-39875] [SQL] Cambio de método protected en la clase final a private o package-visible
• [SPARK-39731] [SQL] Corrección del problema en los orígenes de datos CSV y JSON cuando se analicen fechas en formato "yyyyMMdd" con la directiva de analizador de hora CORREGIDA
• [SPARK-39805] [SS] Desuso de Trigger.Once e inclusión de Trigger.AvailableNow
• [SPARK-39784] [SQL] Colocar los valores literales en el lado derecho del filtro del origen de datos después de traducir la expresión de Catalyst al filtro de origen de datos
• [SPARK-39672] [SQL] [3.1] Corrección de la eliminación del proyecto antes del filtro con subconsulta correlacionada
• [SPARK-39552] [SQL] Unify v1 y v2 DESCRIBE TABLE
• [SPARK-39806] [SQL] El acceso a _metadata en una tabla con particiones puede bloquear una consulta
• [SPARK-39810] [SQL] Catalog.tableExists debe controlar el espacio de nombres anidado
• [SPARK-37287] [SQL] Extraer la partición dinámica y la ordenación de cubos de FileFormatWriter
• [SPARK-39469] [SQL] Inferencia del tipo de fecha para la inferencia de esquema CSV
• [SPARK-39148] [SQL] La inserción de agregado de DS V2 puede funcionar con OFFSET o LIMIT
• [SPARK-39818] [SQL] Corrección del error en los tipos ARRAY, STRUCT, MAP con valores DEFAULT con campos NULL
• [SPARK-39792] [SQL] Adición de DecimalDivideWithOverflowCheck para el promedio decimal
• [SPARK-39798] [SQL] Sustitución de toSeq.toArray por .toArray[Any] en el constructor de GenericArrayData
• [SPARK-39759] [SQL] Implementación de listIndexes en JDBC (dialecto H2)
• [SPARK-39385] [SQL] Admite la inserción REGR_AVGX y REGR_AVGY
• [SPARK-39787] [SQL] Uso de la clase de error en el error de análisis de la función to_timestamp
• [SPARK-39760] [PYTHON] Compatibilidad con Varchar en PySpark
• [SPARK-39557] [SQL] Compatibilidad manual con la versión anterior de DBR 11.x: Compatibilidad con los tipos ARRAY, STRUCT y MAP como valores predeterminados
• [SPARK-39758] [SQL] [3.3] Corrección de NPE desde las funciones regexp en patrones no válidos
• [SPARK-39749] [SQL] Modo SQL ANSI: usar la representación de cadena sin formato en la conversión decimal a cadena
• [SPARK-39704] [SQL] Implementación de createIndex dropIndex indexExists en JDBC (dialecto H2)
• [SPARK-39803][SQL] Uso de LevenshteinDistance en lugar de StringUtils.getLevenshteinDistance
• [SPARK-39339] [SQL] Compatibilidad con el tipo TimestampNTZ en el origen del archivo de JDBC
• [SPARK-39781] [SS] Se ha agregado compatibilidad para proporcionar max_open_files al proveedor de almacenes de estado de rocksdb
• [SPARK-39719] [R] Implementación de databaseExists/getDatabase de SparkR admitan espacios de nombres de 3 capas
• [SPARK-39751] [SQL] Cambio de nombre de la métrica de sondeos de clave de agregado hash
• [SPARK-39772] [SQL] El espacio de nombres debe ser NULL cuando la base de datos es null en los constructores antiguos
• [SPARK-39625] [SPARK-38904] [SQL] Adición de Dataset.as(StructType)
• [SPARK-39384] [SQL] Compilación de funciones de agregado de regresión lineal integradas para el dialecto JDBC
• [SPARK-39720] [R] Implementación de tableExists/getTable de SparkR para espacios de nombres de 3 capas
• [SPARK-39744] [SQL] Adición de la función REGEXP_INSTR
• [SPARK-39716] [R] Hacer que currentDatabase/setCurrentDatabase/listCatalogs en SparkR admitan espacios de nombres de 3 capas
• [SPARK-39788] [SQL] Cambio de nombre de catalogName a dialectName para JdbcUtils
• [SPARK-39647] [CORE] Registro del ejecutor con ESS antes de registrar BlockManager
• [SPARK-39754] [CORE] [SQL] Eliminación de import sin usar o {} innecesario
• [SPARK-39706] [SQL] Definición de la columna que falta con defaultValue como constante en ParquetColumnVector
• [SPARK-39699] [SQL] Hacer que CollapseProject sea más inteligente para las expresiones de creación de colecciones
• [SPARK-39737] [SQL] PERCENTILE_CONT y PERCENTILE_DISC debe admitir el filtro de agregado
• [SPARK-39579] [SQL][PYTHON][R] Hacer que ListFunctions/getFunction/functionExists sea compatible con el espacio de nombres de 3 capas
• [SPARK-39627] [SQL] La delegación JDBC V2 debe unificar la API de compilación
• [SPARK-39748] [SQL] [SS] Incluir el plan lógico de origen para LogicalRDD si procede de DataFrame
• [SPARK-39385] [SQL] Traducción de funciones de agregado de regresión lineal para la delegación
• [SPARK-39695] [SQL] Adición de la función REGEXP_SUBSTR
• [SPARK-39667] [SQL] Adición de otra solución alternativa cuando no haya suficiente memoria para compilar y difundir la tabla
• [SPARK-39666] [ES-337834] [SQL] Uso de UnsafeProjection.create para respetar spark.sql.codegen.factoryMode en ExpressionEncoder
• [SPARK-39643] [SQL] Prohibir expresiones de subconsulta en valores predeterminados
• [SPARK-38647] [SQL] Adición de la combinación SupportsReportOrdering en la interfaz para Scan (DataSourceV2)
• [SPARK-39497][SQL] Mejora de la excepción de análisis de la columna de clave de asignación que falta
• [SPARK-39661] [SQL] Evitar crear el registrador de SLF4J innecesario
• [SPARK-39713] [SQL] Modo ANSI: agregar sugerencia de uso de try_element_at para el error INVALID_ARRAY_INDEX
• [SPARK-38899] [SQL] DS V2 admite la delegación de las funciones de fecha y hora
• [SPARK-39638] [SQL] Cambio para usar ConstantColumnVector para almacenar columnas de partición en OrcColumnarBatchReader
• [SPARK-39653] [SQL] Limpieza de ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) de ColumnVectorUtils
• [SPARK-39231] [SQL] Uso de ConstantColumnVector en lugar de On/OffHeapColumnVector para almacenar columnas de partición en VectorizedParquetRecordReader
• [SPARK-39547] [SQL] V2SessionCatalog no debe iniciar NoSuchDatabaseException en loadNamspaceMetadata
• [SPARK-39447] [SQL] Evitar assertionError en AdaptiveSparkPlanExec.doExecuteBroadcast
• [SPARK-39492] [SQL] Reprocesar MISSING_COLUMN
• [SPARK-39679] [SQL] TakeOrderedAndProjectExec debe respetar el orden de salida secundario
• [SPARK-39606] [SQL] Uso de estadísticas secundarias para calcular el operador de orden
• [SPARK-39611] [PYTHON] [PS] Corrección de alias incorrectos en array_ufunc
• [SPARK-39656] [SQL] [3.3] Corrección de un espacio de nombres incorrecto en DescribeNamespaceExec
• [SPARK-39675] [SQL] Cambio de configuración "spark.sql.codegen.factoryMode" de propósito de prueba a propósito interno
• [SPARK-39139] [SQL] DS V2 admite la delegación de DS V2 UDF
• [SPARK-39434][SQL] Proporcionar contexto de consulta de error en tiempo de ejecución cuando el índice de matriz está fuera del límite
• [SPARK-39479] [SQL] DS V2 admite la delegación de funciones matemáticas (no ANSI)
• [SPARK-39618] [SQL] Adición de la función REGEXP_COUNT
• [SPARK-39553] [CORE] El orden aleatorio de varios subprocesos no debe iniciar NPE al usar Scala 2.13
• [SPARK-38755] [PYTHON] [3.3] Adición de un archivo para abordar las funciones generales de Pandas que faltan
• [SPARK-39444] [SQL] Adición de OptimizeSubqueries a la lista nonExcludableRules
• [SPARK-39316] [SQL] Combinación de PromotePrecision y CheckOverflow en aritmética binaria decimal
• [SPARK-39505] [UI] Contenido de registro de escape representado en la interfaz de usuario
• [SPARK-39448] [SQL] Adición de ReplaceCTERefWithRepartition a la lista nonExcludableRules
• [SPARK-37961] [SQL] Invalidación de maxRows/maxRowsPerPartition para algunos operadores lógicos
• [SPARK-35223] Reversión de adición de IssueNavigationLink
• [SPARK-39633] [SQL] Compatibilidad con marca de tiempo en segundos para TimeTravel mediante opciones de trama de datos
• [SPARK-38796] [SQL] Documentación de actualización de cadenas de formato numérico con las funciones {try_}to_number
• [SPARK-39650] [SS] Corrección del esquema de valores incorrecto en la desduplicación de streaming con compatibilidad con versiones anteriores
• [SPARK-39636] [CORE] [UI] Corrección de varios errores en JsonProtocol, lo que afecta al montón StorageLevels y Task/Executor ResourceRequests
• [SPARK-39432] [SQL] Devuelve ELEMENT_AT_BY_INDEX_ZERO desde element_at(*, 0)
• [SPARK-39349] Adición de un método CheckError centralizado para QA de ruta de acceso de error
• [SPARK-39453] [SQL] DS V2 admite la delegación de funciones no de agregado misc (no ANSI)
• [SPARK-38978] [SQL] DS V2 admite la delegación del operador OFFSET
• [SPARK-39567] [SQL] Compatibilidad con intervalos ANSI en las funciones de percentil
• [SPARK-39383] [SQL] Compatibilidad con columnas DEFAULT en ALTER TABLE ALTER COLUMNS en orígenes de datos V2
• [SPARK-39396] [SQL] Corrección de la excepción de inicio de sesión LDAP: código de error 49- credenciales no válidas
• [SPARK-39548] [SQL] Comando CreateView con una consulta de cláusula de ventana da un problema de definición de ventana errónea no encontrada
• [SPARK-39575][AVRO] agregar ByteBuffer#rewind después de ByteBuffer#get en Avr…
• [SPARK-39543] La opción de DataFrameWriterV2 debe pasarse a las propiedades de almacenamiento si se revierte a v1
• [SPARK-39564] [SS] Exposición de la información de la tabla de catálogo al plan lógico en la consulta de streaming.
• [SPARK-39582] [SQL] Corrección del marcador "Since" para array_agg
• [SPARK-39388] [SQL] Reutilización de orcSchema al delegar predicados Orc
• [SPARK-39511] [SQL] Mejora del límite 1 local para el lado derecho de la semi/anti combinación izquierda si la condición de combinación está vacía
• [SPARK-38614] [SQL] No delegar el límite a través de la ventana que usa percent_rank
• [SPARK-39551] [SQL] Adición de la comprobación de planes no válidos de AQE
• [SPARK-39383] [SQL] Compatibilidad con columnas DEFAULT en ALTER TABLE ADD COLUMNS en orígenes de datos V2
• [SPARK-39538] [SQL] Evitar crear el registrador de SLF4J innecesario
• [SPARK-39383] [SQL] Compatibilidad manual con la versión anterior de DBR 11.x: Refactorización con la compatibilidad con la columna DEFAULT para omitir el paso del analizador principal
• [SPARK-39397] [SQL] Relajación de AliasAwareOutputExpression para admitir alias con expresión
• [SPARK-39496] [SQL] Controlar la estructura null en Inline.eval
• [SPARK-39545] [SQL] Invalidación del método concat para ExpressionSet en Scala 2.13 para mejorar el rendimiento
• [SPARK-39340] [SQL] La delegación de agregado de DS v2 debe permitir puntos en el nombre de las columnas de nivel superior
• [SPARK-39488] [SQL] Simplificación del control de errores de TempResolvedColumn
• [SPARK-38846] [SQL] Adición de la asignación de datos explícita entre el tipo numérico de Teradata y DecimalType de Spark
• [SPARK-39520] [SQL] Invalidación del método -- para ExpressionSet en Scala 2.13
• [SPARK-39470] [SQL] Compatibilidad con la conversión de intervalos ANSI a decimales
• [SPARK-39477] [SQL] Quitar la información "Número de consultas" de los archivos dorados de SQLQueryTestSuite
• [SPARK-39419] [SQL] Se ha corregido el elemento ArraySort para que produzca una excepción si el comparador devuelve un valor nulo
• [SPARK-39061] [SQL] Establecimiento correcto de valores NULL para atributos de salida Inline
• [SPARK-39320] [SQL] Compatibilidad con la función de agregado MEDIAN
• [SPARK-39261] [CORE] Mejora del formato de nueva línea para los mensajes de error
• [SPARK-39355] [SQL] Una sola columna usa comillas para construir UnresolvedAttribute
• [SPARK-39351] [SQL] SHOW CREATE TABLE debe censurar las propiedades
• [SPARK-37623] [SQL] Compatibilidad con la función de agregado ANSI: regr_intercept
• [SPARK-39374] [SQL] Mejora del mensaje de error para la lista de columnas especificada por el usuario
• [SPARK-39255] [SQL] [3.3] Mejorar los mensajes de error
• [SPARK-39321] [SQL] Refactorización de TryCast para usar RuntimeReplaceable
• [SPARK-39406] [PYTHON] Aceptar matriz NumPy en createDataFrame
• [SPARK-39267] [SQL] Limpieza de símbolos innecesarios de dsl
• [SPARK-39171] [SQL] Unificar la expresión Cast
• [SPARK-28330] [SQL] Compatibilidad con ANSI SQL: cláusula de desplazamiento de resultados en la expresión de consulta
• [SPARK-39203] [SQL] Reescribir la ubicación de la tabla en un URI absoluto basado en el URI de la base de datos
• [SPARK-39313] [SQL] toCatalystOrdering debe producir un error si no se puede traducir V2Expression
• [SPARK-39301] [SQL] [PYTHON] Aprovechar LocalRelation y respetar el tamaño del lote de Arrow en createDataFrame con optimización de Arrow
• [SPARK-39400] [SQL] spark-sql debe quitar el dir de recursos de Hive en todos los casos

Actualizaciones de mantenimiento

Consulte las actualizaciones de mantenimiento de Databricks Runtime 11.1.

Entorno del sistema

• Sistema operativo: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.1.3
• Delta Lake: 1.2.1

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN desde el 15-08-2022.

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)