Databricks Runtime 14.2 (EoS)

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 14.2, на базе Apache Spark 3.5.0.

Databricks выпустила эту версию в ноябре 2023 года.

Новые функции и внесенные улучшения

• CACHE SELECT Теперь игнорируется
• Улучшенное поведение кэширования
• Исправлена обработка поврежденных файлов в командах DML
• Поддержка реестра схем для связанных функций protobuf и Avro в общих кластерах
• foreachBatch и StreamingListener поддержка
• Параллелизм на уровне строк по умолчанию доступен и включен по умолчанию
• Разностный общий доступ: получатели могут выполнять пакетные, CDF и потоковые запросы к общим таблицам с векторами удаления (общедоступная предварительная версия)
• Неглубокий клон для внешних таблиц каталога Unity (общедоступная предварительная версия)
• Новый алгоритм кэширования дисков
• from_avro с соединителем реестра схем добавляет поддержку эволюции схемы
• Быстрая сбор статистики с несколькими потоками
• Фильтры pushdown в разностных файлах DeltaSource
• Поддержка скалярных пользовательских функций Scala в общих кластерах (общедоступная предварительная версия)

CACHE SELECT Теперь игнорируется

Теперь команда CACHE SELECT SQL игнорируется в пользу улучшенного алгоритма кэширования. Дополнительные сведения см. в статье Оптимизация производительности с помощью кэширования в Azure Databricks.

Улучшенное поведение кэширования

Размещение DiskCache планировщиком Spark теперь имеет более быстрое назначение секций, улучшенную балансировку во время автомасштабирования кластера и более согласованное выполнение запросов.

Исправлена обработка поврежденных файлов в командах DML

Команды DELETEUPDATEDML и MERGE INTO больше не учитывают параметры ignoreCorruptFiles чтения иignoreMissingFiles. При обнаружении непрочитанного файла в таблице эти команды теперь завершаются ошибкой, даже если эти параметры указаны.

Поддержка реестра схем для связанных функций protobuf и Avro в общих кластерах

Теперь можно использовать функции , и to_avrofrom_protobufto_protobuf Python с реестром from_avroсхем в общих кластерах.

foreachBatch и StreamingListener поддержка

Теперь вы можете использовать foreachBatch() ИНТЕРФЕЙСы API с StreamingListener структурированной потоковой передачей в общих кластерах. См. раздел "Использование foreachBatch для записи в произвольные приемники данных и запросы структурированной потоковой передачи мониторинга" в Azure Databricks.

Параллелизм на уровне строк по умолчанию доступен и включен по умолчанию

Параллелизм на уровне строк уменьшает конфликты между параллельными операциями записи, обнаруживая изменения на уровне строк. Параллелизм на уровне строк поддерживается только в таблицах без секционирования, включая таблицы с отказоустойчивой кластеризностью. Параллелизм на уровне строк включен по умолчанию в разностных таблицах с включенными векторами удаления. См. статью "Конфликты записи с параллелизмом на уровне строк".

Разностный общий доступ: получатели могут выполнять пакетные, CDF и потоковые запросы к общим таблицам с векторами удаления (общедоступная предварительная версия)

Получатели разностного общего доступа теперь могут выполнять пакетные запросы, CDF и потоковой передачи в общих таблицах, использующих векторы удаления. В Databricks Runtime 14.1 они могут выполнять только пакетные запросы. См. статью "Добавление таблиц с векторами удаления или сопоставлением столбцов в общую папку", "Чтение таблиц с включенными векторами удаления" или "Сопоставление столбцов" и "Чтение таблиц" с включенными векторами удаления или сопоставлением столбцов.

Неглубокий клон для внешних таблиц каталога Unity (общедоступная предварительная версия)

Теперь можно использовать неглубокий клон с внешними таблицами каталога Unity. См . раздел "Мелкий клон" для таблиц каталога Unity.

Новый алгоритм кэширования дисков

Планировщик Spark теперь использует новый алгоритм кэширования дисков. Алгоритм улучшает использование дисков и назначение секций между узлами с более быстрым назначением как первоначально, так и после событий масштабирования кластера. Назначение кэша стикеров повышает согласованность между запусками и уменьшает объем данных, перемещающихся во время операций повторной балансировки.

from_avro с соединителем реестра схем добавляет поддержку эволюции схемы

Теперь можно включить перезапуск конвейеров при обнаружении измененных записей. Ранее, если с соединителем произошла from_avro эволюция схемы, будут возвращены nullновые столбцы. См. статью "Чтение и запись потоковых данных Avro".

Быстрая сбор статистики с несколькими потоками

Сбор статистики составляет до 10 раз быстрее при выполнении преобразования В DELTA или клонирования из таблиц Iceberg и Parquet. См. таблицы Convert to Delta Lake и Clone Parquet и Iceberg.

Фильтры pushdown в разностных файлах DeltaSource

Для повышения использования фильтры секций в запросах потоковой передачи разностных таблиц теперь отправляются в Delta до ограничения скорости.

Поддержка скалярных пользовательских функций Scala в общих кластерах (общедоступная предварительная версия)

Теперь вы можете использовать скалярные пользовательские функции Scala в кластерах с поддержкой каталога Unity, настроенных в режиме общего доступа. См . раздел "Определяемые пользователем скалярные функции " Scala".

Обновления библиотек

• Обновленные библиотеки Python:
  • fastjsonschema от 2.18.0 до 2.19.0
  • блокировка файлов от 3.12.3 до 3.12.4
  • googleapis-common-protos с 1.60.0 до 1.61.0
• Обновленные библиотеки R:
• Обновленные библиотеки Java:

Apache Spark

Databricks Runtime 14.2 включает Apache Spark 3.5.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 14.1, а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-45592] [DBRRM-624] Вернуть значение "[SC-146977][SQL] Ошибка правильности в AQE с InMemoryTableScanExec"
• [SPARK-45524] [DBRRM-625] Возврат "[SC-146319][PYTHON][SQL] Начальная поддержка f...
• [SPARK-45433] [DBRRM-621] Возврат "[SC-145163][SQL] Исправление схемы CSV/JSON...
• [SPARK-45592] [SC-146977][SQL] Проблема с правильностью в AQE с InMemoryTableScanExec
• [SPARK-45354] Возврат "[SC-143991][SQL] Разрешить функции внизу"
• [SPARK-45680] [TEST-ONLY][SASP-2347][CONNECT] Исправление тестов
• [SPARK-45680] [CONNECT] Сеанс выпуска
• [SPARK-43380] [SC-146726][ES-897115][SQL] Исправление замедления чтения Avro
• [SPARK-45649] [SC-146742][SQL] Объединение платформы подготовки для OffsetWindowFunctionFrame
• [SPARK-40820] [SC-146727][PYTHON][SQL] Создание StructType из Json
• [SPARK-45620] [SC-146225][PYTHON] Исправлены ИНТЕРФЕЙСы API для пользователей, связанные с UDTF Python для использования верблюдьего Регистра
• [SPARK-45727] [SC-146978][SS] Удаление неиспользуемой карты в имитации распространения подложки
• [SPARK-45723] [SC-146890][PYTHON][CONNECT] Методы каталога избежать преобразования pandas
• [SPARK-45574] [SC-146106][SQL] Добавление :: синтаксис как сокращенный для приведения
• [SPARK-45670] [SC-146725][CORE][3.5] SparkSubmit не поддерживается --total-executor-cores при развертывании в K8s
• [SPARK-45661] [SC-146594][SQL][PYTHON] Добавление toNullable в StructType, MapType и ArrayType
• [SPARK-45524] [SC-146319][PYTHON][SQL] Начальная поддержка API чтения источника данных Python
• [SPARK-45542] [SC-145892][CORE] Замена setSafeMode(HdfsConstants.SafeModeAction, boolean) на setSafeMode(SafeModeAction, boolean)
• [SPARK-45652] [SC-146641][SQL] SPJ: обработка пустых входных секций после динамической фильтрации
• [SPARK-45454] [SC-144846][SQL] Задайте для владельца таблицы значение по умолчанию current_user
• [SPARK-45554] [SC-146875][PYTHON] Введение гибкого параметра в assertSchemaEqual
• [SPARK-45242] [SC-143410][SQL] Использование идентификатора кадра данных для семантической проверки метрик сбора
• [SPARK-45674] [SC-146862][CONNECT][PYTHON] Улучшение сообщения об ошибке для атрибутов, зависимых от JVM, в Spark Connect.
• [SPARK-45646] [SC-146276][SQL] Удаление переменных времени жесткого копирования до Hive 2.0
• [SPARK-43380] [SC-146726][ES-897115][SQL] Исправление замедления чтения Avro
• [SPARK-45545] [SC-146484][CORE] Передача SSLOptions везде, где мы создадим SparkTransportConf
• [SPARK-45641] [SC-146260][пользовательский интерфейс] Отображение времени начала приложения в AllJobsPage
• [SPARK-40154] [SC-146491][Python][Документация] Правильный уровень хранения в docstring dataframe.cache
• [SPARK-45626] [SC-146259][SQL] Преобразование _LEGACY_ERROR_TEMP_1055 в REQUIRES_SINGLE_PART_NAMESPACE
• [SPARK-45507] [SC-145900][SQL] Исправление правильности для вложенных скалярных вложенных запросов с агрегатами COUNT
• [SPARK-45619] [SC-146226][CONNECT][PYTHON] Применение наблюдаемых метрик к объекту "Наблюдение"
• [SPARK-45588] [SC-145909][PROTOBUF][CONNECT][ДОПОЛНИТЕЛЬНЫЙ] Улучшение Scaladoc для StreamingForeachBatchHelper
• [SPARK-45616] [SC-146120][CORE] Избегайте ParVector, который не распространяет ThreadLocals или SparkSession
• [SPARK-45604] [SC-146105][SQL] Добавление проверки логического типа на inT64 —> преобразование DateTime в векторизованного средства чтения Parquet
• [SPARK-44649] [SC-145891][SQL] Фильтр среды выполнения поддерживает передачу эквивалентных выражений на стороне создания
• [SPARK-41674] [SC-128408][SQL] Фильтр среды выполнения должен поддерживать сторону соединения с несколькими уровнями в качестве стороны создания фильтра
• [SPARK-45547] [SC-146228][ML] Проверка векторов с помощью встроенной функции
• [SPARK-45558] [SC-145890][SS] Введение файла метаданных для оператора потоковой передачи с отслеживанием состояния
• [SPARK-45618] [SC-146252][CORE] Удаление BaseErrorHandler
• [SPARK-45638] [SC-146251][SQL][Avro] Улучшение охвата тестов десятичного преобразования
• [SPARK-44837] [SC-146020][SQL] Изменение сообщения об ошибке ALTER TABLE ALTER PARTITION column
• [SPARK-45561] [SC-146264][SQL] Добавление правильных преобразований для TINYINT в MySQLDialect
• [SPARK-45632] [SC-146255][SQL] Кэш таблиц должен избегать ненужных ColumnarToRow при включении AQE
• [SPARK-45569] [SC-145932][SQL] Назначение имени _LEGACY_ERROR_TEMP_2152 ошибки
• [SPARK-44784] [SC-141015][CONNECT] Сделайте SBT тестирование герметично.
• [SPARK-45452] [SC-144836][SQL] Улучшение InMemoryFileIndex использования FileSystem.listFiles API
• [SPARK-44735] [SC-146186][SQL] Добавление предупреждений msg при вставке столбцов с тем же именем по строкам, которые не совпадают
• [SPARK-45351] [SC-144791][CORE] Изменение spark.shuffle.service.db.backend значения по умолчанию на ROCKSDB
• [SPARK-45553] [SC-145906][PS] Возражать assertPandasOnSparkEqual
• [SPARK-45613] [SC-146022][CORE] Предоставление детерминированногоLevel в качестве developerApi
• [SPARK-45549] [SC-145895][CORE] Удаление неиспользуемого numExistingExecutors в CoarseGrainedSchedulerBackend
• [SPARK-45609] [SC-146030][CONNECT] Включение SqlState в сообщение proto SparkThrowable
• [SPARK-45595] [SC-146037] предоставляет sqlstate в сообщении об ошибке
• [SPARK-45628] [SC-146123][ML] Улучшение vector_to_array для .mllib.linalg.SparseVector
• [SPARK-45009] [SC-145884][SQL][ДАЛЬНЕЙШИЕ ДЕЙСТВИЯ] Отключение декорреляций в условиях соединения для теста AQE InSubquery
• [SPARK-45576] [SC-145883][CORE] Удаление ненужных журналов отладки в ReloadingX509TrustManagerSuite
• [SPARK-45485] [SC-145719][CONNECT] Улучшения агента пользователя: используйте переменную env SPARK_CONNECT_USER_AGENT и включите определенные атрибуты среды.
• [SPARK-45508] [SC-145513][CORE] Добавьте "-add-open=java.base/jdk.internal.ref=ALL-UNNAMED", чтобы платформа может получить доступ к Более чистому методу на Java 9+
• [SPARK-45595] Возврат "[SC-146037] Предоставление SQLSTATE в сообщении об ошибке"
• [SPARK-45595] [SC-146037] Предоставление SQLSTATE в сообщении об ошибке
• [SPARK-45112] Вернуть "[SC-143259][SQL] Использовать неразрешенноеfunction ba...
• [SPARK-45257] [SC-143411][CORE] Включить spark.eventLog.compress по умолчанию
• [SPARK-45586] [SC-145899][SQL] Уменьшение задержки компилятора для планов с большими деревьями выражений
• [SPARK-45517] [SC-145691][CONNECT][14.x] Разверните дополнительные конструкторы исключений для поддержки параметров платформы ошибок
• [SPARK-45581] [SC-145896] Обязательно сделайте SQLSTATE обязательным.
• [SPARK-45427] [SC-145590][CORE] Добавление параметров SSL RPC в SSLOptions и SparkTransportConf
• [SPARK-45261] [SC-143357][CORE] Исправление EventLogFileWriters для обработки none в виде кодека
• [SPARK-45582] [SC-145897][SS] Убедитесь, что экземпляр хранилища не используется после вызова фиксации в режиме потоковой передачи потоковой передачи
• [SPARK-45562] [SC-145720][SC-144650][SQL] XML: сделать "rowTag" обязательным параметром
• [SPARK-45392] [SC-144362][CORE][SQL][SS] Замена Class.newInstance() на Class.getDeclaredConstructor().newInstance()
• [SPARK-45433] [SC-145163][SQL] Исправление вывода схемы CSV/JSON, если метки времени не соответствуют указанной метке времени
• [SPARK-45458] [SC-145011][SQL] Преобразование IllegalArgumentException в SparkIllegalArgumentException в bitwiseExpressions
• [SPARK-45564] [SC-145735][SQL] Упростите "DataFrameStatFunctions.bloomFilter" с выражением BloomFilterAggregate
• [SPARK-45566] [SC-1457777][PS] Поддержка таких тестов Pandas для API Pandas в Spark
• [SPARK-45498] [SC-145509][CORE] Дальнейшие действия. Пропустить завершение задачи со старого этапа...
• [SPARK-45483] [SC-145152][CONNECT] Исправьте группы функций в connect.functions
• [SPARK-45577] [SC-145781][PYTHON] Исправление UserDefinedPythonTableFunctionAnalyzeRunner для передачи сложенных значений из именованных аргументов
• [SPARK-45009] [SC-138223][ДАЛЬНЕЙШИЕ ДЕЙСТВИЯ] Отключение декорреляций в условиях соединения для AetherSQLQuerySuite
• [SPARK-45415] [SC-145344] Разрешить выборочное отключение "fallocate" в хранилище состояний RocksDB
• [SPARK-45500] [SC-145134][CORE][WEBUI] Отображение количества ненормально завершенных драйверов в MasterPage
• [SPARK-44120] [SC-144349][PYTHON] Поддержка Python 3.12
• [SPARK-45439] [SC-145589][SQL][пользовательский интерфейс] Уменьшение использования памяти LiveStageMetrics.accumIdsToMetricType
• [SPARK-45565] [SC-145717][пользовательский интерфейс] Ненужный цикл JSON.stringify и JSON.parse для списка задач на этапе
• [SPARK-45567] [SC-145718][CONNECT] Удалите избыточный файл, если в org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run
• [SPARK-45112] [SC-143259][SQL] Использование разрешения на основе неразрешенногоFunction в функциях набора данных SQL
• [SPARK-45486] [SASP-2457][SC-145612][CONNECT] Создание идемпотентного запроса add_artifact
• [SPARK-44913] [SC-144326][SQL] DS V2 поддерживает отправку UDF версии 2 с волшебным методом
• [SPARK-45538] [SC-145635][PYTHON][CONNECT]pyspark connect overwrite_partitions ошибка
• [SPARK-45491] [SC-145622] Добавление отсутствующих SQLSTATES 2/2
• [SPARK-45009] [SC-145620][SC-138223][SQL] Декорректные вложенные запросы предиката в условии соединения
• [SPARK-45377] [SC-144377][CORE] Обработка InputStream в NettyLogger
• [SPARK-45248] [SC-143759][CORE]Установка времени ожидания для сервера пользовательского интерфейса Spark
• [SPARK-44594] [SC-145611][SS] Удаление избыточного параметра метода в соединителе Kafka
• [SPARK-45539] [SC-145621][SS] Добавление утверждения и журнала для указания определения водяного знака требуется для запросов потоковой агрегирования в режиме добавления
• [SPARK-44262] [SC-145639][SQL] Добавление и getInsertStatement добавление dropTable в JdbcDialect
• [SPARK-45516] [SC-145480][CONNECT] Включение QueryContext в сообщение proto SparkThrowable
• [SPARK-45310] [SC-145127][CORE] Состояние блока перетасовки отчета должно учитывать службу перетасовки во время миграции из эксплуатации
• [SPARK-45521] [SC-145487][ML] Избегайте повторного вычисления nnz в VectorAssembler
• [SPARK-45418] [SC-145485][SQL][PYTHON][CONNECT] Измените псевдоним столбца current_database() на current_schema()
• [SPARK-45116] [SC-145142][SQL] Добавление некоторых комментариев для param JdbcDialect createTable
• [SPARK-45495] [SC-145529][ядро] Профиль ресурсов уровня поддержки для кластера k8s при отключении динамического выделения
• [SPARK-45487] [SC-145559] Исправление ошибок SQLSTATEs и временных ошибок
• [SPARK-45505] [SC-145550][PYTHON] Рефакторинг анализаInPython, чтобы сделать его повторно используемым
• [SPARK-45132] [SC-145425][SQL] Исправление ИДЕНТИФИКАТОРа вызова функции
• [SPARK-45213] [SC-145020][SQL] Назначение имени _LEGACY_ERROR_TEMP_2151 ошибки
• [SPARK-45416] [SC-145126][CONNECT] Согласованность результатов со стрелками
• [SPARK-45163] [SC-143386][SQL] Слияние UNSUPPORTED_VIEW_OPERATION & UNSUPPORTED_TABLE_OPERATION и устранение некоторых проблем
• [SPARK-45421] [SC-144814][SQL] Перехват AnalysisException по inlineCTE
• [SPARK-43664] [SC-145404][CONNECT][PS] Создание исключения для ps.sql объекта Pandas-on-Spark в Spark Connect.
• [SPARK-45402] [SC-145371][SQL][PYTHON] Добавление API UDTF для методов eval и "terminate" для использования предыдущего результата анализа
• [SPARK-36112] [SC-67885] [SQL] Поддержка сопоставленных запросов EXISTS и IN с помощью платформы DecorrelateInnerQuery
• [SPARK-45383] [SC-144929][SQL] Исправление сообщения об ошибке для перемещения по времени с не существующей таблицей
• [SPARK-43254] [SC-143318][SQL] Назначьте имя _LEGACY_ERROR_TEMP_2018 ошибки
• [SPARK-45204] [SC-145167][CONNECT] Добавление необязательного executeHolder в SparkConnectPlanner
• [SPARK-45451] [SC-145144][SQL] Настройка уровня хранилища набора данных по умолчанию
• [SPARK-45192] [SC-143194][пользовательский интерфейс] Исправлено превышение параметров lineInterpolate для пограничных вычислений graphviz
• [SPARK-45467] [SC-145146][CORE] Замена Proxy.getProxyClass() на Proxy.newProxyInstance().getClass
• [SPARK-45397] [SC-145139][ML][CONNECT] Добавление преобразователя функций сборщика массива
• [SPARK-44855] [SC-145226][CONNECT] Небольшие настройки для подключения ExecuteGrpcResponseSender к ExecuteResponseObserver
• [SPARK-45398] [SC-144796][SQL] Добавление ESCAPE в sql() Like выражение
• [SPARK-45494] [SC-145129][CORE][PYTHON] Введение функций util для чтения и записи массива байтов для PythonWorkerUtils
• [SPARK-45464] [SC-145125][CORE] Исправлена сборка распространения сетевого yarn
• [SPARK-45461] [SC-144851][CORE][SQL][MLLIB] Знакомство с картой для StorageLevel
• [SPARK-45450] [SC-145009][PYTHON] Исправлены импорты в соответствии с PEP8: pyspark.pandas и pyspark (core)
• [SPARK-45475] [SC-145018][SQL] Использует DataFrame.foreachPartition вместо RDD.foreachPartition в JdbcUtils
• [SPARK-45271] [SC-143778][SQL] Слияние _LEGACY_ERROR_TEMP_1113 в TABLE_OPERATION и удаление неиспользуемого метода в QueryCompilationErrors
• [SPARK-45449] [SC-145013][SQL] Проблема с недопустимостью кэша с таблицей JDBC
• [SPARK-45473] [SC-145017][SQL] Исправлено неверное сообщение об ошибке для RoundBase
• [SPARK-43299] [SC-145022][SS][CONNECT] Преобразование StreamingQueryException в клиент Scala
• [SPARK-45474] [SC-145014][CORE][WEBUI] Поддержка фильтрации верхнего уровня в API JSON MasterPage
• [SPARK-45205] [SC-145012][SQL] CommandResultExec для переопределения методов итератора, чтобы избежать активации нескольких заданий.
• [SPARK-45472] [SC-145004][SS] Хранилище состояний RocksDB не требуется повторно проверять наличие пути контрольной точки
• [SPARK-45470] [SC-145010][SQL] Избегайте вставки строкового значения типа сжатия hive orc
• [SPARK-45448] [SC-144829][PYTHON] Исправлены импорты в соответствии с PEP8: pyspark.testing, pyspark.mllib, pyspark.resource и pyspark.streaming
• [SPARK-45446] [SC-144828][PYTHON] Исправлены импорты в соответствии с PEP8: pyspark.errors и pyspark.ml
• [SPARK-45239] [SC-144832][CONNECT] Уменьшение размера spark.connect.jvmStacktrace.maxSize
• [SPARK-45436] [SC-144831][PYTHON][CONNECT] Методы DataFrame проверяют один и тот же сеанс
• [SPARK-45413] [SC-144847][CORE] Добавление предупреждения для поддержки drop LevelDB
• [SPARK-45462] [SC-144848][CORE][WEBUI] Показать Duration в ApplicationPage
• [SPARK-44527] [SC-144855][SQL] Замените ScalarSubquery значением NULL, если его maxRows равно 0
• [SPARK-45401] [SC-144854][PYTHON] Добавление нового метода cleanup в интерфейс UDTF
• [SPARK-43704] [SC-144849][CONNECT][PS] Поддержка MultiIndexto_series()
• [SPARK-45424] [SC-1448888][SQL] Исправление значения timestampFormatter, возвращающие необязательные результаты синтаксического анализа, если совпадают только префикс
• [SPARK-45441] [SC-144833][PYTHON] Дополнительные функции util для PythonWorkerUtils
• [SPARK-45412] [SC-144803][PYTHON][CONNECT] Проверка плана и сеанса в DataFrame.__init__
• [SPARK-45408] [SC-144810][CORE] Добавление параметров SSL RPC в TransportConf
• [SPARK-45432] [SC-144818][CORE] Удаление устаревшего конструктора Hadoop-2 LocatedFileStatus
• [SPARK-45434] [SC-144819][ML][CONNECT] LogisticRegression проверяет метки обучения
• [SPARK-45420] [SC-144808][SQL][PYTHON][CONNECT] Добавление DataType.fromDDL в PySpark
• [SPARK-45406] [SC-144793][PYTHON][CONNECT] Удаление schema из конструктора DataFrame
• [SPARK-45404] [SC-144799][CORE] Поддержка AWS_ENDPOINT_URL переменной env
• [SPARK-43620] [SC-144792][CONNECT][PS] Исправление API Pandas зависит от неподдерживаемых функций
• [SPARK-45354] [SC-143991][SQL] Разрешение функций внизу
• [SPARK-45394] [SASP-1480][SC-144712][PYTHON][CONNECT] Добавьте повторные попытки для API артефактов. Улучшение обработки ошибок (дальнейшие действия по [SPARK-45093]).
• [SPARK-45120] [SC-142780][SPARK-45150][пользовательский интерфейс] Обновление d3 с версии 3 до версии 7(v7.8.5) и применение изменений API в пользовательском интерфейсе
• [SPARK-44838] [SC-143983][SQL] улучшение raise_error
• [SPARK-45312] [SC-143754][SQL][пользовательский интерфейс] Поддержка переключателя отображения и скрытия svg плана на странице выполнения
• [SPARK-45378] [SC-144448][CORE] Добавление convertToNettyForSsl в ManagedBuffer
• [SPARK-44762] [SC-144338][CONNECT][CORE] Документация по SparkConnect.addJobTag и Connect SparkSession.addTag
• [SPARK-45383] Обработка неразрешенного реляционного времениTravel корректно
• [SPARK-45347] [SC-144512][SQL][CONNECT] Включение SparkThrowable в FetchErrorDetailsResponse
• [SPARK-45012] [SC-141512][SQL] CheckAnalysis должен вызывать встроенный план в AnalysisException
• [SPARK-45359] [SC-144336][PYTHON][CONNECT] DataFrame.{columns, colRegex, explain} должен вызывать исключения, если план недопустим
• [SPARK-45227] [SC-144233][CORE] Устранение тонкой проблемы с безопасностью потоков с помощью CoarseGrainedExecutorBackend
• [SPARK-45266] [SC-144171][PYTHON] Правило анализатора Refactor ResolveFunctions, чтобы отложить выполнение бокового соединения при использовании аргументов таблицы
• [SPARK-45266] Вернитесь к правилу анализатора Refactor ResolveFunctions "[SC-144171][PYTHON] Refactor ResolveFunctions, чтобы отложить выполнение бокового соединения при использовании аргументов таблицы".
• [SPARK-45371] [SC-144389][CONNECT] Устранение проблем с заливки в клиенте Spark Connect Scala
• [SPARK-45057] [SC-144214][CORE] Избегайте получения блокировки чтения, если keepReadLock имеет значение false
• [SPARK-45385] [SC-144357][SQL] Возражать spark.sql.parser.escapedStringLiterals
• [SPARK-45340] [SC-143917][SQL] Удаление конфигурации SQL spark.sql.hive.verifyPartitionPath
• [SPARK-45266] [SC-144171][PYTHON] Правило анализатора Refactor ResolveFunctions, чтобы отложить выполнение бокового соединения при использовании аргументов таблицы
• [SPARK-45362] [SC-144198][PYTHON] Проецирование выражений PARTITION BY перед использованием метода UDTF Python UDTF eval
• [SPARK-45346] [SC-143925][SQL] Вывод схемы Parquet должен учитывать флаг конфиденциальности регистра при слиянии схемы
• [SPARK-45341] [SC-143933][CORE] Исправьте уровень заголовка в комментариях KVStore.java для sbt doc успешного выполнения с помощью Java 17
• [SPARK-45334] [SC-143914][SQL] Удаление вводящих в заблуждение комментариев в parquetSchemaConverter
• [SPARK-45337] [SC-143932][CORE] Рефакторинг AbstractCommandBuilder#getScalaVersion для удаления проверки Scala 2.12
• [SPARK-45329] [SC-143918][PYTHON][CONNECT] Методы DataFrame пропускают преобразование pandas
• [SPARK-43662] [SC-143923][PS][CONNECT] Поддержка merge_asof в Spark Connect
• [SPARK-44126] [SC-143751][CORE] Число сбоев перетасовки миграции не должно увеличиваться при выводе целевого исполнителя из эксплуатации
• [SPARK-44550] [SC-119768][SQL] Включение исправлений правильности для anSI null IN (empty list)
• [SPARK-45316] [SC-143783][CORE][SQL] Добавление новых параметров ignoreCorruptFiles/ignoreMissingFiles в HadoopRDD и NewHadoopRDD
• [SPARK-45093] [SC-143414][CONNECT][PYTHON] Отчеты об ошибках для запроса addArtifacts
• [SPARK-44756] [SC-143787][CORE] Исполнитель зависает, когда RetryingBlockTransferor не может инициировать повторную попытку
• [SPARK-45333] [SC-143768][CORE] Исправлена одна ошибка единицы, связанная с spark.eventLog.buffer.kb
• [SPARK-45317] [SC-143750][SQL][CONNECT] Обработка null-имени файла в трассировках стека исключений
• [SPARK-45191] [SC-143407][SQL] InMemoryTableScanExec simpleStringWithNodeId добавляет сведения о столбцах
• [SPARK-45235] [SC-143314][CONNECT][PYTHON] Поддержка параметров карты и массива по sql()
• [SPARK-45138] [SC-143309][SS] Определите новый класс ошибок и примените его при сбое контрольного состояния к DFS
• [SPARK-45297] [SC-143644][SQL] Удаление обходного решения для dateformatter, добавленного в SPARK-31827
• [SPARK-44345] [SC-143593][CORE] Более низкий unknown shuffle map output уровень журнала, чтобы WARN, если включена миграция с перетасовками
• [SPARK-44463] [SC-143251][SS][CONNECT] Улучшение обработки ошибок для рабочей роли Python для подключения к пару
• [SPARK-45207] [SC-143603][SQL][CONNECT] Реализация обогащения ошибок для клиента Scala
• [SPARK-45240] [SC-143602][SQL][CONNECT] Реализация обогащения ошибок для клиента Python
• [SPARK-45216] [SC-143288][SQL] Исправление недетерминированных API наборов данных
• [SPARK-45251] [SC-143419][CONNECT] Добавление поля client_type для FetchErrorDetails
• [SPARK-45137] [SC-143001][CONNECT] Поддержка параметров карты или массива в параметризованном режиме sql()
• [SPARK-45224] [SC-143257][PYTHON] Добавление примеров w/map и массива в качестве параметров sql()
• [SPARK-44622] [SC-143205][SQL][CONNECT] Реализация FetchErrorDetails RPC
• [SPARK-45178] [SC-136089] Резервное выполнение одного пакета для Trigger.AvailableNow с неподдерживаемых источников, а не с помощью оболочки
• [SPARK-44823] [14.x][SC-142979][PYTHON] Обновление черного до 23.9.1 и исправления
• [SPARK-45078] [SC-142954][SQL] Исправление array_insert НеявныхCastInputTypes не работает
• [SPARK-44579] [SC-138428][SQL] Поддержка прерывания при отмене в SQLExecution
• [SPARK-45252] [SC-143371][CORE] Экранируйте символы больше или меньше символов в комментариях, чтобы выполнить sbt doc успешно
• [SPARK-45189] [SC-142973][SQL] Создание неразрешеннойrelation из TableIdentifier должно содержать поле каталога
• [SPARK-45229] [SC-143254][CORE][пользовательский интерфейс] Отображение количества драйверов, ожидающих состояния SUBMITTED в MasterPage
• [SPARK-43453] Возврат "[SC-143135][PS] Игнорируйте names MultiIndex, когда axis=1 "concat

Поддержка драйвера ODBC/JDBC Databricks

Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновление (скачайте ODBC, скачайте JDBC).

Ознакомьтесь с обновлениями обслуживания Databricks Runtime 14.2.

Системная среда

• Операционная система: Ubuntu 22.04.3 LTS
• Java: Zulu 8.72.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 3.0.0

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Posit диспетчер пакетов CRAN 2023-02-10.

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)