Databricks Runtime 15.4 LTS

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 15.4 LTS, на базе Apache Spark 3.5.0.

Databricks выпустила эту версию в августе 2024 года.

Изменение поведения

• VARIANT Использование в качестве входного или выходного типа с UDF, UDAF или UDTF Python создает исключение.
• Изменение режима привязки схемы по умолчанию для представлений
• Запретить использование неподдерженного ! синтаксиса NOT вместо логических выражений
• Запретить синтаксис определения столбца без документов в представлениях
• Согласованная обработка ошибок для декодирования Base64 в Spark и Photon
• Добавление ограничения для CHECK недопустимого столбца теперь возвращает UNRESOLVED_COLUMN. класс ошибок WITH_SUGGESTION

VARIANT Использование в качестве входного или выходного типа с UDF, UDAF или UDTF Python создает исключение.

[Критическое изменение] В Databricks Runtime 15.3 и более поздних версиях, вызывая любую определяемую пользователем функцию (UDF), определяемую пользователем агрегатную функцию (UDAF) или определяемую пользователем функцию таблицы (UDTF), которая использует VARIANT тип в качестве аргумента или возвращаемого значения вызывает исключение. Это изменение делается для предотвращения проблем, которые могут возникнуть из-за недопустимого значения, возвращаемого одним из этих функций. Дополнительные сведения о типе VARIANT см. в статье об использовании VARIANTs для хранения полуструктурированных данных.

Изменение режима привязки схемы по умолчанию для представлений

Теперь представления адаптируются к изменениям схемы в базовом запросе с помощью компенсации схемы с обычными правилами приведения. Это изменение предыдущего BINDING режима по умолчанию, которое вызвало ошибки, когда безопасный приведение не удалось выполнить при ссылке на представление.

См. статью CREATE VIEW и cast function.

Запретить использование неподдерженного ! синтаксиса NOT вместо логических выражений

В этом выпуске использование в качестве синонима ! за NOT пределами логических выражений больше не допускается. Например, операторы, такие как: CREATE ... IF ! EXISTSIS ! NULL, свойство столбца ! NULL или поля и ! IN! МЕЖДУ, необходимо заменить следующим образом: CREATE ... IF NOT EXISTS, IS NOT NULLNOT NULL столбец или свойство поля и NOT INNOT BETWEEN.

Это изменение гарантирует согласованность, соответствует стандарту SQL и делает SQL более переносимым.

Логический оператор! префикса (например, !is_mgr или !(true AND false)) не влияет на это изменение.

Запретить синтаксис определения столбца без документов в представлениях

Databricks поддерживает CREATE VIEW с именованными столбцами и комментариями столбцов. Ранее спецификация типов столбцов, NOT NULL ограничений или DEFAULT разрешена. В этом выпуске этот синтаксис больше не используется.

Это изменение обеспечивает согласованность, соответствует стандарту SQL и поддерживает будущие улучшения.

Согласованная обработка ошибок для декодирования Base64 в Spark и Photon

В этом выпуске показано, как Photon обрабатывает ошибки декодирования Base64 в соответствии с обработкой этих ошибок Spark. Перед этими изменениями путь создания кода Photon и Spark иногда не удалось вызвать исключения синтаксического анализа, а выполнение Spark интерпретировалось IllegalArgumentException правильно или ConversionInvalidInputErrorне удалось. Это обновление гарантирует, что Photon постоянно создает те же исключения, что и Spark во время декодирования Base64, обеспечивая более прогнозируемую и надежную обработку ошибок.

Добавление ограничения для CHECK недопустимого столбца теперь возвращает UNRESOLVED_COLUMN. класс ошибок WITH_SUGGESTION

Чтобы обеспечить более полезные сообщения об ошибках, в Databricks Runtime 15.3 и выше инструкция, содержащая ALTER TABLE ADD CONSTRAINT ограничение, ссылающееся на недопустимое имя столбца, CHECK возвращает UNRESOLVED_COLUMN. класс ошибок WITH_SUGGESTION. Ранее возвращался объект INTERNAL_ERROR .

Новые функции и внесенные улучшения

• Функции проверки UTF-8
• API типизированного набора данных с помощью определяемых пользователем функций Scala
• Включение ЮниФорм Айсберга с помощью ALTER TABLE
• функция try_url_decode
• При необходимости позволяет оптимизатору полагаться на неподдерживающиеся ограничения внешнего ключа.
• Параллельное задание выполняется для выборочных перезаписей
• Улучшена производительность канала измененных данных с выборочными перезаписями
• Улучшена задержка запросов для COPY INTO команды
• Поддержка удаления функции таблицы ограничений проверки
• Вычисление одного пользователя поддерживает точное управление доступом, материализованные представления и таблицы потоковой передачи (общедоступная предварительная версия)
• Расширенная поддержка библиотек Java и Scala
• Расширенная поддержка операций с набором данных Scala
• Scala — это общедоступная версия в общем вычислительном ресурсе каталога Unity
• Управляемый каталогом Unity доступ к внешним облачным службам с помощью учетных данных службы (общедоступная предварительная версия)

Функции проверки UTF-8

В этом выпуске представлены следующие функции для проверки строк UTF-8:

• is_valid_utf8 проверяет, является ли строка допустимой строкой UTF-8.
• make_valid_utf8 преобразует потенциально недопустимую строку UTF-8 в допустимую строку UTF-8 с помощью символов подстановки
• validate_utf8 вызывает ошибку, если входные данные не являются допустимой строкой UTF-8.
• try_validate_utf8 возвращаетсяNULL, если входные данные не являются допустимой строкой UTF-8.

API типизированного набора данных с помощью определяемых пользователем функций Scala

Этот выпуск включает в себя добавленную поддержку api типизированного набора данных с определяемыми пользователем функциями Scala (за исключением определяемых пользователем агрегатных функций) для вычислений с поддержкой каталога Unity с общим режимом доступа. См . API типизированного набора данных.

Включение ЮниФорм Айсберга с помощью ALTER TABLE

Теперь вы можете включить UniForm Iceberg в существующих таблицах без перезаписи файлов данных. См. раздел "Включить", изменив существующую таблицу.

функция try_url_decode

В этом выпуске представлена функция try_url_decode , которая декодирует строку, закодированную URL-адресом. Если строка не имеет правильного формата, функция возвращается NULL вместо того, чтобы вызывать ошибку.

При необходимости позволяет оптимизатору полагаться на неподдерживающиеся ограничения внешнего ключа.

Чтобы повысить производительность запросов, теперь можно указать RELY ключевое слово по ограничениям при FOREIGN KEY создании или изменении таблицы.

Параллельное задание выполняется для выборочных перезаписей

Выборочные перезаписи с помощью replaceWhere заданий запуска, которые удаляют данные и вставляют новые данные параллельно, повышая производительность запросов и использование кластера.

Улучшена производительность канала измененных данных с выборочными перезаписями

Выборочные перезаписи, использующие replaceWhere таблицы с каналом изменений, больше не записывают отдельные файлы измененных данных для вставленных данных. Эти операции используют скрытый _change_type столбец, представленный в базовых файлах данных Parquet, для записи изменений без амплификации записи.

Улучшена задержка запросов для COPY INTO команды

Этот выпуск включает изменение, которое улучшает задержку запроса для COPY INTO команды. Это улучшение реализуется путем загрузки состояния в хранилище состояний RocksDB асинхронно. При этом изменении вы увидите улучшение времени начала запросов с большими состояниями, например запросы с большим количеством уже полученных файлов.

Поддержка удаления функции таблицы ограничений проверки

Теперь вы можете удалить функцию checkConstraints таблицы из таблицы Delta с помощью ALTER TABLE table_name DROP FEATURE checkConstraints. См. раздел "Отключить ограничения проверки".

Вычисление одного пользователя поддерживает точное управление доступом, материализованные представления и таблицы потоковой передачи (общедоступная предварительная версия)

Если рабочая область включена для бессерверных вычислений, Databricks Runtime 15.4 LTS добавляет поддержку точного управления доступом для вычислений одного пользователя. Когда запрос обращается к любому из следующих объектов, один пользователь вычислительный ресурс в Databricks Runtime 15.4 LTS передает запрос бессерверным вычислительным ресурсам для выполнения фильтрации данных:

• Представления, определенные по таблицам, для которых у пользователя нет SELECT прав доступа.
• Динамические представления.
• Таблицы с примененными фильтрами строк или масками столбцов.
• Материализованные представления и таблицы потоковой передачи.

Эти запросы не поддерживаются при вычислении отдельных пользователей, работающих под управлением Databricks Runtime 15.3 и ниже.

Дополнительные сведения см. в разделе "Точное управление доступом" для вычислений одного пользователя.

Расширенная поддержка библиотек Java и Scala

Начиная с Databricks Runtime 15.4 LTS, все библиотеки Java и Scala, упакованные с Databricks Runtime, доступны во всех режимах доступа к вычислительным ресурсам при использовании каталога Unity. Дополнительные сведения о поддержке языков в вычислительных ресурсах с поддержкой каталога Unity см. в разделе ограничения режима доступа к вычислительным ресурсам для каталога Unity.

Расширенная поддержка операций с набором данных Scala

В этом выпуске вычислительные ресурсы с поддержкой каталога Unity, использующие режим общего доступа, поддерживают следующие операции ScalaDataset: map, , mapPartitionsforeachPartitionflatMapreduceи .filter

Scala — это общедоступная версия в общем вычислительном ресурсе каталога Unity

В этом выпуске Scala общедоступен для вычислений с поддержкой каталога Unity общего режима доступа, включая поддержку скалярных пользовательских функций (ОПРЕДЕЛЯЕМЫХ пользователем). Структурированная потоковая передача, ОПРЕДЕЛяемые пользователем функции Hive и Hive, не поддерживаются. Полный список ограничений см. в разделе "Ограничения режима доступа к вычислениям" для каталога Unity.

Управляемый каталогом Unity доступ к внешним облачным службам с помощью учетных данных службы (общедоступная предварительная версия)

Учетные данные службы обеспечивают простую и безопасную проверку подлинности с помощью служб облачного клиента с помощью управляемых удостоверений Azure (MI) и каталога Unity. См. статью "Управление доступом к внешним облачным службам с помощью учетных данных службы".

Исправления ошибок

Обновления библиотек

• Обновленные библиотеки Python:
  • azure-core от 1.30.1 до 1.30.2
  • google-auth от 2.29.0 до 2.31.0
  • google-cloud-storage с 2.16.0 до 2.17.0
  • google-resumable-media с 2.7.0 до 2.7.1
  • googleapis-common-protos с 1.63.0 до 1.63.2
  • mlflow-skinny от 2.11.3 до 2.11.4
  • proto-plus от 1.23.0 до 1.24.0
  • s3transfer от 0.10.1 до 0.10.2
• Обновленные библиотеки R:
• Обновленные библиотеки Java:
  • com.databricks.databricks-sdk-java от 0.17.1 до 0.27.0
  • com.ibm.icu.icu4j от 72.1 до 75.1
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider от 1.6.1-linux-x86_64 до 1.6.2-linux-x86_64

Apache Spark

Databricks Runtime 15.4 LTS включает Apache Spark 3.5.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 15.3, и следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-48503] [DBRRM-1150][SC-172196][SQL] Разрешить группирование выражений в скалярных вложенных запросах, если они привязаны к внешним строкам
• [SPARK-48834] [ПОВЕДЕНИЕ-79][SC-170972][SQL] Отключение вариантных входных и выходных данных для скалярных определяемых пользователем python, определяемых пользователем пользователем, UDTFs, UDAFs во время компиляции запросов
• [SPARK-48441] [SC-170980][SQL][ТЕПЛОФИКС] Исправлено поведение StringTrim для параметров сортировки, отличных от UTF8_BINARY
• [SPARK-48440] [SC-170895][SQL][ТЕПЛОФИКС] Исправление поведения StringTranslate для параметров сортировки без UTF8_BINARY
• [SPARK-48872] [SC-170866][PYTHON] Сокращение затрат на _capture_call_site
• [SPARK-48862] [SC-170845][PYTHON][CONNECT] Избегайте вызова _proto_to_string , если уровень INFO не включен
• [SPARK-48852] [SC-170837][CONNECT] Исправлена функция обрезки строки при подключении
• [SPARK-48791] [SC-170658][CORE] Исправление регрессии, вызванной затратами на регистрацию аккумуляторов с помощью CopyOnWriteArrayList
• [SPARK-48118] [SQL] Поддержка SPARK_SQL_LEGACY_CREATE_HIVE_TABLE переменной env
• [SPARK-48241] [SC-165811][SQL] Сбой синтаксического анализа CSV с столбцами типа char/varchar
• [SPARK-48168] [SC-166900][SQL] Добавление поддержки операторов перемещений по битовой стрелке
• [SPARK-48148] [SC-165630][CORE] Объекты JSON не должны изменяться при чтении как STRING
• [SPARK-46625] [SC-170561] CTE с предложением Identifier в качестве ссылки
• [SPARK-48771] [SC-170546][SQL] LogicalPlanIntegrity.validateExprIdUniqueness Ускорение для больших планов запросов
• [SPARK-48831] [ПОВЕДЕНИЕ-76][SC-170554][CONNECT] Создание имени столбца по умолчанию для совместимости с Классической cast версией Spark
• [SPARK-48623] [SC-170544][CORE] Структурированные миграции журналов [часть 2]
• [SPARK-48296] [SC-166138][SQL] Поддержка Codegen для to_xml
• [SPARK-48027] [SC-165154][SQL] InjectRuntimeFilter для многоуровневого соединения должен проверять тип дочернего соединения
• [SPARK-48686] [SC-170365][SQL] Повышение производительности ParserUtils.unescapeSQLString
• [SPARK-48798] [SC-170588][PYTHON] Введение spark.profile.render в профилирование на основе SparkSession
• [SPARK-48048] [SC-169099] Возврат "[SC-164846][CONNECT][SS] Добавлена поддержка прослушивателя на стороне клиента для Scala"
• [SPARK-47910] [SC-168929][CORE] закройте поток при закрытии DiskBlockObjectWriter, чтобы избежать утечки памяти
• [SPARK-48816] [SC-170547][SQL] Короткое число преобразователей интервалов в UnivocityParser
• [SPARK-48589] [SC-170132][SQL][SS] Добавление параметра snapshotStartBatchId и snapshotPartitionId в источник данных состояния
• [SPARK-48280] [SC-170293][SQL] Улучшение области тестирования сортировки с помощью пошагового выражения
• [SPARK-48837] [SC-170540][ML] В CountVectorizer считывает только двоичный параметр один раз на преобразование, а не один раз на строку
• [SPARK-48803] [SC-170541][SQL] Вызов внутренней ошибки в сериализаторе Orc(De)для выравнивания с ParquetWriteSupport
• [SPARK-48764] [SC-170129][PYTHON] Фильтрация кадров, связанных с IPython, из пользовательского стека
• [SPARK-48818] [SC-170414][PYTHON] Упрощение percentile функций
• [SPARK-48479] [SC-169079][SQL] Поддержка создания скалярных и табличных определяемых пользователем SQL в средство синтаксического анализа
• [SPARK-48697] [SC-170122][LC-4703][SQL] Добавление фильтров строк с поддержкой сортировки
• [SPARK-48800] [SC-170409][CONNECT][SS] Deflake ClientStreamingQuerySuite
• [SPARK-48738] [SC-169814][SQL] Правильно, так как версия для встроенного псевдонима randomfunc, position, modcardinality, current_schema, usersession_userchar_lengthcharacter_length
• [SPARK-48638] [SC-169575][CONNECT] Добавление поддержки ExecutionInfo для Кадра данных
• [SPARK-48064] [SC-164697][SQL] Обновление сообщений об ошибках для стандартных связанных классов ошибок
• [SPARK-48810] [CONNECT] API остановки сеанса () должен быть идемпотентным и не завершается ошибкой, если сеанс уже закрыт сервером
• [SPARK-48650] [15.x][PYTHON] Отображение правильного сайта вызова из IPython Notebook
• [SPARK-48271] [SC-166076][SQL] Преобразование ошибки сопоставления в RowEncoder в UNSUPPORTED_DATA_TYPE_FOR_ENCODER
• [SPARK-48709] [SC-169603][SQL] Исправление несоответствия разрешения типов varchar для CTAS DataSourceV2
• [SPARK-48792] [SC-170335][SQL] Исправлена регрессия для INSERT с частичным списком столбцов в таблицу с помощью char/varchar
• [SPARK-48767] [SC-170330][SQL] Исправление некоторых ошибок variant при недопустимых данных типа
• [SPARK-48719] [SC-170339][SQL] Исправлена ошибка RegrSlope вычисления и RegrIntercept когда первый параметр имеет значение NULL
• [SPARK-48815] [SC-170334][CONNECT] Обновление среды при остановке сеанса подключения
• [SPARK-48646] [SC-169020][PYTHON] Уточнение подсказок по API источника данных Python и подсказок типов
• [SPARK-48806] [SC-170310][SQL] Передача фактического исключения при сбое url_decode
• [SPARK-47777] [SC-168818] исправлен тест подключения источника данных потоковой передачи Python
• [SPARK-48732] [SC-169793][SQL] Очистка нерекомендуемого использования API, связанного с JdbcDialect.compileAggregate
• [SPARK-48675] [SC-169538][SQL] Исправление таблицы кэша с сортировкой столбца
• [SPARK-48623] [SC-169034][CORE] Структурированные миграции журналов
• [SPARK-48655] [SC-169542][SQL] SPJ: добавление тестов для перетасовки пропуска для агрегированных запросов
• [SPARK-48586] [SC-169808][SS] Удаление приобретения блокировки в doMaintenance() путем создания глубокой копии сопоставлений файлов в RocksDBFileManager в load()
• [SPARK-48799] [Backport][15.x][SC-170283][SS] Рефакторинг версий для метаданных оператора считывает и записывает и вызывает
• [SPARK-48808] [SC-170309][SQL] Исправление NPE при подключении thriftserver через Hive 1.2.1 и пустая схема результата
• [SPARK-48715] [SC-170291][SQL] Интеграция проверки UTF8String в реализации строковых функций с поддержкой сортировки
• [SPARK-48747] [SC-170120][SQL] Добавление итератора точек кода в UTF8String
• [SPARK-48748] [SC-170115][SQL] Кэш numChars в UTF8String
• [SPARK-48744] [SC-169817][Ядро] Запись журнала должна быть создана только один раз
• [SPARK-46122] [SC-164313][SQL] Задано spark.sql.legacy.createHiveTableByDefault по false умолчанию
• [SPARK-48765] [SC-170119][РАЗВЕРТЫВАНИЕ] Повышение оценки значений по умолчанию для SPARK_IDENT_STRING
• [SPARK-48759] [SC-170128][SQL] Добавление документации по миграции для изменения поведения CREATE TABLE AS SELECT с момента изменения поведения Spark 3.4
• [SPARK-48598] [SC-169484][PYTHON][CONNECT] Распространение кэшированных схем в операциях с кадрами данных
• [SPARK-48766] [SC-170126][PYTHON] Документируйте разницу extraction в поведении между element_at и try_element_at
• [SPARK-48768] [SC-170124][PYTHON][CONNECT] Не следует кэшировать explain
• [SPARK-48770] [Backport][15.x][SC-170133][SS] Измените метаданные оператора чтения один раз на драйвере, чтобы проверить, можно ли найти сведения о numColsPrefixKey, используемых для запросов окна сеанса
• [SPARK-48656] [SC-169529][CORE] Выполните проверку длины и вызовите ошибку COLLECTION_SIZE_LIMIT_EXCEEDED CartesianRDD.getPartitions
• [SPARK-48597] [SC-168817][SQL] Введение маркера для свойства IsStreaming в текстовом представлении логического плана
• [SPARK-48472] [SC-169044][SQL] Включение выражений отражения со строками сортировки
• [SPARK-48699] [SC-169597][SQL] Уточнение API сортировки
• [SPARK-48682] [SC-169812][SQL][ПОВЕДЕНИЕ-58] Использование ICU в выражении InitCap для строк UTF8_BINARY
• [SPARK-48282] [SC-169813][SQL] Изменение логики поиска строк для сортировки UTF8_BINARY_LCASE (StringReplace, FindInSet)
• [SPARK-47353] [SC-169599][SQL] Включение поддержки сортировки для выражения Mode
• [SPARK-48320] [SPARK-48490] Синхронизация последних примеров ведения журнала и тестовых случаев из OSS Spark
• [SPARK-48629] [SC-169479] Перенос остаточного кода в структурированную платформу ведения журнала
• [SPARK-48681] [SC-169469][SQL][ПОВЕДЕНИЕ-58] Использование ICU в выражениях нижнего или верхнего уровня для строк UTF8_BINARY
• [SPARK-48573] [15.x][SC-169582][SQL] Обновление версии ICU
• [SPARK-48687] [Backport][15.x][SS] Добавление изменений для выполнения проверки схемы состояния и обновления драйвера для запросов с отслеживанием состояния
• [SPARK-47579] [15.x][SC-167310][CORE][ЧАСТЬ4] Перенос logInfo с переменными в структурированную платформу ведения журнала
• [SPARK-48008] [SC-167363][1/2] Поддержка UDAFs в Spark Connect
• [SPARK-48578] [SC-169505][SQL] добавление связанных функций проверки строк UTF8
• [SPARK-48670] [SC-169598][SQL] Предоставление предложения в рамках сообщения об ошибке при указании недопустимого имени сортировки
• [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPA... … RK-48291] Структурированная платформа журнала на стороне Java
• [SPARK-47599] [15.x][SC-1660000][MLLIB] MLLib: перенос logWarn с переменными в структурированную платформу ведения журнала
• [SPARK-48706] [SC-169589][PYTHON] UDF Python в функциях более высокого порядка не должен вызывать внутреннюю ошибку
• [SPARK-48498] [ПОВЕДЕНИЕ-38][SC-168060][SQL] Всегда выполнять заполнение символов в предикатах
• [SPARK-48662] [SC-169533][SQL] Исправление выражения StructsToXml с помощью параметров сортировки
• [SPARK-48482] [SC-167702][PYTHON][15.x] dropDuplicates и dropDuplicatesWIthinWatermark должны принимать args переменной длины
• [SPARK-48678] [SC-169463][CORE] Оптимизация производительности для SparkConf.get(ConfigEntry)
• [SPARK-48576] [SQL] Переименование UTF8_BINARY_LCASE в UTF8_LCASE
• [SPARK-47927] [SC-164123][SQL]: исправление атрибута nullability в декоде UDF
• [SPARK-47579] [SC-165297][CORE][ЧАСТЬ1] Перенос logInfo с переменными в структурированную платформу ведения журнала (новая)
• [SPARK-48695] [SC-169473][PYTHON] TimestampNTZType.fromInternal не используйте устаревшие методы
• [SPARK-48431] [SC-167290][LC-4066][SQL] Не перенаправляете предикаты в столбцы с сортировкой в средства чтения файлов
• [SPARK-47579] Возврат "[SC-165297][CORE][PART1] Миграция logInfo с переменными в структурированную платформу ведения журнала"
• [SPARK-47585] [SC-164306][SQL] SQL Core: перенос logInfo с переменными в структурированную платформу ведения журнала
• [SPARK-48466] [SC-169042][SQL] Создание выделенного узла для EmptyRelation в AQE
• [SPARK-47579] [SC-165297][CORE][ЧАСТЬ1] Перенос logInfo с переменными в структурированную платформу ведения журнала
• [SPARK-48410] [SC-168320][SQL] Исправлено выражение InitCap для параметров сортировки UTF8_BINARY_LCASE и ICU
• [SPARK-48318] [SC-167709][SQL] Включение поддержки хэш-соединения для всех параметров сортировки (сложные типы)
• [SPARK-48435] [SC-168128][SQL] Параметры сортировки ЮНИКОД не должны поддерживать двоичное равенство
• [SPARK-48555] [SC-169041][SQL][PYTHON][CONNECT] Поддержка использования столбцов в качестве параметров для нескольких функций в pyspark/scala
• [SPARK-48591] [SC-169081][PYTHON] Добавление вспомогательной функции для упрощения Column.py
• [SPARK-48574] [SC-169043][SQL] Исправлена поддержка StructTypes с параметрами сортировки
• [SPARK-48305] [SC-166390][SQL] Добавление поддержки сортировки для выражений CurrentLike
• [SPARK-48342] [SC-168941][SQL] Общие сведения о синтаксическом анализе сценариев SQL
• [SPARK-48649] [SC-169024][SQL] Добавление конфигураций ignoreInvalidPartitionPaths и "spark.sql.files.ignoreInvalidPartitionPaths" позволяет игнорировать недопустимые пути секции
• [SPARK-48000] [SC-167194][SQL] Включение поддержки хэш-соединения для всех параметров сортировки (StringType)
• [SPARK-48459] [SC-168947][CONNECT][PYTHON] Реализация DataFrameQueryContext в Spark Connect
• [SPARK-48602] [SC-168692][SQL] Создание генератора csv-файлов поддерживает другой стиль вывода с помощью spark.sql.binaryOutputStyle
• [SPARK-48283] [SC-168129][SQL] Изменение сравнения строк для UTF8_BINARY_LCASE
• [SPARK-48610] [SC-168830]Рефакторинг [SQL]: используйте вспомогательный idMap вместо OP_ID_TAG
• [SPARK-48634] [SC-169021][PYTHON][CONNECT] Избегайте статической инициализации threadpool в ExecutePlanResponseReattachableIterator
• [SPARK-47911] [SC-164658][SQL] Представляет универсальный binaryFormatter для обеспечения согласованности двоичных выходных данных
• [SPARK-48642] [SC-168889][CORE] False SparkOutOfMemoryError, вызванная задачей убийства при разливе
• [SPARK-48572] [SC-168844][SQL] Исправление выражений DateSub, DateAdd, WindowTime, TimeWindow и SessionWindow
• [SPARK-48600] [SC-168841][SQL] Исправление неявного приведения выражений FrameLessOffsetWindowFunction
• [SPARK-48644] [SC-168933][SQL] Выполните проверку длины и вызовите ошибку COLLECTION_SIZE_LIMIT_EXCEEDED в Hex.hex
• [SPARK-48587] [SC-168824][VARIANT] Избегайте увеличения объема хранилища при доступе к вложенной версии
• [SPARK-48647] [SC-168936][PYTHON][CONNECT] Уточнение сообщения об ошибке для YearMonthIntervalType in df.collect
• [SPARK-48307] [SC-167802][SQL] InlineCTE должен хранить нелинейные отношения в исходном узле WithCTE
• [SPARK-48596] [SC-168581][SQL] Улучшение perf для вычисления шестнадцатеричной строки в течение длительного времени
• [SPARK-48621] [SC-168726][SQL] Исправление как упрощение в оптимизаторе для сортировки строк
• [SPARK-47148] [SC-164179][SQL] Избегайте материализации AQE ExchangeQueryStageExec при отмене
• [SPARK-48584] [SC-168579][SQL] Улучшение Perf для unescapePathName
• [SPARK-48281] [SC-167260][SQL] Изменение логики поиска строк для сортировки UTF8_BINARY_LCASE (StringInStr, SubstringIndex)
• [SPARK-48577] [SC-168826][SQL] Недопустимая замена последовательности байтов UTF-8
• [SPARK-48595] [SC-168580][CORE] Очистка нерекомендуемого использования API, связанного с commons-compress
• [SPARK-48030] [SC-164303][SQL] SPJ: кэширование rowOrdering и structType для InternalRowComparableWrapper
• [SPARK-48004] [SC-164005][SQL] Добавление признака WriteFilesExecBase для записи версии 1
• [SPARK-48551] [SC-168438][SQL] Улучшение perf для escapePathName
• [SPARK-48565] [SC-168437][пользовательский интерфейс] Исправление отображения дампа потоков в пользовательском интерфейсе
• [SPARK-48364] [SC-166782][SQL] Добавление приведения типов AbstractMapType и исправление сопоставления параметров RaiseError для работы со строками сортировки
• [SPARK-48421] [SC-168689][SQL] SPJ: добавление документации
• [SPARK-48604] [SC-168698][SQL] Замена нерекомендуемого new ArrowType.Decimal(precision, scale) вызова метода
• [SPARK-46947] [SC-157561][CORE] Задержка инициализации диспетчера памяти до загрузки подключаемого модуля Driver
• [SPARK-48411] [SC-168576][SS][PYTHON] Добавление теста E2E для DropDuplicateWithinWatermark
• [SPARK-48543] [SC-168697][SS] Отслеживание сбоев проверки строк состояния с помощью явного класса ошибок
• [SPARK-48221] [SC-167143][SQL] Изменение логики поиска строк для сортировки UTF8_BINARY_LCASE (Содержит, StartsWith, EndsWith, StringLocate)
• [SPARK-47415] [SC-168441][SQL] Добавление поддержки сортировки для выражения Levenshtein
• [SPARK-48593] [SC-168719][PYTHON][CONNECT] Исправление строкового представления лямбда-функции
• [SPARK-48622] [SC-168710][SQL] получите SQLConf один раз при разрешении имен столбцов
• [SPARK-48594] [SC-168685][PYTHON][CONNECT] Переименование parent поля child в ColumnAlias
• [SPARK-48403] [SC-168319][SQL] Исправление нижних и верхних выражений для параметров сортировки UTF8_BINARY_LCASE и ICU
• [SPARK-48162] [SC-166062][SQL] Добавление поддержки сортировки для выражений MISC
• [SPARK-48518] [SC-167718][CORE] Параллельное выполнение сжатия LZF
• [SPARK-48474] [SC-167447][CORE] Исправление имени класса для входа SparkSubmitArguments и >. SparkSubmit
• [SPARK-48012] [SC-168267][SQL] SPJ: поддержка трансфромных выражений для одностороннего перетасовки
• [SPARK-48552] [SC-168212][SQL] вывод схемы CSV с несколькими строками также должен вызывать FAILED_READ_FILE
• [SPARK-48560] [SC-168268][SS][PYTHON] Создание settable StreamingQueryListener.spark
• [SPARK-48569] [SC-168321][SS][CONNECT] Обработка пограничных вариантов в query.name
• [SPARK-47260] [SC-167323][SQL] Назначение имени классу ошибок _LEGACY_ERROR_TEMP_3250
• [SPARK-48564] [SC-168327][PYTHON][CONNECT] Распространение кэшированных схем в операциях набора
• [SPARK-48155] [SC-165910][SQL] AQEPropagateEmptyRelation для соединения должен проверить, является ли оставшийся дочерним элементом только BroadcastQueryStageExec
• [SPARK-48506] [SC-167720][CORE] Короткие имена кодека сжатия не учитывает регистр, за исключением ведения журнала событий
• [SPARK-48447] [SC-167607][SS] Проверьте класс поставщика хранилища состояний перед вызовом конструктора
• [SPARK-47977] [SC-167650] DateTimeUtils.timestampDiff и DateTimeUtils.timestampAdd не должны вызывать исключение INTERNAL_ERROR
• [SPARK-48513] [Backport][15.x][SC-168085][SS] Добавление класса ошибок для совместимости схемы состояния и дополнительного рефакторинга
• [SPARK-48413] [SC-167669][SQL] ALTER COLUMN с параметрами сортировки
• [SPARK-48561] [SC-168250][PS][CONNECT] Создание PandasNotImplementedError неподдерживаемых функций построения
• [SPARK-48465] [SC-167531][SQL] Избегайте распространения пустых связей без опов
• [SPARK-48553] [SC-168166][PYTHON][CONNECT] Кэширование дополнительных свойств
• [SPARK-48540] [SC-168069][CORE] Избегайте настройки загрузки выходных данных в stdout
• [SPARK-48535] [SC-168057][SS] Обновление документации по конфигурации, чтобы указать возможность потери и повреждения данных, если включена настройка пропуска значений NULL для соединений потокового потока.
• [SPARK-48536] [SC-168059][PYTHON][CONNECT] Кэшировать указанную схему в applyInPandas и applyInArrow
• [SPARK-47873] [SC-163473][SQL] Запись параметров сортировки в хранилище метаданных Hive с помощью обычного типа строки
• [SPARK-48461] [SC-167442][SQL] Замените NullPointerExceptions классом ошибок в выражении AssertNotNull
• [SPARK-47833] [SC-163191][SQL][CORE] Указание стека вызывающего абонента для checkAndGlobPathIfNecesary AnalysisException
• [SPARK-47898] [SC-163146][SQL] Порт HIVE-12270: добавление поддержки DBTokenStore в токен делегирования HS2
• [SPARK-47578] [SC-167497][R] Миграция RPackageUtils с переменными в структурированную платформу ведения журнала
• [SPARK-47875] [SC-162935][CORE] Убирать spark.deploy.recoverySerializer
• [SPARK-47552] [SC-160880][CORE] Установите spark.hadoop.fs.s3a.connection.establish.timeout значение 30-х, если отсутствует
• [SPARK-47972] [SC-167692][SQL] Ограничение выражения CAST для параметров сортировки
• [SPARK-48430] [SC-167489][SQL] Исправление извлечения значений карты при сопоставлении строк с сортировкой
• [SPARK-47318] [SC-162712][CORE][3.5] Добавляет раунд HKDF в производное ключ AuthEngine для выполнения стандартных методик KEX
• [SPARK-48503] [ПОВЕДЕНИЕ-29][ES-1135236][SQL] Исправление недопустимых скалярных вложенных запросов с помощью столбцов, не являющихся эквивалентными для групп, которые были неправильно разрешены
• [SPARK-48508] [SC-167695][CONNECT][PYTHON] Кэшировать указанную схему пользователя в DataFrame.{to, mapInPandas, mapInArrow}
• [SPARK-23015] [SC-167188][WINDOWS] Исправлена ошибка в Windows, при которой запуск нескольких экземпляров Spark в течение одного и того же второго приводит к сбою
• [SPARK-45891] [SC-167608]Вернитесь на "Описание схемы измельчения для Variant"
• [SPARK-48391] [SC-167554][CORE]Использование addAll вместо добавления функции из методаAccumulatorInfos класса TaskMetrics
• [SPARK-48496] [SC-167600][CORE] Использование статических экземпляров шаблонов regex в JavaUtils.timeStringAs и JavaUtils.byteStringAs
• [SPARK-48476] [SC-167488][SQL] исправлено сообщение об ошибке NPE для CSV-файла null delmiter
• [SPARK-48489] [SC-167598][SQL] Создание лучшей ошибки с пользователем при чтении незаконной схемы из текстового источника данных
• [SPARK-48471] [SC-167324][CORE] Улучшение документации и руководства по использованию сервера журнала
• [SPARK-45891] [SC-167597] Описание схемы измельчения для Variant
• [SPARK-47333] [SC-159043][SQL] Проверка типов параметров функции с помощью checkInputDataTypes to_xml
• [SPARK-47387] [SC-159310][SQL] Удаление некоторых неиспользуемых классов ошибок
• [SPARK-48265] [ES-1131440][SQL] Пакет ограничения группы выводов должен выполнять константную свертку
• [SPARK-47716] [SC-167444][SQL] Избегайте конфликта имен представления в тестовом случае семантической сортировки SQLQueryTestSuite
• [SPARK-48159] [SC-167141][SQL] Расширение поддержки сортировки строк в выражениях datetime
• [SPARK-48462] [SC-167271][SQL][Тесты] Использование сSQLConf в тестах: рефакторинг HiveQuerySuite и HiveTableScanSuite
• [SPARK-48392] [SC-167195][CORE] Также загружается spark-defaults.conf при указании --properties-file
• [SPARK-48468] [SC-167417] Добавление интерфейса LogicalQueryStage в катализатор
• [SPARK-47578] [SC-164988][CORE] Ручной серверный порт для Spark PR #46309: перенос logWarning с переменными в структурированную платформу ведения журнала
• [SPARK-48415] [SC-167321]Вернуть "[PYTHON] Refactor TypeName для поддержки параметризованных типов данных"
• [SPARK-46544] [SC-151361][SQL] Поддержка версии 2 DESCRIBE TABLE EXTENDED с табличными статистиками
• [SPARK-48325] [SC-166963][CORE] Всегда указывать сообщения в ExecutorRunner.killProcess
• [SPARK-46841] [SC-167139][SQL] Добавление поддержки сортировки для языковых стандартов ICU и описателей сортировки
• [SPARK-47221] [SC-157870][SQL] Использует подписи из CsvParser в AbstractParser
• [SPARK-47246] [SC-158138][SQL] Замена InternalRow.fromSeq на new GenericInternalRow сохранение преобразования коллекции
• [SPARK-47597] [SC-163932][ПОТОКОВАЯ ПЕРЕДАЧА] Ручной серверный порт для Spark PR #46192: потоковая передача: миграция logInfo с переменными в структурированную платформу ведения журнала
• [SPARK-48415] [SC-167130][PYTHON] Рефакторинг TypeName для поддержки параметризованных типов данных
• [SPARK-48434] [SC-167132][PYTHON][CONNECT] Использование printSchema кэшированных схем
• [SPARK-48432] [ES-1097114][SQL] Избегайте распаковки целых чисел в UnivocityParser
• [SPARK-47463] [SC-162840][SQL] Использование версии 2Predicate для упаковки выражения с типом возвращаемого логического значения
• [SPARK-47781] [SC-162293][SQL] Обработка отрицательных десятичных разрядов для источников данных JDBC
• [SPARK-48394] [SC-166966][CORE] Очистка mapIdToMapIndex в mapoutput unregister
• [SPARK-47072] [SC-156933][SQL] Исправление поддерживаемых форматов интервалов в сообщениях об ошибках
• [SPARK-47001] [SC-162487][SQL] Проверка pushdown в оптимизаторе
• [SPARK-48335] [SC-166387][PYTHON][CONNECT] Совместимость _parse_datatype_string с Spark Connect
• [SPARK-48329] [SC-166518][SQL] Включить spark.sql.sources.v2.bucketing.pushPartValues.enabled по умолчанию
• [SPARK-48412] [SC-166898][PYTHON] Анализ типа данных рефакторинга json
• [SPARK-48215] [SC-166781][SQL] Расширение поддержки сортировки строк в выражении date_format
• [SPARK-45009] [SC-166873][SQL][ДАЛЬНЕЙШИЕ ДЕЙСТВИЯ] Добавление класса ошибок и тестов для декоррелации вложенных запросов предиката в условии соединения, ссылающихся на дочерний элемент соединения
• [SPARK-47960] [SC-165295][SS][15.x] Разрешить цепочку других операторов с отслеживанием состояния после преобразованияWithState.
• [SPARK-48340] [SC-166468][PYTHON] Отсутствует prefer_timestamp_ntz схемы вывода timestampNTZ
• [SPARK-48157] [SC-165902][SQL] Добавление поддержки сортировки для выражений CSV
• [SPARK-48158] [SC-165652][SQL] Добавление поддержки сортировки для XML-выражений
• [SPARK-48160] [SC-166064][SQL] Добавление поддержки сортировки для выражений XPATH
• [SPARK-48229] [SC-165901][SQL] Добавление поддержки сортировки для выражений inputFile
• [SPARK-48367] [SC-166487][CONNECT] Исправление lint-scala для scalafmt, чтобы определить правильное форматирование файлов
• [SPARK-47858] [SC-163095][SPARK-47852][PYTHON][SQL] Рефакторинг структуры для контекста ошибки DataFrame
• [SPARK-48370] [SC-166787][CONNECT] Контрольная точка и localCheckpoint в клиенте Scala Spark Connect
• [SPARK-48247] [SC-166028][PYTHON] Использование всех значений в дикте при выводе схемы MapType
• [SPARK-48395] [SC-166794][PYTHON] Исправление StructType.treeString для параметризованных типов
• [SPARK-48393] [SC-166784][PYTHON] Перемещение группы констант в pyspark.util
• [SPARK-48372] [SC-166776][SPARK-45716][PYTHON] Орудие StructType.treeString
• [SPARK-48258] [SC-166467][PYTHON][CONNECT] Контрольная точка и localCheckpoint в Spark Connect

Ознакомьтесь с обновлениями обслуживания Databricks Runtime 15.4 LTS.

Системная среда

• Операционная система: Ubuntu 22.04.4 LTS
• Java: Zulu 8.78.0.19-CA-linux64
• Scala: 2.12.18
• Python: 3.11.0
• R: 4.3.2
• Delta Lake: 3.2.0

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Posit диспетчер пакетов CRAN.

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)