Databricks Runtime 10.5 (EoS)

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 10.5 на платформе Apache Spark 3.2.1. Databricks выпустила эту версию в мае 2022 года.

Новые функции и внесенные улучшения

• SQL: новые функции to_number и try_to_number
• SQL: новая функция try_sum
• SQL: обновление функций ceil, ceiling и floor
• SQL: новые агрегатные функции regr_avgx и regr_avgy
• SQL: обновление функций contains, startswith и endswith
• SQL: новая функция array_size
• Каталог Unity: выходные данные SQL LIST удаляют столбец is_directory и добавляют конечный символ / к путям к каталогам (общедоступная предварительная версия)
• Автозагрузчик: новая функция SQLCLOUD_FILES_STATE
• Автозагрузчик: поддержка уведомлений о файлах теперь общедоступна
• Delta Lake: новый параметр maxRecordsPerFile для максимального числа записей в одном файле
• Прекращение поддержки Koalas
• Новый столбец _metadata для всех форматов файлов
• Тестирование конвейера разностных динамических таблиц с помощью Databricks Runtime 10.5

SQL: новые функции to_number и try_to_number

Функции to_number и try_to_number позволяют преобразовывать символьные представления чисел в различных форматах в формат DECIMAL.

SQL: новая функция try_sum

В отличие от sum, агрегатная функция try_sum возвращает значение NULL вместо ошибки при переполнении.

SQL: обновление функций ceil, ceiling и floor

Функции ceil, ceiling и floor теперь поддерживают второй необязательный аргумент, позволяющий указать требуемую точность округления.

SQL: новые агрегатные функции regr_avgx и regr_avgy

Новые агрегатные функции regr_avgx и regr_avgy поддерживают линейные регрессии.

SQL: обновление функций contains, startswith и endswith

Функции contains, startswith и endswith теперь поддерживают в качестве входных данных не только строки, но и двоичные типы данных.

SQL: новая функция array_size

Новая функция array_size вычисляет размер массива.

Каталог Unity: выходные данные SQL LIST удаляют столбец is_directory и добавляют конечный символ / к путям к каталогам (общедоступная предварительная версия)

Выходные данные инструкции SQL LIST для перечисления путей, управляемых каталогом Unity, изменились. Столбец is_directory больше не отображается. Вместо этого пути, представляющие каталоги, теперь заканчиваются косой чертой (/) для столбцов path и name. Это изменение предназначено для обеспечения согласованности с выходными данными команды dbutils.fs.ls.

Автозагрузчик: новая функция SQL CLOUD_FILES_STATE

Новую функцию CLOUD_FILES_STATE можно использовать для запроса внутреннего состояния потока автозагрузчика. См. раздел Запрашивание файлов, обнаруженных автозагрузчиком.

Автозагрузчик: поддержка уведомлений о файлах теперь общедоступна

Поддержка уведомлений о файлах для автозагрузчика в Google Cloud теперь является общедоступной.

Delta Lake: новый параметр maxRecordsPerFile для максимального числа записей в одном файле

При использовании API DataFrame для записи в таблицу Delta можно указать максимальное количество записей в одном файле с помощью параметра maxRecordsPerFile. Указание нулевого или отрицательного значения означает отсутствие ограничения. Сведения о настройке Delta Lake для управления размером файла данных.

Прекращение поддержки Koalas

Koalas больше не поддерживается. Koalas предоставляет API pandas на основе Apache Spark. Проект Koalas разрабатывался сообществом и был доступен в виде API pandas в Spark начиная с версии Apache Spark 3.2. Проект Koalas по-прежнему предустановлен в Databricks Runtime 10.5, но он больше не будет предустанавливаться начиная со следующей версии Databricks Runtime.

Дополнительные сведения об API pandas в Spark см. по следующим ссылкам:

• API pandas в Spark в документации по Azure Databricks;
• API pandas в Spark в документации по Apache Spark;
• Миграция с Koalas на API pandas в Spark в документации по Apache Spark.

Новый столбец _metadata для всех форматов файлов

Вы можете получать сведения о метаданных для входных файлов из столбца _metadata. Столбец _metadata является скрытым. Этот столбец доступен для всех форматов входных файлов. Чтобы включить столбец _metadata в результирующий DataFrame, необходимо указать в запросе явную ссылку на этот столбец. См. также Столбец метаданных файла.

Тестирование конвейера разностных динамических таблиц с помощью Databricks Runtime 10.5

Databricks Runtime 10.5 теперь является поддерживаемой версией preview для разностных динамических таблиц. Чтобы протестировать работу конвейер с Databricks Runtime 10.5, задайте для параметра channel значение preview в параметрах этого конвейера.

Исправления ошибок

• Исправлено отображение результатов метрик numUpdatedRows и numCopiedRows для операций обновления в таблицах Delta, для которых включена функция отслеживания измененных данных (CDC).

Обновления библиотек

• Обновленные библиотеки Python:
  • plotly — с версии 5.5.0 до 5.6.0.
• Обновленные библиотеки R:
  • base — с версии 4.1.2 до 4.1.3;
  • caret — с версии 6.0-90 до 6.0-91;
  • cluster — с версии 2.1.2 до 2.1.3;
  • commonmark — с версии 1.7 до 1.8.0;
  • compiler  — с версии 4.1.2 до 4.1.3;
  • crayon — с версии 1.5.0 до 1.5.1;
  • datasets — с версии 4.1.2 до 4.1.3;
  • desc — с версии 1.4.0 до 1.4.1;
  • fansi — с версии 1.0.2 до 1.0.3;
  • glue — с версии 1.6.1 до 1.6.2;
  • graphics — с версии 4.1.2 до 4.1.3;
  • grDevices — с версии 4.1.2 до 4.1.3;
  • grid — с версии 4.1.2 до 4.1.3;
  • knitr — с версии 1.37 до 1.38;
  • MASS — с версии 7.3-55 до 7.3-56;
  • Matrix — с версии 1.4-0 до 1.4-1;
  • methods — с версии 4.1.2 до 4.1.3;
  • mgcv — с версии 1.8-39 до 1.8-40;
  • nlme — с версии 3.1-155 до 3.1-157;
  • openssl — с версии 1.4.6 до 2.0.0;
  • parallel — с версии 4.1.2 до 4.1.3;
  • plyr — с версии 1.8.6 до 1.8.7;
  • processx — с версии 3.5.2 до 3.5.3;
  • r2d3 — с версии 0.2.5 до 0.2.6;
  • Rcpp — с версии 1.0.8 до 1.0.8.3;
  • rlang — с версии 1.0.1 до 1.0.2;
  • rmarkdown — с версии 2.11 до 2.13;
  • RSQLite — с версии 2.2.10 до 2.2.11;
  • sass — с версии 0.4.0 до 0.4.1;
  • splines — с версии 4.1.2 до 4.1.3;
  • stats — с версии 4.1.2 до 4.1.3;
  • stats4 — с версии 4.1.2 до 4.1.3;
  • tcltk — с версии 4.1.2 до 4.1.3;
  • tools — с версии 4.1.2 до 4.1.3;
  • utils — с версии 4.1.2 до 4.1.3;
  • uuid — с версии 1.0-3 до 1.0-4;
  • waldo — с версии 0.3.1 до 0.4.0;
  • withr — с версии 2.4.3 до 2.5.0;
  • xfun — с версии 0.29 до 0.30.
• Обновленные библиотеки Java:
  • com.h2database.h2 — с версии 1.4.195 до 2.1.210;
  • org.apache.hadoop.hadoop-client-api — с версии 3.3.1-databricks до 3.3.2-databricks;
  • org.apache.hadoop.hadoop-client-runtime — с версии 3.3.1 до 3.3.2.
  • org.rocksdb.rocksdbjni — с версии 6.24.2 до 6.20.3

Apache Spark

Databricks Runtime 10.5 включает Apache Spark 3.2.1. Этот выпуск включает в себя все исправления и улучшения Spark, добавленные в Databricks Runtime 10.4 LTS, а также следующие дополнительные исправления ошибок и улучшения Spark:

• [SPARK-38354] [SC-97886] Revert "[SQL] Добавление метрики хэш-проб для перемешанного хэш-соединения.
• [SPARK-38484] [SAS-103][SAS-111][SAS-113][SC-98102][Cherry-Pick] Инструментирование SQL-модуля PySpark с использованием общего средства ведения журнала.
• [SPARK-38333] [SQL] Выражение PlanExpression должно пропускать функцию addExprTree в исполнителе.
• [SPARK-38646] [PYTHON][10.x] Извлечение признака для функций Python.
• [SPARK-38674] [PHOTON] Добавление метрики в PhotonSubqueryBroadcastExec.
• [SPARK-38787] [SS] Замена найденного значения ненулевым элементом в оставшемся списке для ключа и удаление оставшихся нулевых элементов из значений в хранилище keyWithIndexToValue для соединений "поток — поток".
• [SPARK-38446] [Core] Исправлена взаимоблокировка между ExecutorClassLoader и FileDownloadCallback, вызванная Log4j.
• [SPARK-38705] [SQL] Использование идентификатора функции при создании и удалении команды функции.
• [SPARK-38684] [SS] Исправлена проблема корректности при внешнем соединении "поток — поток" с поставщиком хранилища состояний RocksDB.
• [SPARK-38655] [SQL] OffsetWindowFunctionFrameBase не может найти строку смещения, входные данные которой не равны NULL.
• [SPARK-38204] [SS] Использование StatefulOpClusteredDistribution для операторов с отслеживанием состояния с учетом обратной совместимости.
• [SPARK-38616] [SQL] Отслеживание текста запроса SQL в Catalyst TreeNode.
• [SPARK-38600] [SQL] Включение unit в строку SQL в TIMESTAMPADD/DIFF.
• [SPARK-34805] [SQL] Распространение метаданных из вложенных столбцов в псевдониме.
• [SPARK-38535] [SQL] Добавление перечисления datetimeUnit и его использование в TIMESTAMPADD/DIFF.
• [SPARK-38415] [SQL] Обновление типа результата histogram_numeric (x, y), чтобы сделать x == типом входных данных.
• [SPARK-38148] [SQL] Динамическое удаление секций не добавляется, если существует статическое удаление.
• [SPARK-37527] [SQL] Компиляция COVAR_POP, COVAR_SAMP и CORR в H2Dialet.
• [SPARK-38510] [SQL] Повторные попытки ClassSymbol.selfType для обхода циклических ссылок.
• [SPARK-38509] [SQL] Отмена регистрации функций TIMESTAMPADD/DIFF и удаление DATE_ADD/DIFF.
• [SPARK-38504] [SQL] TimestampNTZ не читается как TimestampLTZ.
• [SPARK-38526] [SQL] Исправление неверного имени псевдонима функции для RuntimeReplaceable.
• [SPARK-38335] [SQL] Реализация поддержки средства синтаксического анализа для значений столбцов по умолчанию.
• [SPARK-38593] [SS] Перенос метрики числа удаленных поздних событий в SessionWindowStateStoreSaveExec.
• [SPARK-38549] [SS] Добавление numRowsDroppedByWatermark в SessionWindowStateStoreRestoreExec.
• [SPARK-38583] [SQL] Восстановление поведения to_timestamp, позволяющего использовать числовые типы.
• [SPARK-38481] [SQL] Замена исключения переполнения Java из TIMESTAMPADD на исключение Spark.
• [SPARK-37753] [SQL] Настройка логики понижения уровня широковещательного хэш-соединения в DynamicJoinSelection.
• [SPARK-37582] [SPARK-37583][SQL] CONTAINS, STARTSWITH, ENDSWITH должны поддерживать как строковые, так и двоичные типы.
• [SPARK-38345] [SQL] Добавление функции SQL ARRAY_SIZE.
• [SPARK-38385] [SQL] Улучшение сообщений об ошибках "пустой оператор" и <EOF> в ParseException.
• [SPARK-37614] [SQL] Поддержка агрегатной функции ANSI: regr_avgx & regr_avgy
• [SPARK-38560] [SQL] Если Sum, Count, Any сопровождаются distinct, невозможно частично выполнить включение статических вычислений.
• [SPARK-38360] [SQL][SS][PYTHON] Добавление функции exists для TreeNode для устранения повторяющихся шаблонов кода.
• [SPARK-38385] [SQL] Улучшение сообщений об ошибках "несовпадение входных данных" из ANTLR.
• [SPARK-38240] [SQL] Улучшение RuntimeReplaceable и добавление руководства по добавлению новых функций.
• [SPARK-38542] [SQL]UnsafeHashedRelation должно сериализовать numKeys.
• [SPARK-38521] [SQL] Замена partitionOverwriteMode со строки на переменную в Scala.
• [SPARK-38558] [SQL] Удаление ненужных приведений между IntegerType и IntDecimal.
• [SPARK-38489] [SQL] Aggregate.groupOnly поддерживает свертываемые выражения.
• [SPARK-38410] [SQL] Поддержка указания начального номера секции для повторной балансировки.
• [SPARK-38107] [SQL] Классы ошибок теперь используются в ошибках компиляции определяемых пользователем функций Python/pandas.
• [SPARK-38354] [SQL] Добавление метрики хэш-проб для перемешанного хэш-соединения.
• [SPARK-38112] [SQL] Теперь классы ошибок используются в ошибках выполнения обработки меток даты и времени.
• [SPARK-38361] [SQL] Добавление фабричного метода getConnection в JDBCDialect.
• [SPARK-37865] [SQL] Исправлена ошибка правильности дедупликации объединения.
• [SPARK-38298] [SQL][Tests] Исправлены DataExpressionSuite, NullExpressionsSuite, StringExpressionsSuite, complexTypesSuite, CastSuite в режиме ANSI.
• [SPARK-38407] [SQL] Приведение ANSI: ослаблено ограничение на приведение ненулевых сложных типов.
• [SPARK-38352] [SQL] Исправлены DataFrameAggregateSuite/DataFrameSetOperationsSuite/DataFrameWindowFunctionsSuite в режиме ANSI.
• [SPARK-38054] [SQL] Поддержка перечисления пространств имен в диалекте MySQL JDBC версии 2.
• [SPARK-37960] [SQL] Новая платформа для представления выражений-катализаторов в API DS версии 2.
• [SPARK-38103] [SQL] Перенос анализа ошибок преобразования на новую платформу обработки ошибок.
• [SPARK-38519] [SQL] Исключение AQE должно учитывать SparkFatalException.
• [SPARK-38528] [SQL] Итерации по совокупной последовательности при построении списка проектов в ExtractGenerator.
• [SPARK-38320] [SS] Исправлено время ожидания flatMapGroupsWithState в пакете с данными для ключа.
• [SPARK-38442] [SQL] Исправлены ConstantFoldingSuite/ColumnExpressionSuite/DataFrameSuite/AdaptiveQueryExecSuite в режиме ANSI.
• [SPARK-38268] [SQL] Скрытие поля failOnError в методе toString в Abs/CheckOverflow.
• [SPARK-37949] [SQL] Усовершенствование оценки статистики повторной балансировки.
• [SPARK-38450] [SQL] Исправлены HiveQuerySuite//PushFoldableIntoBranchesSuite/TransposeWindowSuite в режиме ANSI.
• [SPARK-38501] [SQL] Исправлены сбои тестов thriftserver в режиме ANSI.
• [SPARK-37895] [SQL] Фильтрация столбца pushdown с помощью имен столбцов, заключенных в кавычки.
• [SPARK-38449] [SQL] Избежание вызова createTable, если ignoreIfExists=true и таблица существует.
• [SPARK-38406] [SQL] Повышение производительности ShufflePartitionsUtil createSkewPartitionSpecs.
• [SPARK-37947] [SQL] Извлечение генератора из выражения GeneratorOuter, содержащегося в операторе Generate.
• [SPARK-38309] [CORE] Исправлены метрики процентиля SHS shuffleTotalReads и shuffleTotalBlocks.
• [SPARK-38412] [SS] Исправлена последовательность from и to в StateSchemaCompatibilityChecker.
• [SPARK-38267] [CORE][SQL][SS] Сопоставления шаблонов в логических выражениях заменены условными операторами.
• [SPARK-38104] [SQL] Перенос анализа ошибок окон на новую платформу обработки ошибок.
• [SPARK-38434] [SQL] Исправлена семантика метода CheckAnalysis.getDataTypesAreCompatibleFn.
• [SPARK-38033] [SS] Обработка структурированной потоковой передачи не может быть запущена, так как commitId и offsetId не согласованы.
• [SPARK-38378] [SQL] Рефакторинг определения грамматики ANTLR в отдельные файлы Parser и Lexer.
• [SPARK-37475] [SQL] Добавление параметра масштабирования в функции floor и ceil.
• [SPARK-38411] [CORE] Использование UTF-8, если doMergeApplicationListingInternal считывает журналы событий.
• [SPARK-36553] [ML] KMeans не вычисляет вспомогательную статистику при больших значениях K.
• [SPARK-38393] [SQL] Удаление GenSeq/GenMap после прекращения поддержки.
• [SPARK-38389] [SQL] Добавление псевдонимов DATEDIFF() и DATE_DIFF() для TIMESTAMPDIFF().
• [SPARK-33206] [CORE][3.2] Исправлено вычисление веса кэша индекса Shuffle для небольших файлов индекса.
• [SPARK-38353] [PYTHON] Инструментирование магических методов enter иexit для API Pandas в Spark.
• [SPARK-38323] [SQL][Streaming] Поддержка скрытых метаданных файлов при потоковой передаче.
• [SPARK-38138] [SQL] Материализация вложенных запросов QueryPlan.
• [SPARK-38094] Включение сопоставления имен столбцов схемы по идентификаторам полей.
• [SPARK-37923] [SQL] Создание преобразований секций для BucketSpec внутри средства синтаксического анализа.
• [SPARK-38363] [SQL] Избежание ошибки времени выполнения в Dataset.summary()/Dataset.describe() при включенном режиме ANSI.
• [SPARK-38284] [SQL] Добавлена функция TIMESTAMPDIFF().
• [SPARK-38251] [SQL] Изменение Cast.toString на cast вместо ansi_cast в режиме ANSI.
• [SPARK-38314] [SQL] Исправлена ошибка чтения файлов Parquet после записи скрытых метаданных файлов

См. статью Обновления в рамках обслуживания Databricks Runtime 10.5.

Системная среда

• Операционная система: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14.
• Python: 3.8.10
• R: 4.1.3.
• Delta Lake: 1.2.1

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft Cran от 28.03.2022.

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)