Databricks Runtime 10.3 (EoS)

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 10.3 и Databricks Runtime 10.3 Photon на базе Apache Spark 3.2.1. Photon сейчас находится в режиме общедоступной предварительной версии. Databricks выпустила эту версию в феврале 2022 года.

Новые функции и внесенные улучшения

• Редакторы Parquet и Avro теперь используют часовой пояс сеанса при перемещении меток времени в источниках данных Parquet
• Новые функции в Spark SQL
• Слияние с малым перемешиванием теперь общедоступно
• Новые функции COPY INTO: режим проверки и эволюция схемы
• Столбцы удостоверений теперь поддерживаются в разностных таблицах (общедоступная предварительная версия)

Редакторы Parquet и Avro теперь используют часовой пояс сеанса при перемещении меток времени в источниках данных Parquet

Модули записи Parquet и Avro теперь используют часовой пояс сеанса при перемещении метки времени в режиме legacy вместо использования часового пояса виртуальной машины Java по умолчанию. По умолчанию для сеанса установлен часовой пояс виртуальной машины Java.

Новые функции в Spark SQL

В этом выпуске теперь поддерживаются следующие функции Spark SQL.

• aes_decrypt: расшифровывает входные данные с помощью AES.
• aes_encrypt: шифрует входные данные с помощью AES.
• contains: определяет, содержит ли выражение другое выражение.
• endswith: определяет, содержит ли выражение в конце другое выражение.
• percentile_cont: возвращает значение процентиля.
• startswith: определяет, содержит ли выражение в начале другое выражение.

Слияние с малым перемешиванием теперь общедоступно

Команда Delta MERGE INTO использует методику, которая называется слиянием с малым перемешиванием при котором уменьшается перемешивание неизмененных строк. Это позволяет повысить производительность команды и сохранить существующую кластеризацию в таблице, например Z-упорядочивание. Эта функция появилась в Databricks Runtime 9.0 для общедоступной предварительной версии и теперь стала общедоступной. Чтобы включить слияние с малым перемешиванием, задайте для spark.databricks.delta.merge.enableLowShuffle значение true. Дополнительные сведения см. в статье Слияние с малым перемешиванием в Azure Databricks.

Новые функции COPY INTO: режим проверки и эволюция схемы

Режим проверки: COPY INTO теперь поддерживает режим VALIDATE, в котором данные, загружаемые в таблицу, проверяются, но не записываются в таблицу. Эти проверки включают:

• Можно ли анализировать данные.
• Соответствует ли схема таблице, или требуется доработка схемы.
• Соблюдены ли все ограничения допустимости значений NULL и проверки.

Пример использования:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
VALIDATE [ALL | <num-rows> ROWS]

По умолчанию выполняется проверка всех загружаемых данных. Можно указать число строк, которые нужно проверить, используя ключевое слово ROWS, например VALIDATE 15 ROWS. Инструкция COPY INTO возвращает предварительный просмотр данных размером 50 строк или меньше, если с ключевым словом ROWS используется число меньше 50.

Эволюция схемы: COPY INTO теперь поддерживает эволюция схем с помощью параметра mergeSchema в COPY_OPTIONS. Для эволюции схемы таблицы необходимо иметь разрешения OWN для таблицы.

Пример использования:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
COPY_OPTIONS ('mergeSchema' = 'true')

См. раздел COPY INTO.

Столбцы удостоверений теперь поддерживаются в разностных таблицах (общедоступная предварительная версия)

Delta Lake теперь поддерживает столбцы идентификаторов. Если вы записываете данные в разностную таблицу, определяющую столбец идентификаторов, и не предоставляете значения для этого столбца, Delta теперь автоматически назначает уникальное и статистическое увеличение или уменьшение значения. См. CREATE TABLE [USING].

Обновления библиотек

• Обновленные библиотеки Python:
  • distlib с 0.3.3 до 0.3.4
  • filelock с 3.4.0 до 3.4.2
  • numpy с 1.19.2 до 1.20.1
  • plotly с 5.3.1 до 5.5.0
• Обновленные библиотеки R:
  • backports с 1.4.0 до 1.4.1
  • brio с 1.1.2 до 1.1.3
  • broom с 0.7.10 до 0.7.11
  • class с 7.3-19 до 7.3-20
  • cpp11 с 0.4.1 до 0.4.2
  • DBI с 1.1.1 до 1.1.2
  • devtools с 2.4.2 до 2.4.3
  • digest с 0.6.28 до 0.6.29
  • dtplyr с 1.1.0 до 1.2.0
  • fansi с 0.5.0 до 1.0.2
  • foreign с 0.8-81 до 0.8-82
  • fs с 1.5.0 до 1.5.2
  • gert с 1.4.3 до 1.5.0
  • glue с 1.5.0 до 1.6.0
  • httpuv с 1.6.3 до 1.6.5
  • jsonlite с 1.7.2 до 1.7.3
  • knitr с 1.36 до 1.37
  • MASS с 7.3-54 до 7.3-55
  • Matrix с 1.3-4 до 1.4-0
  • nlme с 3.1-152 до 3.1-155
  • nnet с 7.3-16 до 7.3-17
  • openssl с 1.4.5 до 1.4.6
  • parallelly с 1.29.0 до 1.30.0
  • pkgbuild с 1.2.0 до 1.3.1
  • pkgload с 1.2.3 до 1.2.4
  • progressr с 0.9.0 до 0.10.0
  • Rcpp с 1.0.7 до 1.0.8
  • readr с 2.1.0 до 2.1.1
  • remotes с 2.4.1 до 2.4.2
  • RSQLite с 2.2.8 до 2.2.9
  • sessioninfo с 1.2.1 до 1.2.2
  • sparklyr с 1.7.2 до 1.7.4
  • testthat с 3.1.0 до 3.1.1
  • tinytex с 0.35 до 0.36
  • usethis с 2.1.3 до 2.1.5
  • vroom с 1.5.6 до 1.5.7
  • withr с 2.4.2 до 2.4.3
  • xfun с 0.28 до 0.29
  • xml2 с 1.3.2 до 1.3.3
• Обновленные библиотеки Java:
  • dev.ludovic.netlib.arpack с 1.3.2 до 2.2.1
  • dev.ludovic.netlib.blas с 1.3.2 до 2.2.1
  • dev.ludovic.netlib.lapack с 1.3.2 до 2.2.1
  • io.delta.delta-sharing-spark_2.12 с 0.2.0 до 0.3.0

Apache Spark

Databricks Runtime 10.3 включает Apache Spark 3.2.1. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 10.2 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-37896] [SQL] Реализация ConstantColumnVector и повышение производительности скрытых метаданных файлов
• [SPARK-37924] [SQL] Сортировка свойств таблицы по ключу в представлении SHOW CREATE TABLE on VIEW (v1)
• [SPARK-37636] [SQL] Перенос CREATE NAMESPACE для использования команды версии 2 по умолчанию.
• [SPARK-37381] [SQL] Унификация версий v1 и v2 тестов SHOW CREATE TABLE
• [SPARK-37876] [CORE][SQL] Перемещение SpecificParquetRecordReaderBase.listDirectory в TestUtils
• [SPARK-37854] [CORE] Замена проверки типа на сопоставление шаблонов в коде Spark
• [SPARK-36967] [CORE] Сообщение точного размера перемешанного блока в случае неравномерных данных в нем
• [SPARK-37864] [SQL] Поддержка использования кодировки RLE для логических значений векторного чтения в Parquet DataPage V2
• [SPARK-37862] [SQL] RecordBinaryComparator должен быстро пропустить проверку согласованности с несогласованной платформой
• [SPARK-37855] [SQL] Ошибка IllegalStateException при преобразовании массива внутри вложенной структуры
• [SPARK-37858] [SQL] Отображение SparkRuntimeException с классами ошибок из функций AES
• [SPARK-37841] [SQL] В BasicWriteTaskStatsTracker не должна предприниматься попытка получения состояния для пропущенного файла
• [SPARK-37860] [UI] Исправление taskindex в шкале времени события задачи для страницы этапа
• [SPARK-36879] [SQL] Поддержка кодировки страниц данных Parquet v2 (DELTA_BINARY_PACKED) для векторного пути
• [SPARK-37828] [SQL] Передача фильтров по RebalancePartitions
• [SPARK-37802] [SQL][3.2] Составное имя поля должно работать с общей передачей
• [SPARK-37826] [SQL] Использование имени кодека zstd в именах файлов ORC для hive orc impl
• [SPARK-37820] [SQL] Замена ApacheCommonBase64 на JavaBase64 для строковых функций
• [SPARK-37832] [SQL] В преобразователе структур Orc должен использоваться массив для поиска преобразователей полей, а не связанный список
• [SPARK-37786] [SQL] StreamingQueryListener поддерживает использование SQLConf.get для получения соответствующих данных SQLConf состояния сеанса
• [SPARK-37527] [SQL] Перевод более стандартных агрегатных функции для pushdown
• [SPARK-37777] [SQL] Обновление синтаксиса SQL для SHOW FUNCTIONS
• [SPARK-8582] [CORE] Готовая контрольная точка, когда она требуется для действительных чисел
• [SPARK-37822] [SQL] StringSplit должен возвращать массив элементов, отличных от null
• [SPARK-37812] [SQL] При десериализации структуры Orc по возможности повторно использовать строку результатов
• [SPARK-37367] [SQL] Повторное включение проверки исключений в DDLParserSuite.create view — базовая
• [SPARK-37796] [SQL] ByteArrayMethods arrayEqual должен быстро пропустить проверку согласованности с несогласованной платформой
• [SPARK-37817] [SQL][Minor] Удаление недостижимого кода в complexTypeExtractors.scala
• [SPARK-37807] [SQL] Исправление опечатки в сообщении HttpAuthenticationException
• [SPARK-37750] [SQL] Режим ANSI: дополнительный возврат результата null, если элемент не существует в массиве или сопоставлении
• [SPARK-37789] [SQL] Добавление класса для представления общих агрегатных функций в DS V2
• [SPARK-37785] [SQL][CORE] Добавление Utils.isInRunningSparkTask
• [SPARK-37780] [SQL] Поддержка в QueryExecutionListener использования SQLConf.get для получения соответствующих данных SQLConf состояния сеанса
• [SPARK-37783] [SS][SQL][CORE] Включение заключительной рекурсии везде, где это возможно
• [SPARK-37726] [SQL] Добавление метрик размера сброса для sort merge join
• [SPARK-37800] [SQL] TreeNode.argString неправильно форматирует аргументы типа Set[_]
• [SPARK-37716] [SQL] Улучшение сообщений об ошибках, когда LateralJoin содержит недетерминированные выражения
• [SPARK-37779] [SQL] Обеспечение возможности канонизации плана ColumnarToRowExec после (де)сериализации
• [SPARK-37578] [SQL] Обновление метрик задач из настраиваемых метрик ds v2
• [SPARK-37676] [SQL] Поддержка агрегатной функции ANSI: percentile_cont
• [SPARK-37724] [SQL] Режим ANSI: отключение зарезервированных ключевых слов ANSI по умолчанию
• [SPARK-37705] [SQL][3.2] Перемещение меток времени в часовом поясе сеанса, сохраненных в метаданных Parquet/Avro
• [SPARK-34755] [SQL] Поддержка служебных программ для преобразования числового формата
• [SPARK-36703] [SQL] Удаление сортировки, если она является дочерней для RepartitionByExpression
• [SPARK-37369] [SQL] Избегайте избыточного перехода ColumnarToRow в InMemoryTableScan
• [SPARK-37450] [SQL] Удаление ненужных полей из Generate
• [SPARK-37728] [SQL] Чтение вложенных столбцов с помощью векторного считывателя ORC может приводить к ошибке ArrayIndexOutOfBoundsException
• [SPARK-37564] [SQL] Добавление генератора кода для сортировки статистических знаний без группирования ключей
• [SPARK-37659] [UI][3.2] Исправление состояния гонки FsHistoryProvider между данными list и delet log info
• [SPARK-37727] [SQL] Отображение пропущенных confs и скрытие предупреждений для конфессии, уже установленного в SparkSession.builder.getOrCreate
• [SPARK-37391] [SQL]JdbcConnectionProvider сообщает, изменяет ли он контекст безопасности
• [SPARK-37273] [SQL] Поддержка скрытых столбцов метаданных файлов в SPARK SQL
• [SPARK-36876] [SQL] Поддержка очистки динамических разделов для HiveTableScanExec
• [SPARK-37546] [SQL] Команда V2 ReplaceTableAsSelect должна определять расположение
• [SPARK-37545] [SQL] Команда V2 CreateTableAsSelect должна определять расположение
• [SPARK-37707] [SQL] Разрешение назначения хранилища и неявного приведения типов даты и времени
• [SPARK-37644] [SQL] Поддержка полного включения агрегатных источников данных v2
• [SPARK-37695] [CORE][SHUFFLE] Пропуск диагностики объединенных блоков OB В перемешивании отправляемых данных
• [SPARK-35295] [ML] Полная замена com.github.fommil.netlib на dev.ludovic.netlib:2.0
• [SPARK-37694] [SQL] Запрет на удаление ресурсов в интерфейсе командной строки SPARK SQL
• [SPARK-37330] [SQL] Перенос ReplaceTableStatement в команду v2
• [SPARK-27974] [SQL] Поддержка агрегатной функции ANSI: array_agg
• [SPARK-36902] [SQL] Перенос CreateTableAsSelectStatement в команду v2
• [SPARK-37678] [PYTHON] Исправление сигнатуры _cleanup_and_return
• [SPARK-37613] [SQL] Поддержка агрегатной функции ANSI: regr_count
• [SPARK-37689] [SQL] В PropagateEmptyRelation должно поддерживаться расширение
• [SPARK-37654] [SQL] Исправление NPE в Row.getSeq, если поле имеет значение Null
• [SPARK-37496] [SQL] Перенос ReplaceTableAsSelectStatement в команду v2
• [SPARK-37483] [SQL] Поддержка принудительной отправки первых N в источник данных JDBC версии 2
• [SPARK-37577] [SQL] Исправление ClassCastException: ArrayType не может быть приведен к типу StructType для Generate Pruning
• [SPARK-37310] [SQL] Перенос ALTER NAMESPACE … НАСТРОЙКА СВОЙСТВ для использования команд V2 по умолчанию
• [SPARK-37501] [SQL] CREATE/REPLACE TABLE должно определять расположение для команды v2.
• [SPARK-37343] [SQL] РеализацияcreateIndex, IndexExists и dropIndex в JDBC (диалект Postgres)
• [SPARK-37060] [CORE][3.2] Обработка ответа с данными о состоянии драйвера от основных устройств резервного копирования
• [SPARK-37629] [SQL] Ускорение Expression.canonicalized
• [SPARK-37633] [SQL] Приведение отключения переноса должно быть пропущено, если произошел сбой при преобразовании с помощью...
• [SPARK-37631] [SQL] Очистка кода для преобразования строк в тип double в математических функциях
• [SPARK-37569] [SQL] Не помечать поля вложенного представления как допускающие значения null
• [SPARK-37557] [SQL] Замена хэш-кода объекта агрегатной функцией сортировки, если дочерний элемент уже отсортирован
• [SPARK-36850] [SQL] Перенос CreateTableStatement на платформу команд v2
• [SPARK-37592] [SQL] Повышение производительности JoinSelection
• [SPARK-37217] [SQL] Число динамических разделов должно быть ранним образом проверяться при записи во внешние таблицы
• [SPARK-37584] [SQL] Новая функция SQL: map_contains_key
• [SPARK-37455] [SQL] Замена хэш-кода объекта агрегатной функцией сортировки, если дочерний элемент уже отсортирован
• [SPARK-34735] [SQL][UI] Добавление измененных конфигураций для выполнения SQL в пользовательском интерфейсе
• [SPARK-37540] [SQL] Обнаружение более неподдерживаемого перехода по времени
• [SPARK-37376] [SQL] Представление нового интерфейса DataSource V2 HasPartitionKey
• [SPARK-37666] [SQL] Установите GCM в качестве режима по умолчанию в aes_encrypt()/aes_decrypt()
• [SPARK-37573] [SQL] IsolatedClientLoader должен переключаться на связанную версию, а не всегда на hadoop-2.7.4
• [SPARK-37561] [SQL] Предотвращение загрузки всех функций при получении DelegationToken hive
• [SPARK-37370] [SQL] Добавление конфигураций SQL для управления недавно добавленным кодом join code-gen в 3.3
• [SPARK-37311] [SQL] Перенос ALTER NAMESPACE … Использование по умолчанию команды v2 в SET LOCATION
• [SPARK-37192] [SQL] Миграция SHOW TBLPROPERTIES для использования команды V2 по умолчанию
• [SPARK-37219] [SQL] Добавление поддержки синтаксиса AS OF
• [SPARK-37316] [SQL] Добавление генератора кода для соединения слиянием сортированных списков
• [SPARK-37591] [SQL] Поддержка режима Google Cloud Messaging в aes_encrypt()/aes_decrypt()
• [SPARK-37586] [SQL] Добавление аргументов mode и padding в aes_encrypt()/aes_decrypt()
• [SPARK-12567] [SQL] Добавление встроенных функций aes_encrypt и aes_decrypt
• [SPARK-37392] [SQL] Исправление ошибку производительности при определении ограничений для создания
• [SPARK-37481] [Core][WebUI] Исправление исчезновения пропущенных этапов после повторной попытки
• [SPARK-37533] [SQL] Новая функция SQL: try_element_at
• [SPARK-37451] [SQL] Исправление тип строки приведения в десятичный тип, если включен параметр spark.sql.legacy.allowNegativeScaleOfDecimal
• [SPARK-37062] [SS] Добавление нового источника данных для обеспечения постоянного набора строк в каждом микропакете
• [SPARK-37552] [SQL] Добавление функцию convert_timezone()
• [SPARK-37555] [SQL] spark-sql должен передавать последний незакрытый комментарий в серверную часть
• [SPARK-37286] [SQL] Перенос compileAggregates из JDBCRDD в JdbcDialect
• [SPARK-37485] [CORE][SQL] Замена map на выражения, которые не дают результата с foreach
• [SPARK-37556] [SQL] Ошибка десериализации класса void с сериализацией Java
• [SPARK-37520] [SQL] Добавление строковых функций startswith() и endswith()
• [SPARK-37471] [SQL] поддержка spark-sql ;во вложенных комментариях в квадратных скобках
• [SPARK-37360] [SQL] Поддержка TimestampNTZ в источнике данных JSON
• [SPARK-37508] [SQL] Добавление строковой функции CONTAINS()
• [SPARK-37494] [SQL] Унификация вывода параметров v1 и v2 команды SHOW CREATE TABLE
• [SPARK-37524] [SQL] Необходимо удалить все таблицы после тестирования динамического удаления разделов.
• [SPARK-37389] [SQL] Проверка незакрытой скобки комментариев
• [SPARK-37220] [SQL] Не разделять входной файл для модуля чтения Parquet с помощью агрегатной функции push-уведомлений
• [SPARK-37326] [SQL] Поддержка TimestampNTZ в источнике данных CSV
• [SPARK-35867] [SQL] Включение векторного чтение для VectorizedPlainValuesReader.readBooleans
• [SPARK-37484] [CORE][SQL] Замена get и getOrElse на getOrElse
• [SPARK-37492] [SQL] Оптимизация кода теста Orc с помощью withAllNativeOrcReaders
• [SPARK-37458] [SS] Удаление ненужного объекта SerializeFromObject из плана foreachBatch

Обновления в рамках обслуживания

См. статью Обновления в рамках обслуживания Databricks Runtime 10.3.

Системная среда

• Операционная система: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14.
• Python: 3.8.10
• R: 4.1.2
• Delta Lake: 1.1.0

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft Cran от 19.01.2022.

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)