Databricks Runtime 9.1 LTS

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 9.1 LTS и Databricks Runtime 9.1 LTS Photon на базе Apache Spark 3.1.2. Databricks выпустила эту версию в сентябре 2021 года. Photon сейчас находится в режиме общедоступной предварительной версии.

Новые функции и внесенные улучшения

• Подсказки схемы автоматического загрузчика теперь работают с типами массивов и сопоставлений
• Поддержка файлов Avro для схемы слияния
• Поддержка добавочных списков для автозагрузчика (общедоступная предварительная версия)
• Delta теперь поддерживает произвольные инструкции replaceWhere
• Автозагрузчик для Google Cloud теперь поддерживает уведомления о файлах (общедоступная предварительная версия)
• Предложение CREATE FUNCTION теперь поддерживает создание табличных функций
• Источник потоковой передачи Kafka теперь передает метрику estimatedTotalBytesBehindLatest
• Для структур внутри массивов инструкция Delta MERGE INTO теперь разрешает поля структуры по имени и меняет схемы структуры

Подсказки схемы автоматического загрузчика теперь работают с типами массивов и сопоставлений

Типы массивов и карт поддерживаются в выводе схемы Переопределения с указанием схемы для автозагрузчика.

Примеры подсказок схемы для массивов:

1. arr Array<TYPE> изменяет тип массива.
2. arr.element TYPE изменяет тип массива (с помощью ключевого слова element).
3. arr.element.x TYPE изменяет тип вложенного поля в массиве структур.

Первые два примера — подсказки для изменения типа массива с arr на TYPE, но в них используется другой синтаксис. В третьем примере arr — это массив структур с полем x. В этом примере показано, как изменить тип x на TYPE.

Примеры подсказок схемы для сопоставлений:

1. m Map<KEY-TYPE, VALUE-TYPE> изменяет типы ключей и значений сопоставлений.
2. m.key TYPE изменяет тип ключей сопоставлений.
3. m.value TYPE изменяет тип значений сопоставлений.
4. m.key.x TYPE изменяет тип поля в ключе сопоставления.
5. m.value.x TYPE изменяет тип поля для значения сопоставления.

В первом примере тип ключа и значения сопоставления m изменяется на KEY_TYPE и VALUE_TYPE соответственно. Второй и третий примеры можно использовать, если необходимо изменить только тип ключа или только тип значения. В четвертом и пятом примерах m — это схема с ключом и значением типа структуры с полем x. В этом примере показано, как изменить тип x на TYPE.

Поддержка файлов Avro для схемы слияния

Формат файла Avro теперь поддерживает параметр mergeSchema при чтении файлов. При значении true параметра mergeSchema при чтении файлов Avro схема выводится из набора файлов Avro, а не из одного файла. Это повышает удобство за счет применения схемы, которая позволяет считывать все файлы, даже если у них разные схемы. См. раздел Конфигурация.

Поддержка добавочных списков для автозагрузчика (общедоступная предварительная версия)

При работе с лексикографически созданными файлами в автозагрузчике теперь применяются лексическое упорядочение файлов и существующие оптимизированные интерфейсы API, что повышает эффективность операций получения списка каталогов за счет использования списков ранее принятых файлов, а не перечисления содержимого всего каталога. Автозагрузчик автоматически определяет, подходит ли данный каталог для получения добавочного списка по умолчанию. Для явного управления этим режимом установите для нового параметра cloudFiles.useIncrementalListing значение "Вкл." (true), "Выкл." (false) или "Автоматически" (auto). Если выбрать режим true, можно также настроить параметр cloudFiles.backfillInterval для планирования заполнения задним числом, чтобы гарантировать полный прием всех данных.

Delta теперь поддерживает произвольные инструкции replaceWhere

Параметр replaceWhere в сочетании с режимом перезаписи можно использовать для одновременной перезаписи данных, которые соответствуют предикату, определенному в параметре. Ранее предикат replaceWhere поддерживался только для столбцов секционирования, но теперь он может быть произвольным выражением. См. раздел Запись в таблицу.

Автозагрузчик для Google Cloud теперь поддерживает уведомления о файлах (общедоступная предварительная версия).

Автозагрузчик теперь поддерживает режим уведомления о файлах в Google Cloud. Установите .option("cloudFiles.useNotifications", "true"), чтобы разрешить автозагрузчику автоматически настраивать для вас ресурсы Pub/Sub Google Cloud. При использовании режима уведомления о файлах новые файлы обнаруживаются и принимаются по мере их поступления без получения списка входного каталога. См. раздел "Что такое режим уведомлений о файлах автозагрузчика?".

Предложение CREATE FUNCTION теперь поддерживает создание табличных функций

Помимо скалярной функции, возвращающей скалярное значение, теперь можно создать табличную функцию, возвращающую набор строк. См. раздел CREATE FUNCTION (SQL и Python).

Источник потоковой передачи Kafka теперь передает метрику estimatedTotalBytesBehindLatest

Теперь источник потоковой передачи Kafka сообщает о том, сколько байтов потребителю осталось до последнего доступного байта после каждого пакета. Эту метрику можно использовать для отслеживания хода выполнения потока. См. сведения о метриках Kafka.

Пример выходных данных метрики:

StreamingQueryProgress {
  "batchId": 0,
  .....
  "sources": [ {
    "description" : "KafkaV2[Subscribe[topic-0]]",
    "metrics":{
      "avgOffsetsBehindLatest" : "1.0",
      "estimatedTotalBytesBehindLatest" : "80.0", // new
      "maxOffsetsBehindLatest" : "1",
      "minOffsetsBehindLatest" : "1"
    } ],
  ....
 }

Для структур внутри массивов инструкция Delta MERGE INTO теперь разрешает поля структуры по имени и меняет схемы структуры

Delta MERGE INTO теперь поддерживает разрешение полей структур по имени и автоматическое изменение схемы для массивов структур. Если автоматическое изменение схемы включено (для параметра spark.databricks.delta.schema.autoMerge.enabled задано значение true), то предложения UPDATE и INSERT разрешают поля структур в массиве по имени путем приведения к соответствующему типу данных, определенному в целевом массиве, и заполнения дополнительных или отсутствующих полей в источнике или целевом объекте значениями NULL. Если автоматическое изменение схемы отключено, предложения UPDATE и INSERT разрешают поля структуры внутри массива по имени, но не могут изменять дополнительные поля. См. схему таблицы Delta Lake.

Исправления ошибок

• Исправлена утечка памяти в соединителе Amazon S3, которая могла возникнуть в длительно выполняющихся заданиях или службах и вызывалась функциями DeleteOnExit виртуальной машины Java.

Обновления библиотек

• Обновленные библиотеки Python:
  • plotly с 4.14.3 до 5.1.0
• Обновленные библиотеки R:
  • base с 4.1.0 до 4.1.1
  • bslib с 0.2.5.1 до 0.3.0
  • cachem с 1.0.5 до 1.0.6
  • compiler с 4.1.0 до 4.1.1
  • datasets с 4.1.0 до 4.1.1
  • future с 1.21.0 до 1.22.1
  • gert с 1.3.1 до 1.3.2
  • graphics с 4.1.0 до 4.1.1
  • grDevices с 4.1.0 до 4.1.1
  • grid с 4.1.0 до 4.1.1
• Обновленные библиотеки Java:
  • org.eclipse.jetty с 9.4.36.v20210114 до 9.4.42.v20210604

Apache Spark

Databricks Runtime 9.1 LTS включает Apache Spark 3.1.2. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 9.0 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-36674][SQL][CHERRY-PICK] поддержка ILIKE — LIKE без учета регистра
• [SPARK-36353][SQL][3.1] Операторы RemoveNoopOperators должны сохранять выходную схему
• [SPARK-35876][SQL][3.1] ArraysZip должен хранить имена полей, чтобы избежать перезаписи анализатором/оптимизатором
• [SPARK-36398][SQL] Скрытие конфиденциальных данных в журнале сервера Thrift Spark
• [SPARK-36498][SQL] Изменение порядка внутренних полей входного запроса в операции записи byName V2
• [SPARK-36614][CORE][UI] Исправление причины потери исполнителя из-за вывода из эксплуатации в пользовательском интерфейсе
• [SPARK-36012][SQL] Добавление флага null в SHOW CREATE TABLE
• [SPARK-36509][CORE] Устранение проблемы, при которой исполнители не перепланируются, если рабочая роль останавливает работу в автономном кластере
• [SPARK-36603][CORE] Использование WeakReference вместо SoftReference в LevelDB
• [SPARK-36564][CORE] Исправление NullPointerException в LiveRDDDistribution.toApi
• [SPARK-36086][SQL][3.1] В псевдониме замены CollapseProject должно использоваться исходное имя столбца
• [SPARK-33527][SQL] Расширение функции декодирования в соответствии с наиболее распространенными базами данных
• [SPARK-36400][SPART-36398][SQL][WEBUI] Распознавание модулем ThriftServer выражения spark.sql.redaction.string.regex
• [SPARK-34054][CORE] Очистка кода BlockManagerDecommissioner
• [SPARK-36500][CORE] Исправление утечки файлов temp_shuffle при прерывании задачи
• [SPARK-36489][SQL] Агрегатные функции без ключей группирования в таблицах с одним контейнером возвращают несколько строк
• [SPARK-36464][CORE] Исправление инициализации переменной размера в ChunkedByteBufferOutputStream для записи более 2 ГБ данных
• [SPARK-36339][SQL][3.0] Ссылки на группирование, которое не входит в агрегат, должны быть заменены
• [SPARK-36354][CORE] Модуль EventLogFileReader должен пропускать циклические каталоги журналов событий без журналов
• [SPARK-36242][CORE][3.1] Файл сброса данных должен быть закрыт перед установкой параметра success = true в методе ExternalSorter.spillMemoryIteratorToDisk
• [SPARK-36211][Python] Правильный ввод возвращаемого значения udf
• [SPARK-34222][SQL] Улучшение логического правила упрощения
• [SPARK-35027][CORE] Закрытие InputStream в FileAppender при записи...
• [SPARK-36269][SQL] Исправление только установленных столбцов данных на конфигурацию имен столбцов Hive
• [SPARK-36213][SQL] Нормализация PartitionSpec для команды описания таблицы с использованием PartitionSpec
• [SPARK-36210][SQL] Сохранение порядка вставки столбцов в Dataset.withColumns
• [SPARK-36079][SQL] Оценка фильтра, основанного на Null, должна всегда находиться в диапазоне [0, 1]
• [SPARK-28266][SQL] convertToLogicalRelation не должно интерпретировать свойство path при чтении таблиц Hive

Обновления в рамках обслуживания

См. раздел Служебные обновления Databricks Runtime 9.1 LTS.

Системная среда

• Операционная система: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.10
• Python: 3.8.10
• R: 4.1.1
• Delta Lake: 1.0.0

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft Cran от 08.09.2021.

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)