Databricks Runtime 13.0 (EoS)

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 13.0, на базе Apache Spark 3.4.0.

Databricks выпустила эту версию в апреле 2023 года.

Новые функции и внесенные улучшения

• Выражения H3 теперь поддерживают линейные географические области
• Ганглия заменена метриками кластера
• Выпущена версия Spark 3.4.0
• Фотон возвращает ошибку, если файл изменяется между планированием запросов и выполнением
• Новые возможности прогнозного ввода-вывода
• Расширенная поддержка функций прогнозного ввода-вывода
• Использование соединителя Databricks для подключения к другой рабочей области Databricks
• Дополнительные параметры Kafka для структурированной потоковой передачи с общим кластером в каталоге Unity
• Пропуск изменений таблицы Delta с помощью структурированной потоковой передачи
• ФУНКЦИЯ CREATE TABLE LIKE для таблиц Delta
• Новые поля столбца метаданных, обозначающие начало и длину блока файлов
• Новые геопространственные функции H3
• Новые встроенные функции SQL
• %sql в записных книжках Python
• %pip не перезапускает Python автоматически
• Библиотеки Python с областью кластера устанавливаются с помощью пользователя, отличного от корневого пользователя

Выражения H3 теперь поддерживают линейные географические области

h3_coverash3string Теперь h3_coverash3 функции поддерживают линейныеlinestring (иmultilinestring) географические области. Функции создают минимальный набор ячеек H3 в указанном разрешении. См . h3_coverash3 и h3_coverash3string.

Ганглия заменена метриками кластера

Для Databricks Runtime версии 13 и выше метрики Ganglia заменяются метриками кластера Azure Databricks. Для Databricks Runtime версии 12 и ниже можно продолжать использовать метрики Ganglia. Если у вас есть рабочий процесс, который зависит от метрик Ganglia, которые не могут быть удовлетворены метриками кластера, обратитесь к группе учетной записи Azure Databricks. Просмотр метрик вычислений.

Выпущена версия Spark 3.4.0

Apache Spark 3.4.0 теперь общедоступен. См. версию Spark 3.4.0.

Фотон возвращает ошибку, если файл изменяется между планированием запросов и выполнением

Запросы фотона теперь возвращают ошибку, если файл обновляется между планированием запросов и выполнением. Перед этим изменением Photon считывает файл, даже если его время изменения между планированием запросов и выполнением, что может привести к непредсказуемым результатам.

Новые возможности прогнозного ввода-вывода

Photon теперь поддерживает скользящие кадры для режимов ROWS и RANGE, используя {ROWS | RANGE} BETWEEN offset_start { PRECEDING | FOLLOWING } AND offset_stop { PRECEDING | FOLLOWING }.

Расширенная поддержка функций прогнозного ввода-вывода

Расширенная поддержка фотона для CSV, AVRO, кэширования кадра данных, когда схема содержит скалярные столбцы. Поддержка также расширена для вложенных типов, таких как карты, структуры и массивы.

Использование соединителя Databricks для подключения к другой рабочей области Databricks

Соединитель Azure Databricks позволяет подключаться к вычислительным ресурсам, настроенным в другой рабочей области, и возвращать результаты в текущую рабочую область Azure Databricks. Драйвер JDBC Azure Databricks теперь входит в среду выполнения Databricks. См. раздел "Использование соединителя Databricks" для подключения к другой рабочей области Databricks.

Дополнительные параметры Kafka для структурированной потоковой передачи с общим кластером в каталоге Unity

Теперь вы можете использовать параметры kakfa.ssl.truststore.location и kafak.ssl.keystore.location хранить сертификаты Kafka во внешних расположениях, управляемых каталогом Unity, при использовании структурированной потоковой передачи в кластерах общего доступа. Нельзя использовать расположения в корневом каталоге DBFS.

Пропуск изменений таблицы Delta с помощью структурированной потоковой передачи

Теперь skipChangeCommits можно игнорировать фиксации изменений данных в разностную таблицу для UPDATEопераций MERGEи DELETE операций. Это заменяет ignoreChanges, что теперь устарело. См . раздел "Игнорировать обновления и удаления".

ФУНКЦИЯ CREATE TABLE LIKE для таблиц Delta

CREATE TABLE LIKE теперь поддерживается при использовании таблиц Delta.

Новые поля столбца метаданных, обозначающие начало и длину блока файлов

Теперь можно получить следующие сведения о метаданных для входных файлов с помощью столбца _metadata : file_block_start и file_block_length. Дополнительные сведения см. в столбце метаданных файла.

Новые геопространственные функции H3

Новые выражения h3_coverash3 и h3_coverash3string доступны для геопространственной обработки при включении Фотона. См. раздел Геопространственные функции H3.

Новые встроенные функции SQL

Добавлены следующие функции:

• array_insert(массив, индекс, elem) Возвращает развернутое место array , где elem вставляется в index положение.
• luhn_check(numStr) Возвращает, true если numStr проходит проверку алгоритма Luhn.

%sql в записных книжках Python

Все непустые %sql результаты записных книжек Python теперь доступны с помощью _sqldf системы кэширования выходных данных IPython. Это упрощает использование кадра данных в Python. Это изменение поведения предыдущих версий DBR, как и ранее, _sqldf не всегда было переназначен.

_sqldf Не переназначается в %sql результате ячейки, если ячейка была выполнена с помощью параллельного выполнения ячейки SQL.

%pip не перезапускает Python автоматически

После выполнения %pip команд в записных книжках Python, которые изменяют virtualEnv, Databricks больше не перезапускает процесс Python. Чтобы перезапустить процесс Python, вызовите dbutils.library.restartPython(). При этом изменении %pip команды Databricks работают аналогично Jupyter Notebook и соответствуют !pip командам и %sh pip командам. Databricks рекомендует %pip вместо !pip или %sh pip.

Библиотеки Python с областью кластера устанавливаются с помощью пользователя, отличного от корневого пользователя

Теперь библиотеки устанавливаются с помощью некорневого пользователя, ответственного за установку библиотек. Если вы хотите настроить поведение установки pip в скриптах инициализации, используйте [глобальный файл https://pip.pypa.io/en/stable/topics/configuration/#configuration-filesуровня).

Исправления ошибок

• В %sh командах были сделаны следующие исправления:
  • Выходные данные, содержащие символы, отличные от UTF-8, теперь поддерживаются.
  • Подпроцессы теперь прерваны при отмене команды.

Обновления библиотек

• Обновленные библиотеки Python:
  • asttokens от 2.0.5 до 2.2.1
  • черный от 22.3.0 до 22.6.0
  • boto3 от 1.21.32 до 1.24.28
  • botocore от 1.24.32 до 1.27.28
  • сертификат от 2021.10.8 до 2022.9.14
  • cffi от 1.15.0 до 1.15.1
  • криптография от 3.4.8 до 37.0.1
  • Cython от 0.29.28 до 0.29.32
  • dbus-python от 1.2.16 до 1.2.18
  • docstring-to-markdown от 0.11 до 0.12
  • выполнение от 0.8.3 до 1.2.0
  • facets-overview от 1.0.0 до 1.0.2
  • fastjsonschema от 2.16.2 до 2.16.3
  • блокировка файлов от 3.9.0 до 3.10.7
  • ipykernel от 6.15.3 до 6.17.1
  • ipython от 8.5.0 до 8.10.0
  • joblib от 1.1.1 до 1.2.0
  • jsonschema от 4.4.0 до 4.16.0
  • jupyter-client от 6.1.12 до 7.3.4
  • kiwisolver от 1.3.2 до 1.4.2
  • matplotlib от 3.5.1 до 3.5.2
  • matplotlib-inline от 0.1.2 до 0.1.6
  • nbformat от 5.3.0 до 5.5.0
  • записная книжка от 6.4.8 до 6.4.12
  • pandas от 1.4.2 до 1.4.4
  • Подушка от 9.0.1 до 9.2.0
  • pip от 21.2.4 до 22.2.2
  • platformdirs от 2.6.2 до 2.5.2
  • график от 5.6.0 до 5.9.0
  • prometheus-client от 0.13.1 до 0.14.1
  • prompt-toolkit от 3.0.20 до 3.0.36
  • psutil от 5.8.0 до 5.9.0
  • pyflakes от 2.5.0 до 3.0.1
  • PyGObject от 3.36.0 до 3.42.1
  • pyparsing от 3.0.4 до 3.0.9
  • pyright от 1.1.283 до 1.1.294
  • python-lsp-server с 1.6.0 до 1.7.1
  • pytz с 2021.3 по 2022.1
  • pyzmq от 22.3.0 до 23.2.0
  • запросы от 2.27.1 до 2.28.1
  • веревка от 0.22.0 до 1.7.0
  • s3transfer от 0.5.0 до 0.6.0
  • scikit-learn от 1.0.2 до 1.1.1
  • scipy от 1.7.3 до 1.9.1
  • setuptools от 61.2.0 до 63.4.1
  • ssh-import-id от 5.10 до 5.11
  • stack-data от 0.2.0 до 0.6.2
  • testpath от 0.5.0 до 0.6.0
  • tomli от 1.2.2 до 2.0.1
  • ujson от 5.1.0 до 5.4.0
  • urllib3 от 1.26.9 до 1.26.11
  • virtualenv от 20.8.0 до 20.16.3
  • whatthepatch от 1.0.4 до 1.0.2
  • колесо от 0.37.0 до 0.37.1
• Обновленные библиотеки R:
  • стрелка от 10.0.0 до 10.0.1
  • бит от 4.0.4 до 4.0.5
  • веник от 1.0.1 до 1.0.3
  • bslib от 0.4.1 до 0.4.2
  • chron от 2.3-58 до 2.3-59
  • cli от 3.4.1 до 3.6.0
  • цветовое пространство от 2.0-3 до 2.1-0
  • curl от 4.3.3 до 5.0.0
  • data.table от 1.14.4 до 1.14.6
  • dbplyr от 2.2.1 до 2.3.0
  • дайджест от 0.6.30 до 0.6.31
  • dplyr от 1.0.10 до 1.1.0
  • e1071 от 1.7-12 до 1.7-13
  • оценка от 0,18 до 0,20
  • вентиляторы от 1.0.3 до 1.0.4
  • fontawesome от 0.4.0 до 0.5.0
  • forcats от 0.5.2 до 1.0.0
  • fs от 1.5.2 до 1.6.1
  • будущее от 1.29.0 до 1.31.0
  • гигль с 1.2.1 до 1.3.0
  • gert от 1.9.1 до 1.9.2
  • glmnet от 4.1-4 до 4.1-6
  • globals от 0.16.1 до 0.16.2
  • gower от 1.0.0 до 1.0.1
  • высокий уровень от 0,9 до 0,10
  • htmltools от 0.5.3 до 0.5.4
  • htmlwidgets от 1.5.4 до 1.6.1
  • httpuv от 1.6.6 до 1.6.8
  • isoband от 0.2.6 до 0.2.7
  • jsonlite от 1.8.3 до 1.8.4
  • трикотаж от 1,40 до 1,42
  • лава от 1.7.0 до 1.7.1
  • прослушивание от 0.8.0 до 0.9.0
  • lubridate от 1.9.0 до 1.9.1
  • Markdown от 1.3 до 1.5
  • modelr от 0.1.9 до 0.1.10
  • opensl от 2.0.4 до 2.0.5
  • параллельно от 1.32.1 до 1.34.0
  • pkgbuild от 1.3.1 до 1.4.0
  • pkgdown от 2.0.6 до 2.0.7
  • pkgload от 1.3.1 до 1.3.2
  • plyr от 1.8.7 до 1.8.8
  • progressr от 0.11.0 до 0.13.0
  • purrr от 0.3.5 до 1.0.1
  • ragg от 1.2.4 до 1.2.5
  • Rcpp от 1.0.9 до 1.0.10
  • readxl от 1.4.1 до 1.4.2
  • рецепты от 1.0.3 до 1.0.4
  • rmarkdown от 2.18 до 2.20
  • RODBC от 1.3-19 до 1.3-20
  • roxygen2 от 7.2.1 до 7.2.3
  • RSQLite от 2.2.18 до 2.2.20
  • sass от 0.4.2 до 0.4.5
  • блестящий от 1.7.3 до 1.7.4
  • sourcetools от 0.1.7 до 0.1.7-1
  • sparklyr от 1.7.8 до 1.7.9
  • SparkR от 3.3.2 до 3.4.0
  • пространственный от 7.3-11 до 7.3-15
  • stringi от 1.7.8 до 1.7.12
  • stringr от 1.4.1 до 1.5.0
  • выживание от 3.4-0 до 3.5-3
  • testthat от 3.1.5 до 3.1.6
  • tidyr от 1.2.1 до 1.3.0
  • изменение времени от 0.1.1 до 0.2.0
  • TimeDate от 4021.106 до 4022.108
  • tinytex от 0,42 до 0,44
  • utf8 от 1.2.2 до 1.2.3
  • vctrs от 0.5.0 до 0.5.2
  • vroom от 1.6.0 до 1.6.1
  • whisker от 0.4 до 0.4.1
  • xfun от 0,34 до 0,37
  • yaml от 2.3.6 до 2.3.7
• Обновленные библиотеки Java:
  • com.amazonaws.aws-java-sdk-autoscaling от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-cloudformation от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-cloudfront от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-cloudhsm с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-cloudsearch с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-cloudtrail с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-cloudwatch с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-codedeploy с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-cognitoidentity от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-cognitosync с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-config с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-core от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-datapipeline с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-directconnect с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-directory с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-dynamodb с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-ec2 с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-ecs от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-efs от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-elasticache с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-elasticbeanstalk от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-elasticloadbalancing с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-elastictranscoder с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-emr от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-glacier с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-glue с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-iam с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-importexport с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-kinesis с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-kms от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-lambda с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-logs от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-machinelearning от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-opsworks с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-rds с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-redshift от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-route53 с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-s3 от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-ses с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-simpledb с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-simpleworkflow с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-sns от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-sqs с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-ssm от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-storagegateway с 1.12.189 по 1.12.390
  • com.amazonaws.aws-java-sdk-sts от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-support от 1.12.189 до 1.12.390
  • com.amazonaws.aws-java-sdk-workspaces от 1.12.189 до 1.12.390
  • com.amazonaws.jmespath-java от 1.12.189 до 1.12.390
  • com.fasterxml.джексон.core.джексон-заметки от 2.13.4 до 2.14.2
  • com.fasterxml.джексон.core.джексон-core с 2.13.4 до 2.14.2
  • com.fasterxml.jackson.core.jackson-databind с 2.13.4.2 до 2.14.2
  • com.fasterxml.джексон.dataformat.джексон-dataformat-cbor с 2.13.4 по 2.14.2
  • com.fasterxml.джексон.datatype.джексон-datatype-joda с 2.13.4 до 2.14.2
  • com.fasterxml.jackson.module.jackson-module-paranamer от 2.13.4 до 2.14.2
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 с 2.13.4 до 2.14.2
  • com.github.luben.zstd-jni с 1.5.2-1 до 1.5.2-5
  • com.google.code.gson.gson с 2.8.6 по 2.8.9
  • com.google.crypto.tink.tink с 1.6.1 до 1.7.0
  • com.h2database.h2 с 2.0.204 по 2.1.214
  • com.jcraft.rch с 0.1.50 до 0.1.55
  • com.ning.compress-lzf от 1.1 до 1.1.2
  • commons-fileupload.commons-fileupload с 1.3.3 до 1.5
  • dev.ludovic.netlib.arpack от 2.2.1 до 3.0.3
  • dev.ludovic.netlib.blas от 2.2.1 до 3.0.3
  • dev.ludovic.netlib.lapack от 2.2.1 до 3.0.3
  • io.delta.delta-sharing-spark_2.12 от 0.6.9 до 0.6.3
  • io.dropwizard.metrics.metrics-core от 4.1.1 до 4.2.10
  • io.dropwizard.metrics.metrics-graphite от 4.1.1 до 4.2.10
  • io.dropwizard.metrics.metrics-healthchecks с 4.1.1 до 4.2.10
  • io.dropwizard.metrics.metrics-jetty9 от 4.1.1 до 4.2.10
  • io.dropwizard.metrics.metrics-jmx от 4.1.1 до 4.2.10
  • io.dropwizard.metrics.metrics-json от 4.1.1 до 4.2.10
  • io.dropwizard.metrics.metrics-jvm от 4.1.1 до 4.2.10
  • io.dropwizard.metrics.metrics-servlets от 4.1.1 до 4.2.10
  • io.netty.netty-all от 4.1.74.Final до 4.1.87.Final
  • io.netty.netty-buffer от 4.1.74.Final до 4.1.87.Final
  • io.netty.netty-codec от 4.1.74.Final до 4.1.87.Final
  • io.netty.netty-common с 4.1.74.Final до 4.1.87.Final
  • io.netty.netty-handler от 4.1.74.Final до 4.1.87.Final
  • io.netty.netty-resolver от 4.1.74.Final до 4.1.87.Final
  • io.netty.netty-transport от 4.1.74.Final до 4.1.87.Final
  • io.netty.netty-transport-classes-epoll от 4.1.74.Final до 4.1.87.Final
  • io.netty.netty-transport-classes-kqueue с 4.1.74.Final до 4.1.87.Final
  • io.netty.netty-transport-native-unix-common от 4.1.74.Final до 4.1.87.Final
  • joda-time.joda-time с 2.10.13 до 2.12.1
  • net.razorvine.pickle от 1.2 до 1.3
  • net.snowflake.snowflake-jdbc от 3.13.29 до 3.13.22
  • org.antlr.antlr4-runtime с 4.8 по 4.9.3
  • org.apache.ant.ant от 1.9.2 до 1.9.16
  • org.apache.ant.ant-aph с 1.9.2 по 1.9.16
  • org.apache.ant-launcher от 1.9.2 до 1.9.16
  • org.apache.arrow.arrow-format от 7.0.0 до 11.0.0
  • org.apache.arrow.arrow-memory-core от 7.0.0 до 11.0.0
  • org.apache.arrow.arrow.memory-netty от 7.0.0 до 11.0.0
  • org.apache.arrow.arrow-vector от 7.0.0 до 11.0.0
  • org.apache.avro.avro с 1.11.0 до 1.11.1
  • org.apache.avro.avro-ipc с 1.11.0 до 1.11.1
  • org.apache.avro.avro-mapred с 1.11.0 до 1.11.1
  • org.apache.httpcomponents.httpclient от 4.5.13 до 4.5.14
  • org.apache.httpcomponents.httpcore от 4.4.14 до 4.4.16
  • org.apache.log4j.log4j-1.2-api от 2.18.0 до 2.19.0
  • org.apache.log4j.log4j-api от 2.18.0 до 2.19.0
  • org.apache.log4j.log4j-core от 2.18.0 до 2.19.0
  • org.apache.orc.orc-core от 1.7.8 до 1.8.2-шейд-protobuf
  • org.apache.orc.orc-mapreduce от 1.7.8 до 1.8.2-шейд-protobuf
  • org.apache.orc.orc-shims от 1.7.8 до 1.8.2
  • org.apache.xbean.xbean-asm9-оттеняется от 4.20 до 4.22
  • org.apache.zookeeper.zookeeper с 3.6.2 до 3.6.3
  • org.apache.zookeeper.zookeeper-jute от 3.6.2 до 3.6.3
  • org.eclipse.jetty.jetty-client с 9.4.46.v2020331 до 9.4.50.v2021201
  • org.eclipse.jetty.jetty-continuation с 9.4.46.v2020331 до 9.4.50.v2021201
  • org.eclipse.jetty.jetty-http с 9.4.46.v20220331 до 9.4.50.v2021201
  • org.eclipse.jetty.jetty-io с 9.4.46.v2020331 до 9.4.50.v2021201
  • org.eclipse.jetty.jetty-jndi от 9.4.46.v2020331 до 9.4.50.v2021201
  • org.eclipse.jetty.jetty-plus от 9.4.46.v2020331 до 9.4.50.v2021201
  • org.eclipse.jetty.jetty-proxy от 9.4.46.v2020331 до 9.4.50.v2021201
  • org.eclipse.jetty.jetty-security с 9.4.46.v20220331 до 9.4.50.v2021201
  • org.eclipse.jetty.jetty-server с 9.4.46.v2020331 до 9.4.50.v2021201
  • org.eclipse.jetty.jetty-servlet от 9.4.46.v2020331 до 9.4.50.v2021201
  • org.eclipse.jetty.jetty-servlets от 9.4.46.v2020331 до 9.4.50.v2021201
  • org.eclipse.jetty.jetty-util от 9.4.46.v2020331 до 9.4.50.v2021201
  • org.eclipse.jetty.jetty-util-ajax с 9.4.46.v20220331 до 9.4.50.v2021201
  • org.eclipse.jetty.jetty-webapp с 9.4.46.v2020331 до 9.4.50.v2021201
  • org.eclipse.jetty.jetty-xml с 9.4.46.v20220331 до 9.4.50.v2021201
  • org.eclipse.jetty.websocket.websocket-api с 9.4.46.v2020331 до 9.4.50.v2021201
  • org.eclipse.jetty.websocket.websocket-client с 9.4.46.v2020331 до 9.4.50.v2021201
  • org.eclipse.jetty.websocket.websocket-common с 9.4.46.v2020331 до 9.4.50.v2021201
  • org.eclipse.jetty.websocket.websocket-server с 9.4.46.v20220331 до 9.4.50.v2021201
  • org.eclipse.jetty.websocket.websocket-servlet от 9.4.46.v2020331 до 9.4.50.v2021201
  • org.hibernate.validator.hibernate-validator с 6.1.0.Final до 6.1.7.Final
  • org.mlflow.mlflow-spark с 2.1.1 по 2.2.0
  • org.postgresql.postgresql с 42.3.3 до 42.3.8
  • org.roaringbitmap.RoaringBitmap от 0.9.25 до 0.9.39
  • org.roaringbitmap.shims от 0.9.25 до 0.9.39
  • org.rocksdb.rocksdbjni с 6.28.2 до 7.8.3
  • org.scala-lang.scala-compiler_2.12 с 2.12.14 по 2.12.15
  • org.scala-lang.scala-library_2.12 с 2.12.14 по 2.12.15
  • org.scala-lang.scala-reflect_2.12 с 2.12.14 по 2.12.15
  • org.scalanlp.breeze-macros_2.12 от 1.2 до 2.1.0
  • org.scalanlp.breeze_2.12 от 1.2 до 2.1.0
  • org.slf4j.jcl-over-slf4j от 1.7.36 до 2.0.6
  • org.slf4j.jul-to-slf4j от 1.7.36 до 2.0.6
  • org.slf4j.slf4j-api с 1.7.36 по 2.0.6
  • org.threeten.threeten-extra от 1.5.0 до 1.7.1
  • org.wildfly.opensl.wildfly-opensl от 1.0.7.Final до 1.1.3.Final
  • org.yaml.snakeyaml с 1.24 по 1.33

Apache Spark

Databricks Runtime 13.0 включает Apache Spark 3.4.0.

• Spark SQL
• Spark Core
• Структурированная потоковая передача
• Spark Connect
• PySpark
• MLlib
• SparkR
• Служба сервера динамического пользовательского интерфейса и журнала
• Сборка

SQL Spark

Функции

• Реализация поддержки значений DEFAULT для столбцов в таблицах (SPARK-38334)
• Добавление Dataset.as(StructType) (SPARK-39625)
• Поддержка параметризованного SQL (SPARK-41271, SPARK-42702)
• Добавление unpivot/melt (SPARK-38864, SPARK-39876)
• Поддержка ссылок на псевдонимы бокового столбца (SPARK-27561)
• Предложение смещения результатов поддержки (SPARK-28330, SPARK-39159)
• Поддержка метки времени без типа данных часового пояса (SPARK-35662)
• Поддержка скалярных вложенных запросов во время перемещения (SPARK-39306)
• Сделать API каталога совместимым с пространством имен 3 уровня (SPARK-39235)
• Поддержка метки времени в секундах для TimeTravel с помощью параметров кадра данных (SPARK-39633)
• Добавление SparkSession.config(Map) (SPARK-40163)
• Поддержка изменения базы данных каталога сеансов по умолчанию (SPARK-35242)
• Поддержка Protobuf для Spark — from_protobuf AND to_protobuf (SPARK-40654)
• Добавление предложения WHEN NOT MATCHED BY SOURCE в MERGE INTO (SPARK-40921)
• Ограничение на упорядочение для параметров столбца CREATE TABLE (SPARK-409444)
• Эквивалент SQL для команды перезаписи кадра данных (SPARK-40956)
• Поддержка создания без необходимых дочерних выходных данных для размещения внешних ссылок (SPARK-41441)
• ORDER BY ALL (SPARK-41637)
• GROUP BY ALL (SPARK-41635)
• Добавление flatMapSortedGroups и cogroupSorted (SPARK-38591)
• Поддержка вложенных запросов с соответствующими предикатами неравенства (SPARK-36114)
• Поддержка вложенных запросов с корреляцией через UNION/INTERSECT/EXCEPT (SPARK-36124)

Соответствие ANSI

• Режим SQL ANSI: всегда возвращает значение NULL для недопустимого доступа к столбцу карты (SPARK-40066)
• Поддержка двойных кавычек (SPARK-40585)
• Режим SQL ANSI: Round/Bround должен возвращать ошибку при целочисленном переполнении (SPARK-42045)
• Поддержка приведения целочисленных к интервалам ANSI (SPARK-40008)
• Поддержка приведения десятичных знаков к интервалам ANSI (SPARK-40014)
• Возвращает более широкие типы интервалов ANSI из функций процентиля (SPARK-40151)
• Поддержка приведения интервалов ANSI к десятичным значениям (SPARK-39470)
• Поддержка интервалов приведения к интегралам в режиме ANSI (SPARK-39451)
• Жесткое использование SQLSTATE для классов ошибок (SPARK-41994)

Функции

• Поддержка функций генератора с табличным значением в предложении FROM (SPARK-41594)
• Поддержка агрегатной функции ANSI: REGR_SXY (SPARK-37681)
• Поддержка агрегатной функции ANSI: REGR_R2 (SPARK-37641)
• Поддержка агрегатной функции ANSI: REGR_SXX (SPARK-37672)
• Поддержка агрегатной функции ANSI: REGR_SYY (SPARK-37702)
• Поддержка агрегатной функции ANSI: REGR_SLOPE (SPARK-39230)
• Поддержка агрегатной функции ANSI: REGR_INTERCEPT (SPARK-37623)
• Поддержка функции агрегирования ANSI PERCENTILE_CONT в качестве функции окна (SPARK-38219)
• Поддержка функции агрегирования ANSI: PERCENTILE_DISC (SPARK-37691)
• Поддержка функции SPLIT_PART (SPARK-38063)
• Поддержка функции TRY_AVG (SPARK-38589)
• Поддержка функции TRY_TO_BINARY (SPARK-38590)
• Поддержка функций TO_NUMBER и TRY_TO_NUMBER SQL в соответствии с новой спецификацией (SPARK-38796)
• Поддержка общей спецификации и функции ANSI — USER (SPARK-39138)
• Поддержка функций TO_CHAR и TRY_TO_CHAR для форматирования десятичных значений в виде строк (SPARK-28516)
• Поддержка агрегатной функции ANY_VALUE (SPARK-39213)
• Поддержка функции EQUAL_NUL (SPARK-39305)
• Поддержка статистической функции MEDIAN (SPARK-39320)
• Поддержка функции REGEXP_COUNT (SPARK-39618)
• Поддержка функции REGEXP_INSTR (SPARK-39744)
• Поддержка функции REGEXP_SUBSTR (SPARK-39695)
• Поддержка функции UNPIVOT (SPARK-39876)
• Поддержка функции TRY_TO_TIMESTAMP (SPARK-39795)
• Поддержка кодирования и декодирования URL-адресов в виде встроенной функции и функции, связанные с URL-адресом (SPARK-39741)
• Поддержка режима агрегатной функции (SPARK-39808)
• Поддержка функции GET (SPARK-40109)
• Добавление псевдонимов функций: LEN, DATEPART, DATEADD, DATE_DIFF, CURDATE (SPARK-40352)
• Улучшение функции TO_BINARY (SPARK-40112)
• Поддержка CURRENT_SCHEMA (SPARK-41323)
• Поддержка маскирования данных встроенной функции MASK (SPARK-40687)
• Поддержка функции высокого порядка: ARRAY_COMPACT (SPARK-41235)
• Поддержка функции ARRAY_APPEND (SPARK-41232)
• Поддержка функции ARRAY_INSERT (SPARK-41234)
• Поддержка функции LUHN_CHECK (SPARK-42191)
• Поддержка ARRAY_SORT(column, comparator) (SPARK-39925)

Источники данных

• Поддержка статистики столбцов в DS версии 2 (SPARK-41378)
• Секционирование хранилища (SPJ) в DS версии 2 (SPARK-37375)
• Операции на уровне строк в DS версии 2 (SPARK-35801)
• Добавление сочетания supportsReportOrdering в интерфейсе для проверки DS версии 2 (SPARK-38647)
• Тип infer DATE для вывода схемы CSV (SPARK-39469)
• Поддержка метрик драйверов в API пользовательских метрик DS версии 2 (SPARK-39635)
• Распределение и упорядочение поддерживают функцию DS версии 2 при написании (SPARK-39607)
• Поддержка StringEndsWith/Contains в Parquet, чтобы использовать фильтр словаря (SPARK-39002)
• Поддержка векторного чтения UDT в Spark Parquet (SPARK-39086)
• Расширение столбца METADATA для поддержки индексов строк для файлов Parquet (SPARK-37980)
• Поддержка чтения FIXED_LEN_BYTE_ARRAY типа parquet (SPARK-41096)
• Оптимизация порядка предикатов фильтрации (SPARK-40045)
• Поддержка запросов CTE и временных таблиц с помощью MSSQL JDBC (SPARK-37259)
• Поддержка ignoreCorruptFiles и ignoreMissingFiles в параметрах источника данных (SPARK-38767)
• Извлечение записи версии 1 в WriteFiles (SPARK-41407)
• Добавьте заполнение на стороне чтения для покрытия внешних файлов данных (SPARK-40697)

Оптимизация запросов

• Объединение некоррелируемых скалярных вложенных запросов (SPARK-34079)
• Включение соединений фильтров Блум по умолчанию (SPARK-38841)
• Удаление ненужных различий в статистическом выражении по отдельным ключам (SPARK-38832)
• Поддержка pushdown предиката и удаления столбцов для дедуплицированных CTE (SPARK-37670)
• Удалите внешнее соединение, если агрегированные функции дублируются на стороне потоковой передачи (SPARK-38886)
• Удалите левое или правое внешнее соединение, если выбраны только левые или правые столбцы, а ключи соединения на другой стороне уникальны (SPARK-39172)
• Оптимизация глобальной сортировки до repartitionByExpression (SPARK-39911)
• Оптимизация правила TransposeWindow (SPARK-38034)
• Повышение уровня "Устранение" для поддержки удаления сортировки с помощью LocalLimit (SPARK-40050)
• Отправьте локальное ограничение на обе стороны, если условие соединения пусто (SPARK-40040)
• Добавление PushProjectionThroughLimit для оптимизатора (SPARK-40501)
• Поддержка PIVOT/UNPIVOT с дочерними элементами соединения (SPARK-41195)
• Поддержка очистки столбцов с несколькими недетерминированными фильтрами (SPARK-41017)
• Улучшение секционирования выходных данных и упорядочивания с помощью кэша AQE (SPARK-41048)
• Повышение производительности, например создание предиката дерева сбалансированных выражений (SPARK-41167)
• Удаление сортировки, если она является дочерней для RepartitionByExpression (SPARK-36703)
• Использование доступной статистики столбцов на завершенных этапах запроса (SPARK-39991)
• Повторное использование выражений в WindowSpecDefinition (SPARK-41805)
• Улучшение AliasAwareOutputPartitioning и AliasAwareQueryOutputOrdering для учета всех псевдонимов (SPARK-40086, SPARK-42049)
• Ограничение с помощью определяемых пользователем Python (SPARK-42115)

Создание кода и выполнение запросов

• Выполните задание по умолчанию в BroadcastNestedLoopJoinExec, работающее параллельно (SPARK-40487)
• Поддержка Codegen для HiveGenericUDF (SPARK-42051)
• Введение перетасовки в SinglePartition (SPARK-41986)
• Делает DPP поддержкой стороны обрезки имеет объединение (SPARK-39217)

Другие важные изменения

• Поддержка сбора статистики автосекулам (SPARK-38573)
• Форматирование сообщений об ошибках на сервере Thrift (SPARK-40098)
• Добавление API расширения для планирования нормализации для кэширования (SPARK-41183)
• Рефакторинг типов Spark путем внедрения физических типов (SPARK-41226)
• Поддержка полей OneOf и проверки рекурсии (SPARK-41396)
• Централизация логики разрешения столбцов (SPARK-41405)
• Улучшение проверки изменений плана (SPARK-42081)
• Введение SparkPath для типов для типов (SPARK-41970)
• Исключение для db_name.view_name при создании временного представления с помощью API набора данных (SPARK-41090)
• Измените значение по умолчанию функции Mask с -1 на NULL (SPARK-42070)

Ядро Spark

Списания

• Избегайте повторного выполнения ненужных задач при удалении исполнителя при перемещении данных (SPARK-41469)
• Игнорировать сбой извлечения этапа, вызванный списанным исполнителем (SPARK-40481)
• Включите spark.storage.decommission. (rdd|shuffle)Blocks.enabled по умолчанию (SPARK-40198)
• Добавьте поддержку списания YARN при отключении ESS (SPARK-30835)

Планировщик

• Планирование этапов поддерживает режим локального кластера (SPARK-41949)
• Профиль ресурсов уровня поддержки для автономного кластера при отключении динамического выделения (SPARK-39853)
• Задержка вDisconnected для включения Driver получает ExecutorExitCode (SPARK-39957)
• Улучшение спекуляций с помощью метрик задач этапа (SPARK-32170)
• Добавление поддержки планирования ресурсов уровня стадии для автономного кластера (SPARK-39062)
• Улучшение процесса LaunchTask, чтобы избежать сбоев этапа, вызванных сообщениями launchTask отработки отказа (SPARK-39955)

Shuffle

• Добавление метрик чтения на основе push-уведомлений на стороне клиента (SPARK-36620)
• Перемешивает метрики на стороне сервера для перетасовки на основе push-уведомлений (SPARK-33573)
• Убедитесь, что mergedShuffleCleaner были завершены до закрытия базы данных (SPARK-40186)
• Добавление поддержки RocksDB для хранилища состояний службы перетасовки (SPARK-388888)
• Инкапсулировать LevelDB, используемый для хранения состояния удаленного и внешнего перетасовки в качестве базы данных (SPARK-38909)
• Включите spark.dynamicAllocation.shuffleTracking.enabled по умолчанию (SPARK-3984)
• Включение службы перетасовки на основе push-уведомлений для хранения состояния на уровне NM для сохранения перезапуска (SPARK-33236)
• Удаление блоков перетасовки с помощью службы перетасовки для выпущенных исполнителей (SPARK-37618)

Другие важные изменения

• Поддержка среды только для IPv6 (SPARK-39457)
• Включите spark.kryo.unsafe по умолчанию (SPARK-42137)
• Запретить произвольный пользовательский классpath с прокси-пользователем в режиме кластера (SPARK-41958)
• Избегайте повторной регистрации BlockManager, если исполнитель был потерян (SPARK-41360)
• Удалите ограничение, которое должен соответствовать результату одной задачи в 2 ГБ (SPARK-40622)
• Удалите поддержку устаревших конфигураций spark.akka.* (SPARK-40401)
• Измените ведение журнала по умолчанию на stderr в соответствии с поведением log4j (SPARK-40406)
• Исключите метаданные DirectTaskResult при вычислении размера результата (SPARK-40261)
• Разрешить настройку начальных секций в режиме take() (SPARK-40211)
• Используйте прерванную блокировку вместо синхронизированной в Executor.updateDependencies() (SPARK-40235)
• Сбой задачи всегда должен активировать прослушиватели задач (SPARK-40106)
• Добавьте возможность выборочного отключения просмотра или опроса (SPARK-36462)
• Не кэшируйте несериализированные отношения вещания на драйвере (SPARK-39983)
• Исправлена взаимоблокировка между TaskMemoryManager и UnsafeExternalSorter.SpillableIterator (SPARK-39283)
• Предоставление секций номеров на этапе TaskContext (SPARK-38679)
• Настройка коэффициента нагрузки на память (SPARK-38194)
• Избегайте использования bash -c в ShellBasedGroupsMappingProvider (SPARK-38992)

Структурированная потоковая передача

Основные функции

• Асинхронное отслеживание хода выполнения (SPARK-39591)
• Произвольное отслеживание состояния Python в структурированной потоковой передаче (SPARK-40434)
• Поддержка Protobuf в структурированной потоковой передаче (SPARK-40653)
• Исправлена поздняя фильтрация записей для поддержки цепочки операторов с отслеживанием состояния (SPARK-40925)

Другие важные изменения

• Знакомство с диспетчером файлов контрольной точки потоковой передачи на основе интерфейса Неизменяемой точки Hadoop (SPARK-40039)
• Нерекомендуемая активация.Один раз и повышение триггера.AvailableNow (SPARK-39805)
• Предоставление сведений о таблице каталога логическому плану в потоковом запросе (SPARK-39564)
• Поддержка сбора метрик из приемников потоковой передачи (SPARK-38564)
• Устаревший API DStream (SPARK-42075)
• Переверните значение по умолчанию для конфигурации смещения Kafka (SPARK-40844)
• Предоставление клонированного сеанса Spark в DataFrame в пользовательской функции для приемника foreachBatch в PySpark (SPARK-41379)

Spark Connect

клиент Python

• Реализация API кадра данных (SPARK-41279)
• Реализация API столбцов (SPARK-41282)
• Реализация API функций (SPARK-41283)
• Реализация API SparkSession (SPARK-41281)
• Реализация API ввода-вывода (SPARK-41284)
• Реализация API каталога (SPARK-41289)
• Поддержка определяемых пользователем функций в Python (SPARK-41661)
• Поддержка API функций Pandas/Arrow (SPARK-42393)
• Поддержка конфигурации SQL среды выполнения (SPARK-42499)
• Сборка, пакет и инфраструктура для Spark Connect (SPARK-41286)
• Введите заметки для клиента Python Spark Connect (SPARK-40451)

Клиент Scala

• Реализация базового клиента Scala (SPARK-41534, SPARK-42133, SPARK-42043, SPARK-41822)
• Реализация API SparkSession (SPARK-42639, SPARK-42581, SPARK-42564, SPARK-42544, SPARK-42631)
• Реализация API кадра данных (SPARK-42440, SPARK-42559, SPARK-42558, SPARK-42556, SPARK-42468, SPARK-42529, SPARK-42561, SPARK-42894, SPARK-41874, SPARK-42691, SPARK-42692, SPARK-42481, SPARK-42541, SPARK-42542, SPARK-42520, SPARK-41823)
• Реализация API столбцов (SPARK-42441, SPARK-42560)
• Реализация API функций (SPARK-42461, SPARK-42579, SPARK-42527, SPARK-42531, SPARK-42495, SPARK-42557)
• Реализация API ввода-вывода (SPARK-42457, SPARK-42555, SPARK-42690, SPARK-42878, SPARK-42757, SPARK-42482, SPARK-42733, SPARK-42518)
• Реализация конфигурации SQL среды выполнения (SPARK-42586)
• Базовая поддержка определяемых пользователем функций (SPARK-42283, SPARK-42653, SPARK-42543)
• Базовая поддержка типизированного API (SPARK-42580, SPARK-42605)
• Тестовая инфраструктура для Spark Connect (SPARK-42172, SPARK-42377, SPARK-42599)
• Реализация поддержки REPL (SPARK-42656, SPARK-42884)

PySpark

API Pandas в Spark

• Основное улучшение
  • Произвольное отслеживание состояния Python в структурированной потоковой передаче (SPARK-40434)
  • Реализация отсутствующих параметров API pandas (SPARK-42883)
  • Поддержка Pandas 1.5 (SPARK-40576)
• Основная функция
  • Реализация Series.searchsorted (SPARK-40330)
  • Реализация Series.autocorr (SPARK-38774)
  • Реализация DataFrame.mode (SPARK-40138)
  • Реализация DataFrame.boxplot и DataFrame.plot.box (SPARK-38993)
  • Реализация DataFrame.corrwith (SPARK-38907)
  • Реализация DataFrame.resample и Series.resample (SPARK-39081)
  • Реализация DataFrame.интерполяция и series.интерполат (SPARK-38844)
  • Реализация DataFrame.ewm и Series.ewm (SPARK-38785)
  • Реализация GroupBy.prod (SPARK-40334)
  • Реализация GroupBy.nth (SPARK-403333)
  • Реализация GroupBy.quantile (SPARK-40332)
  • Реализация GroupBy.sem (SPARK-40305)
  • Реализация GroupBy.mad (SPARK-39284)
  • Реализация GroupBy.skew (SPARK-39246)
  • Реализация GroupBy.ewm (SPARK-39129)
  • Поддержка позиционного индексирования GroupBy (SPARK-38947)

Другие важные изменения

• Основные улучшения
  • Предоставьте профилировщик памяти для определяемых пользователем функций PySpark (SPARK-40281)
  • Сделать API каталога совместимым с пространством имен 3 уровня (SPARK-39235)
  • Поддержка входных данных NumPy в PySpark (SPARK-39405)
  • Улучшения ошибок PySpark (SPARK-41597)
• Основные функции
  • Поддержка параметризованного SQL в PySpark (SPARK-41666)
  • Реализация функции median (SPARK-40003)
  • Реализация функции mode (SPARK-40007)
  • Реализация функции unpivot/melt (SPARK-39877)
  • Поддержка Varchar в PySpark (SPARK-39760)
  • Поддержка CharType в PySpark (SPARK-39809)

MLlib

• Реализация распространителя PyTorch (SPARK-41589)
• Объединение проверки данных (SPARK-38584)
• Уменьшение размера ALS (SPARK-40476, SPARK-40745)
• Дедупционная инотоническая регрессия повторяющихся функций (SPARK-41008)
• KMeans блокируют входные векторы (SPARK-30661)
• Добавление оценки релевантности для оценки nDCG (SPARK-39446)

SparkR

• Добавление unpivot/melt (SPARK-41267)
• Добавление array_sort(column, comparator) (SPARK-40167)
• Поддержка нескольких раскрывающихся списков "Столбец" в R (SPARK-40087)
• Поддержка стрелки 9.0.0 с SparkR (SPARK-40114)
• Обеспечить совместимость API каталога с пространством имен 3 уровня (SPARK-39579, SPARK-39646, SPARK-39645, SPARK-39236, SPARK-39716, SPARK-39719)
• Поддержка R 4.2.0 (SPARK-39372)

Служба сервера динамического пользовательского интерфейса и журнала

• Улучшена масштабируемость пользовательского интерфейса Spark и стабильность драйвера для крупных приложений (SPARK-41053)
• Используйте RocksDB для spark.history.store.hybridStore.diskBackend по умолчанию (SPARK-42277)
• Группировать вложенные выполнения в корневом выполнении (SPARK-41752)
• Отображение свойств метрик на вкладке среды (SPARK-39110)
• Исправление размера входных данных и записей StagePage не отображается, если записи больше нуля (SPARK-34777)
• Повышение производительности журнала событий JsonProtocol с помощью Джексона вместо Json4s (SPARK-39489)
• Поддержка spark.history.fs.update.batchSize (SPARK-39225)

Сборка

• Обновление cloudpickle до версии 2.2.0 (SPARK-40991)
• Нерекомендуемая поддержка Python 3.7 (SPARK-39861)
• Поддержка Python 3.11 (SPARK-41454)
• Обновление dev.ludovic.netlib до версии 3.0.2 (SPARK-40251)
• Обновление бреза до версии 2.0 (SPARK-39616)
• Обновление версии slf4j до версии 2.0.6 (SPARK-41561)
• Обновление версии kubernetes-client до версии 6.4.1 (SPARK-42362)
• Обновление rocksdbjni до 7.9.2 ( SPARK-42129)
• Обновление Apache Arrow до версии 11.0.0 (SPARK-42161)
• Обновление Apache Kafka до версии 3.3.2 (SPARK-42109)

Обновления в рамках обслуживания

Ознакомьтесь с обновлениями обслуживания Databricks Runtime 13.0.

Системная среда

• Операционная система: Ubuntu 22.04.2 LTS
• Java: Zulu 8.68.0.21-CA-linux64
• Scala: 2.12.15
• Python: 3.10.6
• R: 4.2.2
• Delta Lake: 2.3.0

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft CRAN 2023-02-10.

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)