Databricks Runtime 14.3 LTS

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 14.3 LTS, на базе Apache Spark 3.5.0.

Databricks выпустила эту версию в феврале 2024 года.

Новые функции и внесенные улучшения

• Поддержка файловой системы рабочей области в определяемых пользователем функциях PySpark в общих кластерах
• Поддержка оптимизации векторов MERGE удаления без Фотона
• API catalog Spark теперь полностью поддерживаются в режиме общего доступа
• Delta UniForm теперь общедоступен
• Новая функция SQL EXECUTE IMMEDIATE
• Пересчитать статистику пропуска данных для Delta tables
• Запрос сведений о состоянии для запросов потоковой передачи с отслеживанием состояния
• Использование идентификатора Microsoft Entra для проверки подлинности Kafka в общих кластерах
• добавлена поддержка для файлов и partition обрезки для повышения производительности запросов
• Объявление временных переменных в сеансе SQL
• Обновления Thriftserver касаются remove неиспользуемых функций
• Использование файлов truststore и хранилища ключей в Unity Catalogvolumes
• Поддержка формата собственного XML-файла (общедоступная предварительная версия)
• Поддержка хранилища Cloudflare R2 (общедоступная предварительная версия)
• Доступ к файлам рабочей области с помощью Spark и dbutils в кластерах Unity с совместным доступом Catalog
• поддержка сценариев Init и библиотеки кластеров в кластерах Unity общего доступа Catalog

Поддержка файловой системы рабочей области в определяемых пользователем функциях PySpark в общих кластерах

Пользовательские функции PySpark в общих кластерах теперь могут импортировать модули Python из папок Git, файлов рабочей областиили UC volumes.

Дополнительные сведения о работе с модулями в папках Git или файлах рабочей области см. в статье "Работа с модулями Python и R".

Поддержка оптимизации векторов MERGE удаления без Фотона

Фотон больше не требуется для MERGE операций для использования оптимизаций векторов удаления. См. раздел " Что такое векторы удаления?".

API catalog Spark теперь полностью поддерживаются в режиме общего доступа

Теперь можно использовать все функции в spark.catalog API в Python и Scala для вычислений, настроенных в режиме общего доступа.

Delta UniForm теперь общедоступен

UniForm теперь общедоступен и использует функцию IcebergCompatV2table. Теперь вы можете активировать или обновить UniForm на существующей tables. См. Read Delta tables для клиентов Айсберга.

Новая функция SQL EXECUTE IMMEDIATE

Теперь можно использовать синтаксис EXECUTE IMMEDIATE для поддержки параметризованных запросов в SQL. См. EXECUTE IMMEDIATE.

Пересчитать статистику пропуска данных для Delta tables

Теперь можно пересчитать статистику, хранящуюся в журнале Delta после изменения columns, использованного для пропуска данных. См. раздел Указание статистики delta columns.

Запрос сведений о состоянии для запросов потоковой передачи с отслеживанием состояния

Теперь можно запрашивать структурированные данные о состоянии потоковой передачи и метаданные. См . сведения о состоянии структурированной потоковой передачи.

Использование идентификатора Microsoft Entra для проверки подлинности Kafka в общих кластерах

Теперь можно пройти проверку подлинности служб Центров событий с помощью OAuth с помощью идентификатора Microsoft Entra id для вычислений, настроенных в режиме общего доступа. См. проверку подлинности субъекта-службы с помощью идентификатора Microsoft Entra и Центры событий Azure.

Добавлена поддержка для очистки файлов и partition, чтобы улучшить производительность запросов.

Чтобы ускорить некоторые запросы, основанные на допустимом значении null в JOIN условиях, теперь мы поддерживаем DynamicFilePruning и DynamicPartitionPruning для оператора EqualNullSafe в JOIN.

Объявление временных переменных в сеансе SQL

В этом выпуске представлена возможность объявлять временные переменные в сеансе, такие как set, а затем ссылаться на них в запросах. См . переменные.

Обновления Thriftserver для remove неиспользуемых функций

Код Thriftserver был обновлен на код remove для устаревших функций. Из-за этих изменений следующие конфигурации больше не поддерживаются:

• Вспомогательные JAR Hive, настроенные с помощью свойства hive.aux.jars.path, больше не поддерживаются для hive-thriftserverconnections.
• Глобальный файл инициализации Hive (.hiverc), расположение которого настроено с помощью свойства hive.server2.global.init.file.location или переменной среды HIVE_CONF_DIR, больше не поддерживается для hive-thriftserverconnections.

Использование файлов truststore и хранилища ключей в Unity Catalogvolumes

Теперь вы можете использовать файлы truststore и keystore в Unity Catalogvolumes для проверки подлинности в реестре Confluent Schema для данных в форматах Avro или Protocol Buffer. См. документацию по буферам avro или protocol.

Поддержка формата собственного XML-файла (общедоступная предварительная версия)

Поддержка формата собственного XML-файла теперь доступна в общедоступной предварительной версии. Поддержка формата XML-файла позволяет получать, запрашивать и анализировать XML-данные для пакетной обработки или потоковой передачи. Он может автоматически выводить и развивать schema, а также типы данных, поддерживать выражения SQL, например from_xml, и может generate XML-документы. Для этого не требуются внешние jar-файлы и легко работает с автозагрузчиком, read_files, COPY INTOи Delta Live Tables. См. статью "Чтение и запись XML-файлов".

Поддержка хранилища Cloudflare R2 (общедоступная предварительная версия)

Теперь вы можете использовать Cloudflare R2 в качестве облачного хранилища для данных, зарегистрированных в Unity Catalog. Cloudflare R2 предназначен в первую очередь для сценариев использования Delta Sharing, в которых вы хотите избежать сборов за исходящий трафик, взимаемых облачным провайдером providers при пересечении данных между регионами. Хранилище R2 поддерживает все данные Databricks и ресурсы ИИ, поддерживаемые в AWS S3, Azure Data Lake Storage 2-го поколения и Google Cloud Storage. См. статью "Использование реплик Cloudflare R2" или миграции хранилища в R2 и создание учетных данных хранения для подключения к Cloudflare R2.

Доступ к файлам рабочей области с использованием Spark и dbutils в кластерах Unity с совместным доступом Catalog

Spark и dbutils теперь поддерживается доступ на чтение и запись к файлам рабочей области в кластерах Unity Catalog в режиме общего доступа . См. статью " Работа с файлами рабочей области".

Поддержка инициализационных скриптов и библиотек для кластеров в кластерах Unity с общим доступом Catalog

Теперь общедоступна установка скриптов и библиотек Python и JAR в кластерах Unity врежиме общего доступа, включая установку с помощью политик кластера . Databricks рекомендует устанавливать скрипты и библиотеки инициализации из Unity Catalogvolumes.

Обновления библиотек

• Обновленные библиотеки Python:
  • fastjsonschema от 2.19.0 до 2.19.1
  • блокировка файлов от 3.12.4 до 3.13.1
  • googleapis-common-protos с 1.61.0 до 1.62.0
  • упаковка от 22.0 до 23.2
• Обновленные библиотеки R:
  • внешний от 0,8-82 до 0,8-85
  • nlme от 3.1-162 до 3.1-163
  • rpart от 4.1.19 до 4.1.21
• Обновленные библиотеки Java:
  • com.databricks.databricks-sdk-java от 0.7.0 до 0.13.0
  • org.apache.orc.orc-core от 1.9.1-shaded-protobuf до 1.9.2-шейд-protobuf
  • org.apache.orc.orc-mapreduce от 1.9.1-shaded-protobuf до 1.9.2-шейд-protobuf
  • org.apache.orc.orc-shims от 1.9.1 до 1.9.2
  • org.scala-lang.modules.scala-collection-compat_2.12 от 2.9.0 до 2.11.0

Apache Spark

Databricks Runtime 14.3 включает Apache Spark 3.5.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 14.2 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-46541] [SC-153546][SQL][CONNECT] Исправлена неоднозначная ссылка column в собственном join
• [SPARK-45433] Revert "[SC-145163][SQL] Исправление CSV/JSON schema вывод...
• [SPARK-46723] [14.3][SASP-2792][SC-153425][CONNECT][SCALA] Создание повторной попытки addArtifact
• [SPARK-46660] [SC-153391][CONNECT] Запросы reattachExecute обновляют активность сеансаHolder
• [SPARK-46670] [SC-153273][PYTHON][SQL] Самостоятельное клонирование DataSourceManager путем разделения статических и сред выполнения источников данных Python
• [SPARK-46720] [SC-153410][SQL][PYTHON] Рефакторинг источника данных Python для выравнивания с другими встроенными источниками данных DSv2
• [SPARK-46684] [SC-153275][PYTHON][CONNECT] Исправление CoGroup.applyInPandas/Стрелка для правильного передачи аргументов
• [SPARK-46667] [SC-153271][SC-153263][SQL] XML: создание ошибки в нескольких источниках данных XML
• [SPARK-46382] [SC-151881][SQL]XML: по умолчанию игнорироватьSurroundingSpaces значение true
• [SPARK-46382] [SC-153178][SQL]XML: Update doc for ignoreSurroundingSpaces
• [SPARK-45292] Revert "[SC-151609][SQL][HIVE] Remove Guava из общих классов IsolatedClientLoader"
• [SPARK-45292] [SC-151609][SQL][HIVE] Remove Guava из общих классов из IsolatedClientLoader
• [SPARK-46311] [SC-150137][CORE] Зайдите в журнал конечного состояния драйверов во время Master.removeDriver
• [SPARK-46413] [SC-151052][PYTHON] Проверка возвращаемого типа UDF со стрелками Python
• [SPARK-46633] [ТЕПЛОФИКС][SC-153092][SQL] Исправление средства чтения Avro для обработки блоков нулевой длины
• [SPARK-46537] [SC-151286][SQL] Преобразование NPE и утверждений из команд в внутренние ошибки
• [SPARK-46179] [SC-151678][SQL] Добавление CrossDbmsQueryTestSuites, которое запускает другие СУБД с золотыми файлами с другими СУБД, начиная с Postgres
• [SPARK-44001] [SC-151413][PROTOBUF] Добавление параметра, позволяющего распакуировать известные типы оболочки protobuf
• [SPARK-40876] [SC-151786][SQL] Повышение уровня типов для десятичных разрядов с большим масштабом в средствах чтения Parquet
• [SPARK-46605] [SC-151769][CONNECT] Создание lit/typedLit функции в поддержке модуля connect s.c.immutable.ArraySeq
• [SPARK-46634] [SC-153005]Проверка литерала [SQL] не должна выполнять детализацию до полей NULL
• [SPARK-37039] [SC-153094][PS] Исправление Series.astype для правильной работы с отсутствующим значением
• [SPARK-46312] [SC-150163][CORE] Использование lower_camel_case в store_types.proto
• [SPARK-46630] [SC-153084][SQL] XML: проверка имени XML-элемента при записи
• [SPARK-46627] [SC-152981][SS][пользовательский интерфейс] Исправление содержимого подсказки временной шкалы в пользовательском интерфейсе потоковой передачи
• [SPARK-46248] [SC-151774][SQL] XML: поддержка параметров ignoreCorruptFiles и ignoreMissingFiles
• [SPARK-46386] [SC-150766][PYTHON] Улучшение утверждений наблюдения (pyspark.sql.observation)
• [SPARK-46581] [SC-151789][CORE] Update комментарий к isZero в AccumulatorV2
• [SPARK-46601] [SC-151785] [CORE] Исправлена ошибка журнала в handleStatusMessage
• [SPARK-46568] [SC-151685][PYTHON] Настройка параметров источника данных Python в словаре без учета регистра
• [SPARK-46611] [SC-151783][CORE] Remove ThreadLocal заменить SimpleDateFormat на DateTimeFormatter
• [SPARK-46604] [SC-151768][SQL] Создание Literal.apply поддержки s.c.immuable.ArraySeq
• [SPARK-46324] [SC-150223][SQL][PYTHON] Исправление выходного имени pyspark.sql.functions.user и session_user
• [SPARK-46621] [SC-151794][PYTHON] Адрес NULL из Exception.getMessage в записанном исключении Py4J
• [SPARK-46598] [SC-151767][SQL] OrcColumnarBatchReader должен учитывать режим памяти при создании column векторов для отсутствующих column
• [SPARK-46613] [SC-151778][SQL][PYTHON] Полное исключение журнала при сбое поиска источников данных Python
• [SPARK-46559] [SC-151364][MLLIB] export Перенос имени пакета с обратными знаками
• [SPARK-46522] [SC-151784][PYTHON] Блокировка регистрации источника данных Python с конфликтами имен
• [SPARK-45580] [SC-149956][SQL] Регистр обработки where вложенный запрос становится существованием join
• [SPARK-46609] [SC-151714][SQL] Избегайте экспоненциального взрыва в PartitioningPreservingUnaryExecNode
• [SPARK-46535] [SC-151288][SQL] Исправление NPE (Null Pointer Exception) при расширенном описании column без статистики по столбцам
• [SPARK-46599] [SC-147661][SC-151770][SQL] XML: использование TypeCoercion.findTightestCommonType для проверки совместимости
• [SPARK-40876] [SC-151129][SQL] Повышение уровня типов в читателях Parquet
• [SPARK-46179] [SC-151069][SQL] Извлечение кода в повторно используемые функции в SQLQueryTestSuite
• [SPARK-46586] [SC-151679][SQL] Поддержка s.c.immutable.ArraySeq как customCollectionCls в MapObjects
• [SPARK-46585] [SC-151622][CORE] Непосредственно построен metricPeaks как вместо immutable.ArraySeq использования mutable.ArraySeq.toSeqExecutor
• [SPARK-46488] [SC-151173][SQL] Пропуск вызова trimAll во время синтаксического анализа метки времени
• [SPARK-46231] [SC-149724][PYTHON] Перенос всех оставшихся и в NotImplementedErrorTypeError платформу ошибок PySpark
• [SPARK-46348] [SC-150281][CORE] Поддержка spark.deploy.recoveryTimeout
• [SPARK-46313] [SC-150164][CORE] Длительность восстановления журнала Spark HA
• [SPARK-46358] [SC-150307][CONNECT] Упрощение проверки условия ResponseValidator#verifyResponse
• [SPARK-46380] [SC-151078][SQL]Заменить текущее время/дату перед обработкой встроенных выражений table.
• [SPARK-46563] [SC-151441][SQL] Просмотр simpleString не следует conf spark.sql.debug.maxToStringFields
• [SPARK-46101] [SC-149211][CORE][SQL][MLLIB][SS][R][CONNCT][GRAPHX] Уменьшение глубины стека путем замены (string|array).size with (string|array).length
• [SPARK-46539] [SC-151469][SQL] SELECT * EXCEPT (все поля из структуры) приводит к сбою утверждения
• [SPARK-46565] [SC-151414][PYTHON] Уточнение классов ошибок и сообщений об ошибках для источников данных Python
• [SPARK-46576] [SC-151614][SQL] Улучшение сообщений об ошибках для неподдерживаемого режима сохранения источника данных
• [SPARK-46540] [SC-151355][PYTHON] Уважать имена column, когда выходные данные функции чтения источника данных Python называются объектами row
• [SPARK-46577] [SC-151448][SQL] HiveMetastoreLazyInitializationSuite утечки hive SessionState
• [SPARK-44556] [SC-151562][SQL] Повторное использование OrcTail при включении vectorizedReader
• [SPARK-46587] [SC-151618][SQL] XML: исправление преобразования больших целых чисел XSD
• [SPARK-46382] [SC-151297][SQL]XML: запись values между элементами
• [SPARK-46567] [SC-151447][CORE] Remove ThreadLocal для ReadAheadInputStream
• [SPARK-45917] [SC-151269][PYTHON][SQL] Автоматическая регистрация источника данных Python при запуске
• [SPARK-28386] [SC-151014][SQL] Невозможно разрешить ORDER BYcolumns с GROUP BY и HAVING
• [SPARK-46524] [SC-151446][SQL] Улучшение сообщений об ошибках для недопустимого режима сохранения
• [SPARK-46294] [SC-150672][SQL] Очистка семантики инициализации и нуля значений
• [SPARK-46301] [SC-150100][CORE] Поддержка spark.worker.(initial|max)RegistrationRetries
• [SPARK-46542] [SC-151324][SQL] Remove проверку c>=0 из ExternalCatalogUtils#needsEscaping, так как это всегда верно
• [SPARK-46553] [SC-151360][PS] FutureWarning for interpolate with object dtype
• [SPARK-45914] [SC-151312][PYTHON] Поддержка фиксации и прерывания API для записи источника данных Python
• [SPARK-46543] [SC-151350][PYTHON][CONNECT] Создайте json_tuple исключение PySparkValueError для пустых полей
• [SPARK-46520] [SC-151227][PYTHON] Поддержка перезаписи для записи источника данных Python
• [SPARK-46502] [SC-151235][SQL] Поддержка типов меток времени в UnwrapCastInBinaryComparison
• [SPARK-46532] [SC-151279][CONNECT] Передача сообщения parameters в метаданных ErrorInfo
• [SPARK-46397] Возврат "[SC-151311][PYTHON][CONNECT] Функция sha2 должна вызываться PySparkValueError для недопустимого numBits"
• [SPARK-46170] [SC-149472][SQL] Поддержка внедрения правил стратегии адаптивного запроса после планировщика в SparkSessionExtensions
• [SPARK-46444] [SC-151195][SQL] V2SessionCatalog#createTable не должно загружать table
• [SPARK-46397] [SC-151311][PYTHON][CONNECT] Функция sha2 должна вызываться PySparkValueError для недопустимого numBits
• [SPARK-46145] [SC-149471][SQL] spark.catalog.listTables не выбрасывает исключение, если table или представление не найдено
• [SPARK-46272] [SC-151012][SQL] Поддержка CTAS с помощью источников DSv2
• [SPARK-46480] [SC-151127][CORE][SQL] Исправление NPE при попытке выполнения задачи с кэшем table
• [SPARK-46100] [SC-149051][CORE][PYTHON] Уменьшение глубины стека путем замены (string|array).size with (string|array).length
• [SPARK-45795] [SC-150764][SQL] DS V2 поддерживает режим отправки
• [SPARK-46485] [SC-151133][SQL] V1Write не должен добавлять сортировку при необходимости
• [SPARK-46468] [SC-151121] [SQL] Обработка ошибки COUNT для вложенных запросов EXISTS с помощью агрегата без группирования ключей
• [SPARK-46246] [SC-150927][SQL] EXECUTE IMMEDIATE поддержка SQL
• [SPARK-46498] [SC-151199][CORE] RemoveshuffleServiceEnabled из o.a.spark.util.Utils#getConfiguredLocalDirs
• [SPARK-46440] [SC-150807][SQL] Set конфигурации перебазировки в режим CORRECTED по умолчанию
• [SPARK-45525] [SC-151120][SQL][PYTHON] Поддержка записи источника данных Python с помощью DSv2
• [SPARK-46505] [SC-151187][CONNECT] Настройка порогового значения байтов ProtoUtils.abbreviate
• [SPARK-46447] [SC-151025][SQL] Remove перенормировка устаревших конфигураций даты и времени SQL
• [SPARK-46443] [SC-151123][SQL] Десятичная точность и масштаб должны быть определены диалектом H2.
• [SPARK-46384] [SC-150694][SPARK-46404][SS][пользовательский интерфейс] Исправлена диаграмма стека длительности операций на странице структурированной потоковой передачи
• [SPARK-46207] [SC-151068][SQL] Поддержка MergeInto в DataFrameWriterV2
• [SPARK-46452] [SC-151018][SQL] Добавление нового API в DataWriter для записи итератора записей
• [SPARK-46273] [SC-150313][SQL] Поддержка INSERT INTO/OVERWRITE с помощью источников DSv2
• [SPARK-46344] [SC-150267][CORE] Предупреждать правильно, если драйвер существует успешно, но главный отключен
• [SPARK-46284] [SC-149944][PYTHON][CONNECT] Добавление session_user функции в Python
• [SPARK-46043] [SC-149786][SQL] Поддержка создания table с помощью источников DSv2
• [SPARK-46323] [SC-150191][PYTHON] Исправление выходного имени pyspark.sql.functions.now.
• [SPARK-46465] [SC-151059][PYTHON][CONNECT] Добавление Column.isNaN в PySpark
• [SPARK-46456] [SC-151050][CORE] Добавить spark.ui.jettyStopTimeout к set времени ожидания остановки сервера Jetty для разблокировки завершения работы SparkContext
• [SPARK-43427] [SC-150356][PROTOBUF] spark protobuf: разрешить передачу без знака целых типов
• [SPARK-46399] [SC-151013][14.x][Ядро] Добавление состояния выхода в событие конца приложения для использования прослушивателя Spark
• [SPARK-46423] [SC-150752][PYTHON][SQL] Создание экземпляра источника данных Python в DataSource.lookupDataSourceV2
• [SPARK-46424] [SC-150765][PYTHON][SQL] Поддержка метрик Python в источнике данных Python
• [SPARK-46330] [SC-151015] Загрузка блоков пользовательского интерфейса Spark в течение длительного времени при включении гибридного хранилища
• [SPARK-46378] [SC-150397][SQL] По-прежнему remove сортировать после преобразования агрегирования в проекцию
• [SPARK-45506] [SC-146959][CONNECT] Добавление поддержки URI ivy в addArtifact SparkConnect
• [SPARK-45814] [SC-147871][CONNECT][SQL]Создание вызова arrowConverters.createEmptyArrowBatch call close(), чтобы избежать утечки памяти
• [SPARK-46427] [SC-150759][PYTHON][SQL] Измените описание источника данных Python, чтобы сделать его более привлекательным в explain
• [SPARK-45597] [SC-150730][PYTHON][SQL] Поддержка создания table с помощью источника данных Python в SQL (DSv2 exec)
• [SPARK-46402] [SC-150700][PYTHON] Добавление поддержки getMessageParameters и getQueryContext
• [SPARK-46453] [SC-150897][CONNECT] Создание исключения из internalError()SessionHolder
• [SPARK-45758] [SC-147454][SQL] Знакомство с картой для кодеков сжатия hadoop
• [SPARK-46213] [PYTHON] Введение PySparkImportError в платформу ошибок
• [SPARK-46230] [SC-149960][PYTHON] Ошибка миграции RetriesExceeded в PySpark
• [SPARK-45035] [SC-145887][SQL] Исправление ignoreCorruptFiles/ignoreMissingFiles с помощью multiline CSV/JSON сообщит об ошибке
• [SPARK-46289] [SC-150846][SQL] Поддержка упорядочения определяемых пользователем пользователей в интерпретируемом режиме
• [SPARK-46229] [SC-150798][PYTHON][CONNECT] Добавление applyInArrow к groupBy и cogroup в Spark Connect
• [SPARK-46420] [SC-150847][SQL] Remove неиспользуемый транспорт в SparkSQLCLIDriver
• [SPARK-46226] [PYTHON] Перенос всех оставшихся RuntimeError в платформу ошибок PySpark
• [SPARK-45796] [SC-150613][SQL] Поддержка MODE() В ГРУППЕ (ORDER BY col)
• [SPARK-40559] [SC-149686][PYTHON][14.X] Добавление applyInArrow к groupBy и cogroup
• [SPARK-46069] [SC-149672][SQL] Поддержка типа метки времени unwrap для типа даты
• [SPARK-46406] [SC-150770][SQL] Назначение имени классу ошибок _LEGACY_ERROR_TEMP_1023
• [SPARK-46431] [SC-150782][SS] IllegalStateException Преобразование internalError в итераторы сеанса
• [SPARK-45807] [SC-150751][SQL] Улучшение API ViewCatalog
• [SPARK-46009] [SC-149771][SQL][CONNECT] Слияние правила синтаксического анализа percentileCont и PercentileDisc в functionCall
• [SPARK-46403] [SC-150756][SQL] Декодирование двоичного файла Parquet с помощью метода getBytesUnsafe
• [SPARK-46389] [SC-150779][CORE] Закрытие экземпляра вручную при RocksDB/LevelDB вызове checkVersion исключения
• [SPARK-46360] [SC-150376][PYTHON] Улучшение отладки сообщений об ошибке с помощью нового getMessage API
• [SPARK-46233] [SC-149766][PYTHON] Перенос всех оставшихся AttributeError в платформу ошибок PySpark
• [SPARK-46394] [SC-150599][SQL] Исправлена spark.catalog.listDatabases() проблемы со схемами со специальными символами, когда spark.sql.legacy.keepCommandOutputSchemaset значение true
• [SPARK-45964] [SC-148484][SQL] Remove частный метод доступа SQL в пакете XML и JSON под пакетом Catalyst
• [SPARK-45856] [SC-148691] Перемещение ArtifactManager из Spark Connect в SparkSession (sql/core)
• [SPARK-46409] [SC-150714][CONNECT] Исправлен сценарий запуска spark-connect-scala-client
• [SPARK-46416] [SC-150699][CORE] Добавить @tailrec в HadoopFSUtils#shouldFilterOutPath
• [SPARK-46115] [SC-149154][SQL] Ограничение наборов символов в encode()
• [SPARK-46253] [SC-150416][PYTHON] Планирование чтения источника данных Python с помощью MapInArrow
• [SPARK-46339] [SC-150266][SS] Каталог с именем пакетного номера не должен рассматриваться как журнал метаданных
• [SPARK-46353] [SC-150396][CORE] Рефакторинг для улучшения RegisterWorker покрытия модульного теста
• [SPARK-45826] [SC-149061][SQL] Добавление конфигурации SQL для трассировок стека в контексте запроса DataFrame
• [SPARK-45649] [SC-150300][SQL] Объединение платформы подготовки для OffsetWindowFunctionFrame
• [SPARK-46346] [SC-150282][CORE] Исправление мастера update рабочей роли из UNKNOWN в ALIVE на RegisterWorker msg
• [SPARK-46388] [SC-150496][SQL] HiveAnalysis пропускает защиту шаблонов query.resolved
• [SPARK-46401] [SC-150609][CORE] !isEmpty() Использование RoaringBitmap вместо getCardinality() > 0 inRemoteBlockPushResolver
• [SPARK-46393] [SC-150603][SQL] Классификация исключений в tablecatalog JDBC
• [SPARK-45798] [SC-150513][CONNECT] Дальнейшие действия. Добавление serverSessionId в SessionHolderInfo
• [SPARK-46153] [SC-146564][SC-150508][SQL] XML: добавление поддержки TimestampNTZType
• [SPARK-46075] [SC-150393][CONNECT] Усовершенствования SparkConnectSessionManager
• [SPARK-46357] [SC-150596] Заменить некорректное использование setConf в документации на conf.set
• [SPARK-46202] [SC-150420][CONNECT] Предоставление новых API ArtifactManager для поддержки пользовательских целевых каталогов
• [SPARK-45824] [SC-147648][SQL] Принудительное применение класса ошибок в ParseException
• [SPARK-45845] [SC-148163][SS][пользовательский интерфейс] Добавление количества вытеснили строк состояния в пользовательский интерфейс потоковой передачи
• [SPARK-46316] [SC-150181][CORE] Включение buf-lint-action в модуле core
• [SPARK-45816] [SC-147656][SQL] Возвращается NULL при переполнении во время приведения из метки времени в целые числа
• [SPARK-46333] [SC-150263][SQL] Замена IllegalStateException катализатором SparkException.internalError
• [SPARK-45762] [SC-148486][CORE] Поддержка диспетчеров перетасовки, определенных в пользовательских jar-файлах, изменяя порядок запуска
• [SPARK-46239] [SC-149752][CORE] Скрытие Jetty сведений
• [SPARK-45886] [SC-148089][SQL] Вывод полной трассировки стека в callSite контексте Кадра данных
• [SPARK-46290] [SC-150059][PYTHON] Изменение saveMode на логический флаг для DataSourceWriter
• [SPARK-45899] [SC-148097][CONNECT] Set errorClass in errorInfoToThrowable
• [SPARK-45841] [SC-147657][SQL] Предоставление трассировки стека по DataFrameQueryContext
• [SPARK-45843] [SC-147721][CORE] Поддержка killall в API отправки REST
• [SPARK-46234] [SC-149711][PYTHON] Введение PySparkKeyError в платформу ошибок PySpark
• [SPARK-45606] [SC-147655][SQL] Ограничения выпуска для фильтра среды выполнения с несколькими слоями
• [SPARK-45725] [SC-147006][SQL] Remove фильтр среды выполнения, отличный от по умолчанию in subquery
• [SPARK-45694] [SC-147314][SPARK-45695][SQL] Очистка нерекомендуемого использования View.force API и ScalaNumberProxy.signum
• [SPARK-45805] [SC-147488][SQL] Сделать withOrigin более универсальным
• [SPARK-46292] [SC-150086][CORE][пользовательский интерфейс] Отображение сводки работников в MasterPage
• [SPARK-45685] [SC-146881][CORE][SQL] Используйте LazyList вместо Stream
• [SPARK-458888] [SC-149945][SS] Применение платформы классов ошибок к источнику данных state (metadata)
• [SPARK-46261] [SC-150111][CONNECT] DataFrame.withColumnsRenamed должен хранить порядок диктовки или карты
• [SPARK-46263] [SC-149933][SQL][SS][ML][MLLIB][пользовательский интерфейс] Очистка SeqOps.view и ArrayOps.view преобразование
• [SPARK-46029] [SC-149255][SQL] Экранируйте одинарный кавычок _ и % для pushdown DS V2
• [SPARK-46275] [SC-150189] Protobuf: возвращает значение NULL в разрешительном режиме при сбое десериализации.
• [SPARK-46320] [SC-150187][CORE] Поддержка spark.master.rest.host
• [SPARK-46092] [SC-149658][SQL] Не нажимайте фильтры групп строк Parquet, которые переполнены
• [SPARK-46300] [SC-150097][PYTHON][CONNECT] Соответствие мелкому поведению в Column с полным покрытием тестами
• [SPARK-46298] [SC-150092][PYTHON][CONNECT] Предупреждение об отмене соответствия, случай тестирования и ошибка Catalog.createExternalTable
• [SPARK-45689] [SC-146898][SPARK-45690][SPARK-45691][CORE][SQL] Очистка устаревшего использования API, связанного с StringContext/StringOps/RightProjection/LeftProjection/Either использованием и типом BufferedIterator/CanBuildFrom/Traversable
• [SPARK-33393] [SC-148407][SQL] Поддержка SHOW TABLE EXTENDED в версии 2
• [SPARK-45737] [SC-147011][SQL] Remove ненужный .toArray[InternalRow] в SparkPlan#executeTake
• [SPARK-46249] [SC-149797][SS] Требовать блокировку экземпляра для получения метрик RocksDB, чтобы предотвратить гонку с фоновыми операциями
• [SPARK-46260] [SC-149940][PYTHON][SQL] DataFrame.withColumnsRenamed должен соблюдать порядок диктовки
• [SPARK-46274] [SC-150043] [SQL] Исправление оператора range computeStats() для проверки длительной допустимости перед преобразованием
• [SPARK-46040] [SC-149767][SQL][Python] Update API UDTF для анализа секционирования и упорядочивания columns для поддержки общих выражений
• [SPARK-46287] [SC-149949][PYTHON][CONNECT] DataFrame.isEmpty должен работать со всеми типами данных
• [SPARK-45678] [SC-146825][CORE] Cover BufferReleasingInputStream.available/reset в разделе tryOrFetchFailedException
• [SPARK-45667] [SC-146716][CORE][SQL][CONNECT] Очистка нерекомендуемого использования API, связанного с IterableOnceExtensionMethods.
• [SPARK-43980] [SC-148992][SQL] введение синтаксиса select * except
• [SPARK-46269] [SC-149816][PS] Включение дополнительных тестов функций совместимости NumPy
• [SPARK-45807] [SC-149851][SQL] Добавление createOrReplaceView(..) / replaceView(..) в ViewCatalog
• [SPARK-45742] [SC-147212][CORE][CONNECT][MLLIB][PYTHON] Введите неявную функцию для Scala Array, включаемой в immutable.ArraySeqоболочку.
• [SPARK-46205] [SC-149655][CORE] Повышение PersistenceEngine производительности с помощью KryoSerializer
• [SPARK-45746] [SC-149359][Python] Возвращает конкретные сообщения об ошибках, если метод UDTF «анализ» или «eval» принимает или возвращает неправильные аргументы values
• [SPARK-46186] [SC-149707][CONNECT] Исправление незаконного перехода состояния при прерывании ExecuteThreadRunner перед началом работы
• [SPARK-46262] [SC-149803][PS] Включите тест для np.left_shift объекта Pandas-on-Spark.
• [SPARK-45093] [SC-149679][CONNECT][PYTHON] Правильная поддержка обработки ошибок и преобразования для AddArtifactHandler
• [SPARK-46188] [SC-149571][Doc][3.5] Исправление CSS в сгенерированной документации Spark tables
• [SPARK-45940] [SC-149549][PYTHON] Добавление InputPartition в интерфейс DataSourceReader
• [SPARK-43393] [SC-148301][SQL] Ошибка переполнения выражения последовательности адресов.
• [SPARK-46144] [SC-149466][SQL] Сбой INSERT В ... Инструкция REPLACE, если условие содержит вложенный запрос
• [SPARK-46118] [SC-149096][SQL][SS][CONNECT] Используйте SparkSession.sessionState.conf вместо нерекомендуемого SQLContext.conf и пометьте SQLContext.conf как нерекомендуемые
• [SPARK-45760] [SC-147550][SQL] Добавление с помощью выражения, чтобы избежать дедупликации выражений
• [SPARK-43228] [SC-149670][SQL] Join ключи также соответствуют PartitioningCollection в CoalesceBucketsInJoin
• [SPARK-46223] [SC-149691][PS] Тестирование SparkPandasNotImplementedError с очисткой неиспользуемого кода
• [SPARK-46119] [SC-149205][SQL] Метод переопределения toString для UnresolvedAlias
• [SPARK-46206] [SC-149674][PS] Использование более узкого исключения области для процессора SQL
• [SPARK-46191] [SC-149565][CORE] Улучшение FileSystemPersistenceEngine.persist msg ошибки в случае существующего файла
• [SPARK-46036] [SC-149356][SQL] Удаление класса ошибок из функции raise_error
• [SPARK-46055] [SC-149254][SQL] Переопределение Catalog реализации API базы данных
• [SPARK-46152] [SC-149454][SQL] XML: добавление поддержки DecimalType в XML-schema вывода
• [SPARK-45943] [SC-149452][SQL] Перемещение DetermineTableStats в правила разрешения
• [SPARK-45887] [SC-148994][SQL] Выравнивание реализации codegen и некодегенов Encode
• [SPARK-45022] [SC-147158][SQL] Предоставление контекста для ошибок API набора данных
• [SPARK-45469] [SC-145135][CORE][SQL][CONNECT][PYTHON] Замена toIterator на iteratorIterableOnce
• [SPARK-46141] [SC-149357][SQL] Измените значение по умолчанию для spark.sql.legacy.ctePrecedencePolicy на CORRECTED
• [SPARK-45663] [SC-146617][CORE][MLLIB] Замена IterableOnceOps#aggregate на IterableOnceOps#foldLeft
• [SPARK-45660] [SC-146493][SQL] Повторное использование объектов Литерала в правиле ComputeCurrentTime
• [SPARK-45803] [SC-147489][CORE] Remove больше не используемый RpcAbortException
• [SPARK-46148] [SC-149350][PS] Исправление pyspark.pandas.mlflow.load_model теста (Python 3.12)
• [SPARK-46110] [SC-149090][PYTHON] Использование классов ошибок в catalog, conf, connect, observation, модулях pandas
• [SPARK-45827] [SC-149203][SQL] Исправление вариантов с отключенным кодом и векторизованным средством чтения
• [SPARK-46080] Возврат "[SC-149012][PYTHON] Обновление Cloudpickle до 3.0.0"
• [SPARK-45460] [SC-144852][SQL] Замена scala.collection.convert.ImplicitConversions на scala.jdk.CollectionConverters
• [SPARK-46073] [SC-149019][SQL] Remove специальное разрешение неразрешенного пространства имен для определенных команд
• [SPARK-45600] [SC-148976][PYTHON] Создание уровня регистрации источника данных Python
• [SPARK-46074] [SC-149063][CONNECT][SCALA] Недостаточно сведений об ошибке при сбое UDF
• [SPARK-46114] [SC-149076][PYTHON] Добавление PySparkIndexError для платформы ошибок
• [SPARK-46120] [SC-149083][CONNECT][PYTHON] Remove вспомогательная функция DataFrame.withPlan
• [SPARK-45927] [SC-148660][PYTHON] Update обработка путей для источника данных Python
• [SPARK-46062] [14.x][SC-148991][SQL] Sync флаг isStreaming между определением CTE и ссылкой
• [SPARK-45698] [SC-146736][CORE][SQL][SS] Очистка устаревшего использования API, связанного с Buffer
• [SPARK-46064] [SC-148984][SQL][SS] Переместите в анализатор УдалитьEventTimeWatermark и измените действие только на разрешенный дочерний элемент
• [SPARK-45922] [SC-149038][CONNECT][КЛИЕНТ] Незначительные повторные попытки рефакторинга (последующие действия по нескольким политикам)
• [SPARK-45851] [SC-148419][CONNECT][SCALA] Поддержка нескольких политик в клиенте Scala
• [SPARK-45974] [SC-149062][SQL] Добавление scan.filterAttributes, непустого решения для RowLevelOperationRuntimeGroupFiltering
• [SPARK-46085] [SC-149049][CONNECT] Dataset.groupingSets в клиенте Scala Spark Connect
• [SPARK-45136] [SC-146607][CONNECT] Повышение эффективности ЗакрытияCleaner с поддержкой Ammonite
• [SPARK-46084] [SC-149020][PS] Операция приведения типов данных рефакторинга для категориального типа.
• [SPARK-46083] [SC-149018][PYTHON] Создание SparkNoSuchElementException в качестве канонического API ошибок
• [SPARK-46048] [SC-148982][PYTHON][CONNECT] Поддержка DataFrame.groupingSets в Python Spark Connect
• [SPARK-46080] [SC-149012][PYTHON] Обновление Cloudpickle до версии 3.0.0
• [SPARK-46082] [SC-149015][PYTHON][CONNECT] Исправление строкового представления protobuf для API функций Pandas с помощью Spark Connect
• [SPARK-46065] [SC-148985][PS] Рефакторинг (DataFrame|Series).factorize() для использования create_map.
• [SPARK-46070] [SC-148993][SQL] Компиляция шаблона regex в SparkDateTimeUtils.getZoneId за пределами горячего цикла
• [SPARK-46063] [SC-148981][PYTHON][CONNECT] Улучшение сообщений об ошибках, связанных с типами аргументов в cute, свертке, группировке и pivot
• [SPARK-44442] [SC-144120][MESOS] Remove поддержка Mesos
• [SPARK-45555] [SC-147620][PYTHON] Включает отлаживаемый объект для неудачного утверждения
• [SPARK-46048] [SC-148871][PYTHON][SQL] Поддержка DataFrame.groupingSets в PySpark
• [SPARK-45768] [SC-147304][SQL][PYTHON] Создание отказоустойчивого сервера конфигурации среды выполнения для выполнения Python в SQL
• [SPARK-45996] [SC-148586][PYTHON][CONNECT] Отображение соответствующих сообщений о требованиях зависимостей для Spark Connect
• [SPARK-45681] [SC-146893][пользовательский интерфейс] Клонирование js-версии UIUtils.errorMessageCell для согласованной отрисовки ошибок в пользовательском интерфейсе
• [SPARK-45767] [SC-147225][CORE] Удаление TimeStampedHashMap и ее UT
• [SPARK-45696] [SC-148864][CORE] Исправление метода tryCompleteWith in trait Promise является устаревшим
• [SPARK-45503] [SC-1463338][SS] Добавление conf в сжатие Set RocksDB
• [SPARK-45338] [SC-143934][CORE][SQL] Замена scala.collection.JavaConverters на scala.jdk.CollectionConverters
• [SPARK-44973] [SC-148804][SQL] Исправление ArrayIndexOutOfBoundsException в conv()
• [SPARK-45912] [SC-144982][SC-148467][SQL] Усовершенствование API XSDToSchema. Изменение API HDFS для специальных возможностей облачного хранилища
• [SPARK-45819] [SC-147570][CORE] Поддержка clear в API отправки REST
• [SPARK-45552] [14.x][SC-146874][PS] Введите гибкие parameters для assertDataFrameEqual
• [SPARK-45815] [SC-1478777][SQL][Потоковая передача][14.x][CHERRY-PICK] Укажите интерфейс для других источников потоковой передачи для добавления _metadatacolumns
• [SPARK-45929] [SC-148692][SQL] Поддержка операций groupingSets в API кадра данных
• [SPARK-46012] [SC-148693][CORE] EventLogFileReader не должен считывать скользящие журналы, если отсутствует файл состояния приложения
• [SPARK-45965] [SC-148575][SQL] Перемещение выражений секционирования DSv2 в functions.partitioning
• [SPARK-45971] [SC-148541][CORE][SQL] Исправление имени SparkCollectionUtils пакета org.apache.spark.util
• [SPARK-45688] [SC-147356][SPARK-45693][CORE] Очистка устаревшего использования API, связанного с MapOps &Исправлением method += in trait Growable is deprecated
• [SPARK-45962] [SC-144645][SC-148497][SQL] RemovetreatEmptyValuesAsNulls и использовать вместо этого параметр nullValue в XML
• [SPARK-459888] [SC-148580][SPARK-45989][PYTHON] Исправление типов для обработки list GenericAlias в Python 3.11+
• [SPARK-45999] [SC-148595][PS] Использование выделенного PandasProduct в cumprod
• [SPARK-45986] [SC-148583][ML][PYTHON] Исправление pyspark.ml.torch.tests.test_distributor в Python 3.11
• [SPARK-45994] [SC-148581][PYTHON] Переход description-file на description_file
• [SPARK-45575] [SC-146713][SQL] Поддержка вариантов перемещения по времени для API чтения df
• [SPARK-45747] [SC-148404][SS] Использование сведений о ключе префикса в метаданных состояния для обработки состояния чтения для window агрегирования сеанса
• [SPARK-45898] [SC-148213][SQL] Перезапись catalogtable API-интерфейсов для использования неразрешенного логического плана
• [SPARK-45828] [SC-147663][SQL] Remove устаревший метод в dsl
• [SPARK-45990] [SC-148576][SPARK-45987][PYTHON][CONNECT] Обновление protobuf до версии 4.25.1 для поддержки Python 3.11
• [SPARK-45911] [SC-148226][CORE] Сделайте TLS1.3 по умолчанию для ПРОТОКОЛА SSL RPC
• [SPARK-45955] [SC-148429][пользовательский интерфейс] Поддержка свертывание сведений о пламях и дампа потоках
• [SPARK-45936] [SC-148392][PS] OptimizeIndex.symmetric_difference
• [SPARK-45389] [SC-144834][SQL][3.5] Правильное правило сопоставления MetaException для получения метаданных partition
• [SPARK-45655] [SC-148085][SQL][SS] Разрешить недетерминированные выражения внутри AggregateFunctions в CollectMetrics
• [SPARK-45946] [SC-148448][SS] Исправлено использование устаревшей записи FileUtils для передачи символов по умолчанию в RocksDBSuite
• [SPARK-45511] [SC-148285][SS] Источник данных состояния — читатель
• [SPARK-45918] [SC-148293][PS] OptimizeMultiIndex.symmetric_difference
• [SPARK-45813] [SC-148288][CONNECT][PYTHON] Возврат наблюдаемых метрик из команд
• [SPARK-45867] [SC-147916][CORE] Поддержка spark.worker.idPattern
• [SPARK-45945] [SC-148418][CONNECT] Добавление вспомогательной функции для parser
• [SPARK-45930] [SC-148399][SQL] Поддержка недетерминированных определяемых пользователей в MapInPandas/MapInArrow
• [SPARK-45810] [SC-148356][Python] Создать API Python UDTF для прекращения чтения строк из входных table
• [SPARK-45731] [SC-147929][SQL] Также статистику updatepartition с командой ANALYZE TABLE
• [SPARK-45868] [SC-148355][CONNECT] Убедитесь, что spark.table используйте тот же средство синтаксического анализа с ванильной spark
• [SPARK-45882] [SC-148161][SQL] Широковещательное распространениеHashJoinExec должно учитывать секционирование CoalescedHashPartitioning
• [SPARK-45710] [SC-147428][SQL] Назначение имен ошибке _LEGACY_ERROR_TEMP_21[59 60 61 62]
• [SPARK-45915] [SC-148306][SQL] Обрабатывать десятичное (x, 0) то же, что и Целочисленный тип в PromoteStrings
• [SPARK-45786] [SC-147552][SQL] Исправление неточного умножения десятичных и деления результатов
• [SPARK-45871] [SC-148084][CONNECT] Преобразование коллекции оптимизаций, связанное .toBuffer с connect модулями
• [SPARK-45822] [SC-147546][CONNECT] SparkConnectSessionManager может найти остановленный sparkcontext
• [SPARK-45913] [SC-148289][PYTHON] Сделайте внутренние атрибуты закрытыми из ошибок PySpark.
• [SPARK-45827] [SC-148201][SQL] Добавление типа данных Variant в Spark.
• [SPARK-44886] [SC-147876][SQL] Введите предложение CLUSTER BY для CREATE/REPLACE TABLE
• [SPARK-45756] [SC-147959][CORE] Поддержка spark.master.useAppNameAsAppId.enabled
• [SPARK-45798] [SC-147956][CONNECT] Утверждение идентификатора сеанса на стороне сервера
• [SPARK-45896] [SC-148091][SQL] Создание ValidateExternalType с правильным ожидаемым типом
• [SPARK-45902] [SC-148123][SQL] Remove неиспользуемая функция resolvePartitionColumns из DataSource
• [SPARK-45909] [SC-148137][SQL] RemoveNumericType, если он может безопасно выполнить повышающее приведение в IsNotNull
• [SPARK-42821] [SC-147715][SQL] Remove неиспользуемые parameters в методах splitFiles
• [SPARK-45875] [SC-148088][CORE] RemoveMissingStageTableRowData из модуля core
• [SPARK-45783] [SC-148120][PYTHON][CONNECT] Улучшение сообщений об ошибках при включении режима Spark Connect, но удаленный URL-адрес не set
• [SPARK-45804] [SC-147529][пользовательский интерфейс] Добавление конфигурации spark.ui.threadDump.flamegraphEnabled для переключения графа пламени
• [SPARK-45664] [SC-146878][SQL] Знакомство с кодеками сжатия orc
• [SPARK-45481] [SC-146715][SQL] Знакомство с картой для кодеков сжатия parquet
• [SPARK-45752] [SC-148005][SQL] Упрощение кода для проверки отношений CTE без ссылки
• [SPARK-44752] [SC-146262][SQL] XML: Update Документация Spark
• [SPARK-45752] [SC-147869][SQL] Отмена ссылки на CTE должна быть проверена CheckAnalysis0
• [SPARK-45842] [SC-147853][SQL] Api-интерфейсы функции рефакторинга Catalog для использования анализатора
• [SPARK-45639] [SC-147676][SQL][PYTHON] Поддержка загрузки источников данных Python в DataFrameReader
• [SPARK-45592] [SC-146977][SQL] Проблема с правильностью в AQE с InMemoryTableScanExec
• [SPARK-45794] [SC-147646][SS] Ввод источника метаданных состояния для запроса сведений о метаданных состояния потоковой передачи
• [SPARK-45739] [SC-147059][PYTHON] Перехват ioException вместо EOFException только для отказоустойчивого
• [SPARK-45677] [SC-146700] Лучшее ведение журнала ошибок для API наблюдения
• [SPARK-45544] [SC-146873][CORE] Интеграция поддержки SSL в TransportContext
• [SPARK-45654] [SC-147152][PYTHON] Добавление API записи источника данных Python
• [SPARK-45771] [SC-147270][CORE] Включить spark.eventLog.rolling.enabled по умолчанию
• [SPARK-45713] [SC-146986][PYTHON] Поддержка регистрации источников данных Python
• [SPARK-45656] [SC-146488][SQL] Исправление наблюдения при именованных наблюдениях с одинаковым именем в разных наборах данных
• [SPARK-45808] [SC-147571][CONNECT][PYTHON] Улучшена обработка ошибок для исключений SQL
• [SPARK-45774] [SC-147353][CORE][пользовательский интерфейс] Поддержка spark.master.ui.historyServerUrl в ApplicationPage
• [SPARK-45776] [SC-147327][CORE] Remove оборонительный флажок null для MapOutputTrackerMaster#unregisterShuffle добавлен в SPARK-39553
• [SPARK-45780] [SC-147410][CONNECT] Распространение всех потоков клиента Spark Connect в НаследуемомThread
• [SPARK-45785] [SC-147419][CORE] Поддержка spark.deploy.appNumberModulo смены номера приложения
• [SPARK-45793] [SC-147456][CORE] Улучшение встроенных кодеков сжатия
• [SPARK-45757] [SC-147282][ML] Избегайте повторного вычисления NNZ в Binarizer
• [SPARK-45209] [SC-146490][CORE][пользовательский интерфейс] Поддержка Диаграммы пламя для страницы дампа потока исполнителя
• [SPARK-45777] [SC-147319][CORE] Поддержка spark.test.appId в LocalSchedulerBackend
• [SPARK-45523] [SC-146331][PYTHON] Рефакторинг проверки null для сочетаний клавиш
• [SPARK-45711] [SC-146854][SQL] Знакомство с картой для кодеков сжатия avro
• [SPARK-45523] [SC-146077][Python] Возвращает полезное сообщение об ошибке, если UDTF возвращает значение None для любого ненулевого column
• [SPARK-45614] [SC-146729][SQL] Назначение имен ошибке _LEGACY_ERROR_TEMP_215[6,7,8]
• [SPARK-45755] [SC-147164][SQL] Улучшить Dataset.isEmpty() путем применения глобальных limit1
• [SPARK-45569] [SC-145915][SQL] Назначение имени _LEGACY_ERROR_TEMP_2153 ошибки
• [SPARK-45749] [SC-147153][CORE][WEBUI] Исправление Spark History Server для сортировки Durationcolumn правильно
• [SPARK-45754] [SC-147169][CORE] Поддержка spark.deploy.appIdPattern
• [SPARK-45707] [SC-146880][SQL] Упрощение DataFrameStatFunctions.countMinSketch с помощью CountMinSketchAgg
• [SPARK-45753] [SC-147167][CORE] Поддержка spark.deploy.driverIdPattern
• [SPARK-45763] [SC-147177][CORE][UI] Улучшить MasterPage для отображения Resourcecolumn только при наличии
• [SPARK-45112] [SC-143259][SQL] Использование разрешения на основе неразрешенногоFunction в функциях набора данных SQL

Поддержка драйвера ODBC/JDBC Databricks

Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновление (скачайте ODBC, скачайте JDBC).

Обновления в рамках обслуживания

Ознакомьтесь с обновлениями обслуживания Databricks Runtime 14.3.

Системная среда

• Операционная система: Ubuntu 22.04.3 LTS
• Java: Zulu 8.74.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 3.1.0

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Posit диспетчер пакетов CRAN 2023-02-10.

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)