Databricks Runtime 13.2 (EoS)

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 13.2, на базе Apache Spark 3.4.0.

Databricks выпустила эту версию в июле 2023 года.

Новые функции и внесенные улучшения

• Контрольная точка журнала изменений для хранилища состояний RocksDB
• Улучшенная надежность для ВАКУУМа с мелким клоном в каталоге Unity.
• Поддержка определяемых пользователем пользователей Python в SQL
• Delta Lake UniForm для Iceberg находится в общедоступной предварительной версии
• Отказоустойчивая кластеризация Delta Lake доступна в общедоступной предварительной версии
• Поддержка архивации в Azure Databricks
• Поддержка предложения IDENTIFIER
• Поддержка каталога Unity для пользовательских функций Python и Pandas
• Предоставление общего доступа к схемам с помощью разностного общего доступа
• Исправления ошибок

Контрольная точка журнала изменений для хранилища состояний RocksDB

Вы можете включить контрольную точку журнала изменений, чтобы снизить длительность контрольной точки и сквозную задержку для рабочих нагрузок структурированной потоковой передачи с отслеживанием состояния. Databricks рекомендует включать контрольные точки журнала изменений для всех запросов структурированных потоков с отслеживанием состояния. См. раздел "Включить контрольную точку журнала изменений".

Улучшенная надежность для ВАКУУМа с мелким клоном в каталоге Unity.

При использовании управляемых таблиц каталога Unity для источника и цели неглубокой операции клонирования каталог Unity управляет базовыми файлами данных для повышения надежности исходной и целевой цели операции клонирования. Выполнение VACUUM на источнике неглубокого клона не нарушает клонированную таблицу. См. раздел " Вакуум" и "Каталог Unity" с мелкими клонами.

Поддержка определяемых пользователем пользователей Python в SQL

Теперь можно объявить определяемые пользователем функции с помощью Python в инструкциях SQL CREATE FUNCTION в каталоге Unity. См . определяемые пользователем функции в каталоге Unity.

Delta Lake UniForm для Iceberg находится в общедоступной предварительной версии

Универсальный формат Delta Lake (UniForm) позволяет читать таблицы Delta с клиентами Iceberg. См. раздел "Использование UniForm" для чтения таблиц Delta с клиентами Iceberg.

Отказоустойчивая кластеризация Delta Lake доступна в общедоступной предварительной версии

Разностная кластеризация Delta Lake заменяет секционирование таблиц и ZORDER упрощает решения по макету данных и оптимизирует производительность запросов. См. статью Использование "жидкой" кластеризации для таблиц Delta.

Поддержка архивации в Azure Databricks

Поддержка архивации в Azure Databricks представляет коллекцию возможностей, которые позволяют использовать политики жизненного цикла на основе облака в облачном хранилище объектов с таблицами Delta для перемещения файлов на архивные уровни хранилища. См . сведения о поддержке архивации в Azure Databricks.

Поддержка предложения IDENTIFIER

Используется IDENTIFIER(:mytable) для безопасной параметризации таблиц, столбцов, функций и схем во многих инструкциях SQL.

Поддержка каталога Unity для пользовательских функций Python и Pandas

В Databricks Runtime 13.2 и более поздних версиях определяемые пользователем функции (UDFS), написанные на Python, поддерживаются в кластерах, использующих режим общего доступа в рабочей области каталога Unity. Это включает в себя определяемые пользователем файлы Python и Pandas. Дополнительные сведения об определяемых пользователем функциях Python см. в статье о определяемых пользователем скалярных функциях — Python.

Предоставление общего доступа к схемам с помощью разностного общего доступа

Databricks Runtime 13.2 добавляет возможность ALTER SHARE <share-name> ADD SCHEMA <schema-name> совместного использования всей схемы с помощью Разностного общего доступа, предоставляя получателю доступ ко всем таблицам и представлениям в схеме в данный момент, наряду с любыми таблицами и представлениями, добавленными в схему в будущем. См. статью "Добавление схем в общую папку " и ALTER SHARE.

Исправления ошибок

• Исправлена ошибка с средством чтения JSON, где записи были проанализированы в PERMISSIVE режиме, если failOnUnknownFieldsmode он включен. Записи теперь удаляются в режиме или записываются в DROPMALFORMEDparser него badRecordsPath, если заданы какие-либо из этих параметров. FAILFAST Вызывает ошибку, если тип столбца не соответствует.

Обновления библиотек

• Обновленные библиотеки Python:
  • nodeenv от 1.7.0 до 1.8.0
• Обновленные библиотеки R:
• Обновленные библиотеки Java:
  • io.delta.delta-sharing-spark_2.12 от 0.6.7 до 0.7.0

Apache Spark

Databricks Runtime 13.2 включает Apache Spark 3.4.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 13.1 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-42750] [SC-133452][DBRRM-273] Поддержка инструкции Insert By Name
• [SPARK-43133] [SC-133728] Поддержка Foreach клиента Scala Client DataStreamWriter
• [SPARK-43663] [SC-134135][CONNECT][PS] Давать возможность SeriesParityTests.test_compare
• [SPARK-43684] [SC-134162][SPARK-43685][SPARK-43686][SPARK-43691][CONNECT][PS] Исправление (NullOps|NumOps).(eq|ne) для Spark Connect.
• [SPARK-44021] [SC-134109][SQL] Добавление spark.sql.files.maxPartitionNum
• [SPARK-43910] [SC-132936][SQL] Удаление __auto_generated_subquery_name идентификаторов в ошибках
• [SPARK-43976] [SC-133375][CORE] Обработка случая, когда измененные конфигурации не существуют в журналах событий
• [SPARK-32559] [SC-133992][SQL] Исправление логики обрезки не обрабатывал символы управления ASCII правильно
• [SPARK-43421] [SC-132930][SS] Реализация контрольных точек на основе изменений для поставщика хранилища состояний RocksDB
• [SPARK-43594] [SC-133851][SQL] Добавление LocalDateTime в anyToMicros
• [SPARK-43884] [SC-133867] Маркеры парам в DDL
• [SPARK-43398] [SC-133894][CORE] Время ожидания исполнителя должно быть максимумом времени ожидания простоя и времени ожидания rdd
• [SPARK-43610] [SC-133892][CONNECT][PS] Включите InternalFrame.attach_distributed_column в Spark Connect.
• [SPARK-43971] [SC-133826][CONNECT][PYTHON] Поддержка создания Кадра Данных Python в потоковой передаче
• [SPARK-44006] [SC-133652][CONNECT][PYTHON] Поддержка артефактов кэша
• [SPARK-43790] [SC-133468][PYTHON][CONNECT][ML] Добавление copyFromLocalToFs API
• [SPARK-43921] [SC-133461][PROTOBUF] Создание файлов дескриптора Protobuf во время сборки
• [SPARK-43906] [SC-133638][SC-133404][PYTHON][CONNECT] Реализация поддержки файлов в SparkSession.addArtifacts
• [SPARK-44010] [SC-133744][PYTHON][SS][ДОПОЛНИТЕЛЬНЫЙ] Исправление типа StreamQueryProgresss в Python StreamingQueryProgresss с типомPerSecond
• [SPARK-43768] [SC-132398][PYTHON][CONNECT] Поддержка управления зависимостями Python в Python Spark Connect
• [SPARK-43979] [13.X] Возврат "[SC-133456][SQL] Собранные метрики должны рассматриваться как те же для самостоятельного соединения".
• [SPARK-42290] [SC-133696][SQL] Исправление ошибки OOM невозможно сообщить, когда AQE включена
• [SPARK-43943] [SC-133648][SQL][PYTHON][CONNECT] Добавление математических функций SQL в Scala и Python
• [SPARK-43747] [SC-132047][PYTHON][CONNECT] Реализация поддержки pyfile в SparkSession.addArtifacts
• [SPARK-43700] [SC-133726][SPARK-43701][CONNECT][PS] Включение TimedeltaOps.(sub|rsub) с помощью Spark Connect
• [SPARK-43712] [SC-133641][SPARK-43713][CONNECT][PS] Включите тест четности: test_line_plot, test_pie_plot.
• [SPARK-43867] [SC-132895][SQL] Улучшение предлагаемых кандидатов для неразрешенного атрибута
• [SPARK-43901] [SC-133454][SQL] Avro to Support custom десятичный тип, поддерживаемый Long
• [SPARK-43267] [SC-133024][JDBC] Обработка неизвестного пользовательского столбца postgres в виде строки в массиве
• [SPARK-43935] [SC-133637][SQL][PYTHON][CONNECT] Добавление функций xpath_* в Scala и Python
• [SPARK-43916] [SC-133647][SQL][PYTHON][CONNECT] Добавление процентиля в Scala и API Python
• [SPARK-43717] [SC-133455][CONNECT] Scala client reduce agg не может обрабатывать null секции для примитивных входных данных scala
• [SPARK-43984] [SC-133469][SQL][PROTOBUF] Изменение использования foreach , когда map не создает результаты
• [SPARK-43612] [SC-132011][CONNECT][PYTHON] Реализация SparkSession.addArtifact(s) в клиенте Python
• [SPARK-44002] [SC-133606][CONNECT] Исправление обработчика состояния артефакта
• [SPARK-43933] [SC-133470][SQL][PYTHON][CONNECT] Добавление статистических функций линейной регрессии в Scala и Python
• [SPARK-43920] [SC-133614][SQL][CONNECT] Создание модуля SQL/API
• [SPARK-43979] [SC-133456][SQL] Собранные метрики должны рассматриваться как те же для самостоятельного соединения.
• [SPARK-43977] [SC-133373][CONNECT] Исправлена непредвиденная проверка результата dev/connect-jvm-client-mima-check
• [SPARK-43985] [SC-133412][PROTOBUF] spark protobuf: исправление перечисления как ошибки ints
• [SPARK-43930] [SC-133406][SQL][PYTHON][CONNECT] Добавление функций unix_* в Scala и Python
• [SPARK-43807] [SC-132545][SQL] Перенос _LEGACY_ERROR_TEMP_1269 на PARTITION_SCHEMA_IS_EMPTY
• [SPARK-43956] [SC-133123][SQL] Исправление ошибки не отображает sql столбца для Percentile[Cont|Диск]
• [SPARK-42626] [SC-133248][CONNECT] Добавление деструктивного итератора для SparkResult
• [SPARK-433333] [SC-132898][SQL] Разрешить Avro преобразовать тип объединения в SQL с стабильным именем поля с типом
• [SPARK-43953] [SC-133134][CONNECT] Убирать pass
• [SPARK-43970] [SC-133403][PYTHON][CONNECT] Скрытие неподдерживаемых методов кадра данных из автоматического завершения
• [SPARK-43973] [SC-133272][SS][пользовательский интерфейс] Структурированный пользовательский интерфейс потоковой передачи должен правильно отображать неудачные запросы
• [SPARK-42577] [SC-125445][CORE] Добавление максимального ограничения попыток для этапов, чтобы избежать потенциальной бесконечной повторных попыток
• [SPARK-43841] [SC-132699][SQL] Обработка атрибутов кандидатов без префикса в StringUtils#orderSuggestedIdentifiersBySimilarity
• [SPARK-41497] [SC-124795][CORE][Дальнейшие действия]Изменение версии поддержки конфигурации spark.rdd.cache.visibilityTracking.enabled до версии 3.5.0
• [SPARK-37942] [SC-130983][CORE][SQL] Перенос классов ошибок
• [SPARK-43898] [SC-132926][CORE] Автоматическая регистрация immutable.ArraySeq$ofRef KryoSerializer в Scala 2.13
• [SPARK-43775] [SC-132891][SQL] DataSource версии 2. Разрешить представление обновлений в виде удаления и вставки
• [SPARK-43817] [SC-132662][SPARK-43702][PYTHON] Поддержка UserDefinedType в createDataFrame из dataFrame pandas и toPandas
• [SPARK-43418] [SC-132753][SC-130685][CONNECT] Добавление SparkSession.Builder.getOrCreate
• [SPARK-43549] [SC-132383][SQL] Преобразование _LEGACY_ERROR_TEMP_0036 в INVALID_SQL_SYNTAX. ANALYZE_TABLE_UNEXPECTED_NOSCAN
• [SPARK-41497] [SC-124644][CORE] Исправление недоучета аккумулятора в случае задачи повторных попыток с помощью кэша удаленных рабочих систем
• [SPARK-43892] [SC-133006][PYTHON] Добавление поддержки df[|] автозаполнения в pyspark.sql.dataframe.DataFrame
• [SPARK-43881] [SC-133140][SQL][PYTHON][CONNECT] Добавление необязательного шаблона для Catalog.listDatabases
• [SPARK-43205] [SC-132623] Предложение IDENTIFIER
• [SPARK-43545] [SC-132378][SQL][PYTHON] Поддержка типа вложенной метки времени
• [SPARK-43949] [SC-133048][PYTHON] Обновление cloudpickle до версии 2.2.1
• [SPARK-43760] [SC-132809][SQL] Значение NULL для результатов скалярного подзаверда
• [SPARK-43696] [SC-132737][SPARK-43697][SPARK-43698][SPARK-43699][PS] Исправление TimedeltaOps для Spark Connect
• [SPARK-43895] [SC-132897][CONNECT][GO] Подготовка пути к пакету go
• [SPARK-43894] [SC-132892][PYTHON] Исправлена ошибка в df.cache()
• [SPARK-43509] [SC-131625][CONNECT] Поддержка создания нескольких сеансов Spark Connect
• [SPARK-43882] [SC-1328888][SQL] Назначение имени _LEGACY_ERROR_TEMP_2122
• [SPARK-43687] [SC-132747][SPARK-436888][SPARK-43689][SPARK-43690][PS] Исправление NumOps для Spark Connect
• [SPARK-43604] [SC-132165][SQL] Рефакторинг INVALID_SQL_SYNTAX для предотвращения внедрения текста ошибки в исходный код
• [SPARK-43859] [SC-132883][SQL] Переопределение toString в LateralColumnAliasReference
• [SPARK-43792] [SC-132939][SQL][PYTHON][CONNECT] Добавление необязательного шаблона для Catalog.listCatalogs
• [SPARK-43353] Возврат "[SC-132734][PYTHON] Миграция оставшихся ошибок сеанса в класс ошибок"
• [SPARK-43375] [SC-130309][CONNECT] Улучшение сообщений об ошибках для INVALID_CONNECT_URL
• [SPARK-43863] [SC-132721][CONNECT] Удаление избыточности toSeq для SparkConnectPlanner Scala 2.13
• [SPARK-43676] [SC-132708][SPARK-43677][SPARK-43678][SPARK-43679][PS] Исправление DatetimeOps для Spark Connect
• [SPARK-43666] [SC-132689][SPARK-43667][SPARK-43668][SPARK-43669][PS] Исправление BinaryOps для Spark Connect
• [SPARK-43680] [SC-132709][SPARK-43681][SPARK-43682][SPARK-43683][PS] Исправление NullOps для Spark Connect
• [SPARK-43782] [SC-132885][CORE] Поддержка конфигурации уровня журнала с помощью статической службы Spark conf
• [SPARK-43132] [SC-131623] [SS] [CONNECT] API api foreach() клиента Python DataStreamWriter
• [SPARK-43290] [SC-131961][SQL] Добавляет поддержку AES IV и AAD в ExpressionImplUtils
• [SPARK-43795] [SC-132532][CONNECT] Удаление параметров, не используемых для SparkConnectPlanner
• [SPARK-42317] [SC-129194][SQL] Назначение имени _LEGACY_ERROR_TEMP_2247: CANNOT_MERGE_SCHEMAS
• [SPARK-43597] [SC-131960][SQL] Назначение имени классу ошибок _LEGACY_ERROR_TEMP_0017
• [SPARK-43834] [SC-132679][SQL] Использование классов ошибок в ошибках компиляции ResolveDefaultColumns
• [SPARK-43749] [SC-132423][SPARK-43750][SQL] Назначение имен классу ошибок _LEGACY_ERROR_TEMP_240[4-5]
• [SPARK-43576] [SC-132533][CORE] Удаление неиспользуемых объявлений из модуля Core
• [SPARK-43314] [SC-129970][CONNECT][PYTHON] Перенос ошибок клиента Spark Connect в класс ошибок
• [SPARK-43799] [SC-132715][PYTHON] Добавление двоичного параметра дескриптора в API Protobuf Pyspark
• [SPARK-43837] [SC-132678][SQL] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_103[1-2]
• [SPARK-43862] [SC-132750][SQL] Назначьте имя классу ошибок LEGACY_ERROR_TEMP(1254 и 1315)
• [SPARK-43886] [SC-132808][PYTHON] Прием кортежей универсальных шаблонов в качестве подсказок ввода UDF Pandas
• [SPARK-43530] [SC-132653][PROTOBUF] Чтение дескриптора только один раз
• [SPARK-43820] [SC-132676][SPARK-43822][SPARK-43823][SPARK-43826][SPARK-43827] Назначение имен классу ошибок _LEGACY_ERROR_TEMP_241[1-7]
• [SPARK-43671] [SC-132519][SPARK-43672][SPARK-43673][SPARK-43674][PS] Исправление CategoricalOps для Spark Connect
• [SPARK-39979] [SC-132685][SQL] Добавление параметра для использования больших векторов ширины переменной для операций с помощью стрелки UDF
• [SPARK-43692] [SC-132660][SPARK-43693][SPARK-43694][SPARK-43695][PS] Исправление StringOps для Spark Connect
• [SPARK-43353] [SC-132734][PYTHON] Перенос оставшихся ошибок сеанса в класс ошибок
• [SPARK-43815] [SC-132781][SQL] Добавление to_varchar псевдонима для to_char
• [SPARK-43543] [13.x][SC-131839][PYTHON] Исправление вложенного поведения MapType в UDF Pandas
• [SPARK-43361] [SC-131789][PROTOBUF] Документация по обновлению ошибок, связанных с сериализацией перечисления
• [SPARK-43740] [SC-132035][PYTHON][CONNECT] Скрытие неподдерживаемых session методов из автозавершения
• [SPARK-43022] [SC-131681][CONNECT] Поддержка функций protobuf для клиента Scala
• [SPARK-43304] [13.x][SC-129969][CONNECT][PYTHON] Миграция NotImplementedError в PySparkNotImplementedError
• [SPARK-43860] [SC-132713][SQL] Включение рекурсии хвоста по возможности
• [SPARK-42421] [SC-132695][CORE] Используйте utils, чтобы получить переключатель для динамического выделения, используемого в локальной контрольной точке
• [SPARK-43590] [SC-132012][CONNECT] Обеспечение connect-jvm-client-mima-check поддержки mima check with protobuf module
• [SPARK-43315] [13.x][CONNECT][PYTHON][SS] Перенос оставшихся ошибок из DataFrame(Reader|Запись) в класс ошибок
• [SPARK-43361] [SC-130980][PROTOBUF] spark-protobuf: разрешить serde с перечислением как ints
• [SPARK-43789] [SC-132397][R] Использует параметр "spark.sql.execution.arrow.maxRecordsPerBatch" в R createDataFrame со стрелкой по умолчанию
• [SPARK-43596] [SC-126994][SQL] Обработка предиката IsNull в перезаписиDomainJoins
• [SPARK-42249] [SC-122565][SQL] Уточнение html-ссылки для документации в сообщениях об ошибках.
• [SPARK-43128] [SC-131628][CONNECT][SS] Создание recentProgress и lastProgress возврат StreamingQueryProgress в соответствии с собственным API Scala
• [SPARK-43387] [SC-130448][SQL] Предоставьте удобочитаемый код ошибки для _LEGACY_ERROR_TEMP_1168.
• [SPARK-43334] [SC-132358] [пользовательский интерфейс] Исправлена ошибка при сериализации ExecutorPeakMetricsDistributions в ответ API
• [SPARK-42958] [SC-131475][CONNECT] Рефакторинг connect-jvm-client-mima-check для поддержки проверки mima с помощью модуля avro
• [SPARK-43591] [SC-131977][SQL] Назначение имени классу ошибок _LEGACY_ERROR_TEMP_0013
• [SPARK-38464] [SC-132211][CORE] Использование классов ошибок в org.apache.spark.io
• [SPARK-43759] [SC-132189][SQL][PYTHON] Предоставление timestampNTZType в pyspark.sql.types
• [SPARK-43649] [SC-132036][SPARK-43650][SPARK-43651][SQL] Назначение имен классу ошибок _LEGACY_ERROR_TEMP_240[1-3]
• [SPARK-43719] [SC-132016][WEBUI] Поле дескриптора missing row.excludedInStages
• [SPARK-42956] [SC-127257][CONNECT] Поддержка функций avro для клиента Scala
• [SPARK-43487] [SC-131975][SQL] Исправлено сообщение об ошибке Вложенного CTE
• [SPARK-43265] [SC-129653] Перемещение платформы ошибок в общий модуль utils
• [SPARK-40912] [SC-131547][CORE]Затраты на исключения в KryoDeserializationStream
• [SPARK-43583] [SC-131976][CORE] получает MergedBlockedMetaReqHandler из делегата вместо экземпляра SaslRpcHandler
• [SPARK-42996] [SC-131997][CONNECT][PS][ML] Создайте и назначьте правильные билеты JIRA для всех неудачных тестов.
• [SPARK-38469] [SC-131425][CORE] Использование класса ошибок в org.apache.spark.network
• [SPARK-43718] [SC-132014][SQL] Правильно задать значение NULL для ключей в соединениях USING
• [SPARK-43502] [SC-131419][PYTHON][CONNECT] DataFrame.drop должен принимать пустой столбец
• [SPARK-43743] [SC-132038][SQL] Порт HIVE-12188(DoAs не работает должным образом в защищенных HS2 не kerberos)
• [SPARK-43598] [SC-131929][SQL] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_2400
• [SPARK-43138] [SC-131031][CORE] Исправление ClassNotFoundException во время миграции
• [SPARK-43360] [SC-131526][SS][CONNECT] Scala client StreamingQueryManager
• [SPARK-38467] [SC-131025][CORE] Использование классов ошибок в org.apache.spark.memory
• [SPARK-43345] [SC-131790][SPARK-43346][SQL] Переименуйте классы ошибок LEGACY_ERROR_TEMP[0041|1206]
• [SPARK-42815] [SC-126450][SQL] Выражение сочетаний клавиш для устранения вложенных выражений
• [SPARK-38462] [SC-130449][CORE] Добавление класса ошибок INTERNAL_ERROR_EXECUTOR
• [SPARK-43589] [SC-131798][SQL] Исправление cannotBroadcastTableOverMaxTableBytesError для использования bytesToString
• [SPARK-43539] [SC-131830][SQL] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_0003
• [SPARK-43157] [SC-1316888][SQL] Клонировать кэшированный план InMemoryRelation, чтобы предотвратить клонированный план ссылаться на те же объекты
• [SPARK-43309] [SC-129746][SPARK-38461][CORE] Расширьте INTERNAL_ERROR с категориями и добавьте класс ошибок INTERNAL_ERROR_BROADCAST
• [SPARK-43281] [SC-131370][SQL] Исправление параллельных метрик записи не обновляет метрики файлов
• [SPARK-43383] [SC-130660][SQL] Добавление rowCount статистики в LocalRelation
• [SPARK-43574] [SC-131739][PYTHON][SQL] Поддержка настройки исполняемого файла Python для API-интерфейсов функций UDF и pandas в рабочих средах во время выполнения
• [SPARK-43569] [SC-131694][SQL] Удаление обходного решения для HADOOP-14067
• [SPARK-43183] [SC-128938][SS][13.x] Введение нового обратного вызова onQueryIdle в StreamingQueryListener
• [SPARK-43528] [SC-131531][SQL][PYTHON] Поддержка повторяющихся имен полей в createDataFrame с pandas DataFrame
• [SPARK-43548] [SC-131686][SS] Удаление обходного решения для HADOOP-16255
• [SPARK-43494] [SC-131272][CORE] Прямой вызов replicate() HdfsDataOutputStreamBuilder вместо отражения SparkHadoopUtil#createFile
• [SPARK-43471] [SC-131063][CORE] Обработка отсутствующих hadoopProperties и metricsProperties
• [SPARK-42899] [SC-126456][SQL] Исправление DataFrame.to(схемы) для обработки ситуации, когда вложенное поле без значения NULL в поле, допускающем значение NULL
• [SPARK-43302] [SC-129747][SQL] Создание UDAF Python для агрегирования
• [SPARK-43223] [SC-131270][Подключение] Типизированный agg, reduce functions, RelationalGroupedDataset#as
• [SPARK-43482] [SC-131375][SS] Разверните queryTerminatedEvent, чтобы содержать класс ошибок, если он существует в исключении
• [SPARK-43359] [SC-131463][SQL] Удаление из таблицы Hive должно вызывать "UNSUPPORTED_FEATURE. TABLE_OPERATION"
• [SPARK-43284] [SC-130313] Вернуться к строкам в кодировке URL-адресов
• [SPARK-43492] [SC-131227][SQL] Добавление псевдонимов DATE_ADD функций 3-args и DATE_DIFF
• [SPARK-43473] [SC-131372][PYTHON] Тип структуры поддержки в createDataFrame из pandas DataFrame
• [SPARK-43386] [SC-131110][SQL] Улучшение списка предлагаемых столбцов и атрибутов в UNRESOLVED_COLUMN.WITH_SUGGESTION классе ошибок
• [SPARK-43443] [SC-131332][SQL] Добавление теста для вывода типа Timestamp при использовании недопустимого значения
• [SPARK-43518] [SC-131420][SQL] Преобразование _LEGACY_ERROR_TEMP_2029 в INTERNAL_ERROR
• [SPARK-42604] [SC-130648][CONNECT] Реализация functions.typedlit
• [SPARK-42323] [ES-669513] Возврат "[SC-123479][SQL] Назначьте имя _LEGACY_ERROR_TEMP_2332"
• [SPARK-43357] [SC-130649][SQL] Дата кавычек типа фильтра
• [SPARK-43410] [SC-130526][SQL] Улучшение векторного цикла для упакованных skipValues
• [SPARK-43441] [SC-130995][CORE] makeDotNode Не следует завершать ошибку, если детерминированныйLevel отсутствует
• [SPARK-43324] [SC-130455][SQL] Обработка команд UPDATE для разностных источников
• [SPARK-43272] [SC-131168][CORE] Прямой вызов createFile вместо отражения
• [SPARK-43296] [13.x][SC-130627][CONNECT][PYTHON] Перенос ошибок сеанса Spark Connect в класс ошибок
• [SPARK-43405] [SC-130987][SQL] Удаление бесполезных getRowFormatSQL, inputRowFormatSQLoutputRowFormatSQL метод
• [SPARK-43447] [SC-131017][R] Поддержка R 4.3.0
• [SPARK-43425] [SC-130981][SQL] Добавить TimestampNTZType в ColumnarBatchRow
• [SPARK-41532] [SC-130523][CONNECT][КЛИЕНТ] Добавление проверки операций с несколькими кадрами данных
• [SPARK-43262] [SC-129270][CONNECT][SS][PYTHON] Перенос ошибок структурированной потоковой передачи Spark Connect в класс ошибок
• [SPARK-42992] [13.x][SC-129465][PYTHON] Введение PySparkRuntimeError
• [SPARK-43422] [SC-130982][SQL] Сохранение тегов в LogicalRelation с выходными данными метаданных
• [SPARK-43390] [SC-130646][SQL] DSv2 позволяет CTAS/RTAS резервировать пустую схему
• [SPARK-43430] [SC-130989][CONNECT][PROTO] ExecutePlanRequest поддерживает произвольные параметры запроса.
• [SPARK-43313] [SC-130254][SQL] Добавление отсутствующих значений столбца DEFAULT для действий MERGE INSERT
• [SPARK-42842] [SC-130438][SQL] Объединение класса ошибок _LEGACY_ERROR_TEMP_2006 в REGEX_GROUP_INDEX
• [SPARK-43377] [SC-130405][SQL] Включить spark.sql.thriftServer.interruptOnCancel по умолчанию
• [SPARK-43292] [SC-130525][CORE][CONNECT] Переход к модулю и упрощение ExecutorClassLoader coreExecutor#addReplClassLoaderIfNeeded
• [SPARK-43040] [SC-130310][SQL] Улучшение поддержки типов TimestampNTZ в источнике данных JDBC
• [SPARK-43343] [SC-130629][SS] FileStreamSource должен отключить дополнительную проверку глобов файла при создании DataSource
• [SPARK-43312] [SC-130294][PROTOBUF] Параметр преобразования любых полей в JSON
• [SPARK-43404] [SC-130586][SS] Пропуск повторного использования SST-файла для той же версии хранилища состояний RocksDB, чтобы избежать ошибки несоответствия идентификаторов
• [SPARK-43397] [SC-130614][CORE] Длительность вывода исполнителя журнала в методе executorLost
• [SPARK-42388] [SC-128568][SQL] Избегайте чтения нижнего колонтитула parquet дважды в векторизованном средстве чтения
• [SPARK-43306] [13.x][SC-130320][PYTHON] Перенос ValueError из типов SQL Spark в класс ошибок
• [SPARK-43337] [SC-130353][пользовательский интерфейс][3.4] Значки со стрелками Asc/desc для сортировки столбца не отображаются в столбце таблицы.
• [SPARK-43279] [SC-130351][CORE] Очистка неиспользуемых элементов из SparkHadoopUtil
• [SPARK-43250] [SC-130147][SQL] Замените класс _LEGACY_ERROR_TEMP_2014 ошибок внутренним ошибкой
• [SPARK-43363] [SC-130299][SQL][PYTHON] astype Вызов типа категории только в том случае, если тип со стрелкой не указан.
• [SPARK-43261] [SC-130154][PYTHON] Миграция TypeError из типов SQL Spark в класс ошибок
• [SPARK-41971] [SC-130230][SQL][PYTHON] Добавление конфигурации для преобразования pandas для обработки типов структур
• [SPARK-43381] [SC-130464][CONNECT] Сделать "transformStatCov" ленивым
• [SPARK-43362] [SC-130481][SQL] Специальная обработка типа JSON для соединителя MySQL
• [SPARK-42843] [SC-130196][SQL] Обновите класс ошибок _LEGACY_ERROR_TEMP_2007 до REGEX_GROUP_INDEX
• [SPARK-42585] [SC-129968][CONNECT] Потоковая передача локальных отношений
• [SPARK-43181] [SC-130476][SQL] Отображение пользовательского интерфейса WebURL в оболочке spark-sql
• [SPARK-43051] [SC-130194][CONNECT] Добавление параметра для выдачи значений по умолчанию
• [SPARK-43204] [SC-129296][SQL] Выравнивание назначений MERGE с атрибутами таблицы
• [SPARK-43348] [SC-130082][PYTHON] Поддержка Python 3.8 в PyPy3
• [SPARK-42845] [SC-130078][SQL] Обновление класса ошибок _LEGACY_ERROR_TEMP_2010 на InternalError
• [SPARK-43211] [SC-128978][HIVE] Удаление поддержки Hadoop2 в IsolatedClientLoader

Системная среда

• Операционная система: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft CRAN 2023-02-10.

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)