Databricks Runtime 16.1 （Beta）

下列發行說明提供關於由 Apache Spark 3.5.0 驅動的 Databricks Runtime 16.1 的相關資訊。

行為變更

VARIANT 數據類型無法再與需要比較的作業搭配使用

DBR 16.1 和更新版本中，您無法在包含 VARIANT 資料類型的查詢中使用下列子句或運算子：

• DISTINCT
• INTERSECT
• EXCEPT
• UNION
• DISTRIBUTE BY

此外，您無法使用這些 DataFrame 函式：

• df.dropDuplicates()
• df.repartition()

這些作業會執行比較，並使用 VARIANT 數據類型的比較會產生未定義的結果，而且 Databricks 中不支援。 如果您在 Azure Databricks 工作負載或數據表中使用 VARIANT 類型，Databricks 建議進行下列變更：

• 更新查詢或表達式，以明確將 VARIANT 值轉換成非VARIANT 數據類型。
• 如果您有必須搭配上述任何作業使用的欄位，請從 VARIANT 數據類型擷取這些字段，並使用非VARIANT 數據類型加以儲存。

若要深入瞭解，請參閱 查詢變體資料。

新功能和改善

公開預覽版中的定序支援

在 <DBR 16.1> 和更高版本中，您可以將語言感知、不區分大小寫和不區分存取權限的排序規則指派給 STRING 欄和運算式。 這些定序會在字串比較、排序、群組作業和許多字串函式中觀察到。 如需詳細資訊，請參閱 定序。

VACUUM 命令的 FULL 和 LITE 選項

在 Databricks Runtime 16.1 和更新版本中，VACUUM 命令支援 FULL 和 LITE 選項。 如需詳細資訊，請參閱 VACUUM。

將 USE CATALOG 參數化，並支援 IDENTIFIER 子句

在 Databricks Runtime 16.1 和更新版本中，USE CATALOG 語句支援 IDENTIFIER 子句。 透過這項支援，您可以根據字串變數或參數標記來參數化目前目錄。

新的 SQL 函式

在 Databricks Runtime 16.1 和更新版本中，有下列新的內建 SQL 函式可供使用：

• dayname（expr） 傳回指定日期的星期幾對應的三個字母英文縮寫。
• uniform（expr1， expr2 [，seed]） 傳回在指定數位範圍內具有獨立且相同分佈值的隨機值。
• randstr（length） 會傳回 length 英數字元的隨機字串。

更多函式的具名參數調用

Databricks Runtime 16.1 和更新版本中，以下函式支援具名參數調用：

• variant_explode
• variant_explode_outer
• 內嵌
• inline_outer
• posexplode
• posexplode_outer

提高已壓縮 Apache Arrow 批次的數據完整性

在 Databricks Runtime 16.1 及以後的版本中，為了進一步防止數據損毀，每個 LZ4 壓縮的 Arrow 批次現在都包含 LZ4 內容和區塊校驗碼。 請參閱 LZ4 框架格式描述。

在 Unity Catalog 的共用存取模式運算中新增對 Scala 方法的支援

在 Databricks Runtime 16.1 和更新版本中，在 Unity 目錄共用存取模式計算上，會新增下列 Scala 方法的支援：Dataset.flatMapGroups()、Dataset.mapGroups()和 DataStreamWriter.foreach()。

內建 Oracle JDBC 驅動程式

在 Databricks Runtime 16.1 和更新版本中，Oracle JDBC Driver 內建於 Azure Databricks 中。 如果您透過 DriverManager使用客戶上傳的 JDBC 驅動程式 JAR，您必須重寫腳本以明確使用自訂 JAR。 否則會使用內建驅動程式。

其他變更

已重新命名 cloudFiles 結構化串流來源的錯誤碼

此版本包含重新命名下列錯誤碼的變更：

• _LEGACY_ERROR_TEMP_DBR_0143 重新命名為 CF_INCORRECT_STREAM_USAGE。
• _LEGACY_ERROR_TEMP_DBR_0260 重新命名為 CF_INCORRECT_BATCH_USAGE 。

圖書館升級

• 升級的 Python 函式庫：
  • ipyflow-core 從 0.0.198 更新到 0.0.201
  • pyccolo 從 0.0.52 到 0.0.65
• 升級的 R 函式庫：
• 升級的 Java 函式庫：
  • io.delta.delta-sharing-client_2.12，從 1.2.0 到 1.2.2
  • org.lz4.lz4-java 從 1.8.0 到 1.8.0-databricks-1
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider，從 1.6.2-linux-x86_64 到 2.4.1-linux-x86_64

Apache Spark

Databricks Runtime 16.1 包含 Apache Spark 3.5.0。 此版本包含 Databricks Runtime 16.0中包含的所有 Spark 修正和改善，以及下列對 Spark 所做的其他錯誤修正和改進：

• [SPARK-50482] [SC-182879][CORE] 已淘汰 no-op spark.shuffle.spill 組態
• [SPARK-50032] [SC-182706][SQL][16.x] 允許使用完整定序名稱
• [SPARK-50467] [SC-182823][PYTHON] 為內建函式新增__all__
• [SPARK-48898] [SC-182828][SQL] 修正 Variant 粉碎錯誤
• [SPARK-50441] [SC-182668][SQL] 修正當參考 CTE 時無法運作的參數化識別碼
• [SPARK-50446] [SC-182639][PYTHON] 箭號優化 Python UDF 中的並行層級
• [SPARK-50430] [SC-182536][CORE] 使用標準 Properties.clone 而不是手動複製
• [SPARK-50471] [SC-182790][PYTHON] 支援箭頭式 Python 數據源寫入器
• [SPARK-50466] [SC-182791][PYTHON] 改進字串函式的文件字串 - 第 1 部分
• [SPARK-50194] [DBR16.x][SC-182593][SS][PYTHON] 新定時器 API 與定時器的初始狀態 API 與定時器的整合
• [SPARK-50437] [SC-182586][SS] 減少在 TransformWithStateExec 中建立反序列化器的負擔
• [SPARK-49676] [DBR16.x][SC-182538][SS][PYTHON] 增加對串聯的支持...
• [SPARK-49294] [SC-182730][UI] 新增 shuffle-write-time 複選框的寬度屬性。
• [SPARK-50426] [SC-182540][PYTHON] 使用內建或 Java 數據源時避免靜態 Python 數據源查閱
• [SPARK-48356] [SC-182603][SQL] FOR 語句的支援
• [SPARK-50333] [SC-182136][SQL] CsvToStructs 的 Codegen 支援 （by Invoke & RuntimeReplaceable）
• [SPARK-50285] [SC-182575] 提交至 StagedTable 實例的指標
• [SPARK-50081] [SC-182344][SQL] XPath*的 Codegen 支援 （by Invoke & RuntimeReplaceable）
• [SPARK-50440] [SC-182592] [SQL] 重構 AttributeSeq.resolveCandidates
• [SPARK-50067] [SC-179648][SQL] SchemaOfCsv 的 Codegen 支援（透過調用 & RuntimeReplaceable）
• [SPARK-49873] [SC-178577][SQL] 修正錯誤測試中的合併後失敗問題
• [SPARK-50118] [SC-181259][CONNET] 在工作執行時重設隔離狀態快取
• [SPARK-49873] [SC-178577][SQL] 為_LEGACY_ERROR_TEMP_1325指派適當的錯誤類別
• [SPARK-50381] [SC-182197][CORE] 支援 spark.master.rest.maxThreads
• [SPARK-46725] [SC-182448][SQL] 新增 DAYNAME 函式
• [SPARK-50270] [SC-181179][SS][PYTHON] 已新增 TransformWithStateInPandas 的自定義狀態計量
• [SPARK-50118] 還原 “[SC-181259][CONNECT] 當任務運行時重設隔離狀態快取”
• [SPARK-50075] [SC-181820][SQL][PYTHON][CONNECT] 新增數據表值函式的數據框架 API
• [SPARK-49470] [SC-175736][UI] 將 dataTables 樣式表和 JavaScript 從 1.13.5 更新到 1.13.11
• [SPARK-50235] 還原 “[SC-180786][SQL] 在處理 ColumnarToRowExec 中的所有數據列之後清除 ColumnVector 資源”
• [SPARK-50324] [SC-182278][PYTHON][CONNECT] 使 createDataFrame 最多觸發一次 Config RPC
• [SPARK-50387] [SC-182441][SS] 定時器到期和相關測試的更新條件
• [SPARK-50287] [SC-182400][SQL] 在 FileTable 中建立 WriteBuilder 時合併表格和關聯的選項
• [SPARK-50066] [SC-181484][SQL] 支援 SchemaOfXml Codegen（通過 Invoke & RuntimeReplaceable）
• [SPARK-50092] [SC-181568][SQL] 修正多維度陣列的 PostgreSQL 連接器行為
• [SPARK-50318] [SC-181641][SQL] 將 IntervalUtils.makeYearMonthInterval 新增到解釋和代碼生成之間以消除重複代碼
• [SPARK-50312] [SC-181646][SQL] SparkThriftServer createServer 參數在 kerberos 為 true 時傳遞錯誤
• [SPARK-50246] [SC-181468][SQL] 為 _LEGACY_ERROR_TEMP_2167指派適當的錯誤條件： INVALID_JSON_RECORD_TYPE
• [SPARK-50214] [SC-180692][SQL] From json/xml 不應該變更指定架構中的定序
• [SPARK-50250] [SC-181466][SQL] 為 _LEGACY_ERROR_TEMP_2075指派適當的錯誤條件： UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE
• [SPARK-50248] [SC-181467][SQL] 為 _LEGACY_ERROR_TEMP_2058指派適當的錯誤條件： INVALID_PARTITION_VALUE
• [SPARK-50118] [SC-181259][CONNET] 在工作執行時重設隔離狀態快取
• [SPARK-50235] [SC-180786][SQL] 在處理 ColumnarToRowExec 中的所有數據列之後清除 ColumnVector 資源
• [SPARK-50156] [SC-180781][SQL] 將 _LEGACY_ERROR_TEMP_2113 整合到 UNRECOGNIZED_STATISTIC
• [SPARK-50069] [SC-180163][SQL] 將 _LEGACY_ERROR_TEMP_0028 整合到 UNSUPPORTED_FROM_TO_EXPRESSION
• [SPARK-50154] [SC-180663][SQL] 為 _LEGACY_ERROR_TEMP_0043指派適當的錯誤條件： INVALID_RESET_COMMAND_FORMAT
• [SPARK-49967] [SC-179534][SQL] 程式碼生成支援 StructsToJson（to_json）
• [SPARK-50055] [SC-180978][SQL] 新增 TryMakeInterval 替代方案
• [SPARK-50397] [SC-182367][CORE] 從 --ip 移除已棄用的 -i 和 Master/Worker 參數
• [SPARK-50238] [SC-181434][PYTHON] 在 PySpark UDF/UDTF/UDAF 和 Python UC UDF 中新增 Variant 支援
• [SPARK-50079] [SC-179830][SQL] 為 _LEGACY_ERROR_TEMP_2013指派適當的錯誤條件： NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION
• [SPARK-50182] [SC-180346][EXAMPLE] 新增 submit-sql.sh REST API 範例
• [SPARK-49966] [SC-179501][SQL] 使用 Invoke 來實作 JsonToStructs（from_json）
• [SPARK-50302] [SC-182518][SS] 確保次要索引大小等於具有 TTL 之 TransformWithState 具狀態變數的主要索引大小
• [SPARK-50301] [SC-182241][SS][16.x] 讓 TransformWithState 計量反映其直覺意義
• [SPARK-50175] [SC-182140][SQL] 變更定序優先順序計算
• [SPARK-50148] [SC-180292][SQL] 使 StaticInvoke 與宣告擲回例外狀況的方法相容
• [SPARK-50280] [SC-181214][PYTHON] 重新整理結果排序以及填補空的箱子 compute_hist
• [SPARK-50190] [SC-182458][PYTHON] 從直方圖中消除對 Numpy 的直接依賴
• [SPARK-50382] [SC-182368][CONNECT] 新增文件，以提供使用/擴充 Spark Connect 進行應用程式開發的一般資訊
• [SPARK-50296] [SC-181464][PYTHON][CONNECT] 避免在適用於 Python Connect 用戶端的線程集區中使用類別屬性
• [SPARK-49566] [SC-182239][SQL] 新增 EXTEND 運算子的 SQL 管道語法
• [SPARK-50036] [SC-179533][CORE][PYTHON] 在 REPL shell 的內容中包含 SPARK_LOG_SCHEMA
• [SPARK-49859] [SC-178259][CONNECT] 使用 ThreadPoolExecutor 取代 multiprocessing.ThreadPool
• [SPARK-50141] [SC-182378][PYTHON] 讓 lpad 和 rpad 接受數據行類型自變數
• [SPARK-50379] [SC-182142][SQL] 修正 WindowExecBase 中的 DayTimeIntevalType 處理
• [SPARK-49954] [SC-179110][SQL] Codegen 對 SchemaOfJson 的支援（通過調用 & RuntimeReplaceable）
• [SPARK-50398] [SC-182341][CORE] 使用 ExitCode 0 以在 Spark 腳本中使用 --help
• [SPARK-50377] [SC-182238][SQL] 允許評估可折迭的 RuntimeReplaceable
• [SPARK-50241] [SC-181444][SQL] 將 NullIntolerant Mixin 取代為 Expression.nullIntolerant 方法
• [SPARK-50084] [SC-179672][SQL] 為 _LEGACY_ERROR_TEMP_3168指派適當的錯誤條件： MISSING_TIMEOUT_CONFIGURATION
• [SPARK-50078] [SC-179649][SQL] 為 _LEGACY_ERROR_TEMP_0038指派適當的錯誤條件： DUPLICATED_CTE_NAMES
• [SPARK-50057] [SC-179573][SQL] 為 _LEGACY_ERROR_TEMP_1049指派適當的錯誤條件： INVALID_ATTRIBUTE_NAME_SYNTAX
• [SPARK-50070] [SC-179579][SQL] 將 _LEGACY_ERROR_TEMP_0039 整合到 UNSUPPORTED_SQL_STATEMENT
• [SPARK-50378] [SC-182235][SS] 新增自定義指標，以追蹤在 transformWithState 中處理初始狀態所用時間。
• [SPARK-50029] [SC-179531][SQL] 使 StaticInvoke 與傳回 Any 的方法相容
• [SPARK-49990] [SC-179497][SQL] 改善 randStr 效能
• [SPARK-50048] [SC-179528][SQL] 為 _LEGACY_ERROR_TEMP_2114指派適當的錯誤條件： UNRECOGNIZED_STATISTIC
• [SPARK-50053] [SC-179532][SQL] 將 _LEGACY_ERROR_TEMP_2104 轉換成 INTERNAL_ERROR
• [SPARK-49665] [SC-180054][SQL] 修剪字元串函式的定序支援
• [SPARK-48549] [SC-176472][SQL][PYTHON] 改善 SQL 函式 sentences
• [SPARK-50022] [SC-179503][CORE][UI] 修正 MasterPage 在停用 UI 時隱藏應用程式 UI 連結
• [SPARK-50087] [SC-182152] 適用於 MsSqlServer 和未來連接器的 CASE WHEN 中布爾表達式的強化處理
• [SPARK-49991] [SC-179481][SQL] 使 HadoopMapReduceCommitProtocol 尊重 'mapreduce.output.basename' 以產生檔名
• [SPARK-50038] [SC-179521][SQL] 為 _LEGACY_ERROR_TEMP_0008指派適當的錯誤條件： MERGE_WITHOUT_WHEN
• [SPARK-50236] [SC-181671][SQL] 為 _LEGACY_ERROR_TEMP_1156指派適當的錯誤條件： COLUMN_NOT_DEFINED_IN_TABLE
• [SPARK-50021] [SC-179500][CORE][UI] 修正 ApplicationPage 停用 UI 時隱藏應用程式 UI 連結
• [SPARK-49911] [SC-179111][SQL] 修正支援二進制等值的語義
• [SPARK-50025] [SC-179496][SQL] 將 _LEGACY_ERROR_TEMP_1253 整合到 EXPECT_VIEW_NOT_TABLE
• [SPARK-49829] [SC-179480][SS] 修正在數據流聯結中新增輸入到狀態存放區時的優化錯誤
• [SPARK-50004] [SC-179499][SQL] 將 _LEGACY_ERROR_TEMP_3327 整合到 FIELD_NOT_FOUND
• [SPARK-50380] [SC-182210][SQL] ReorderAssociativeOperator 應遵守 ConstantFolding 中的合約
• [SPARK-50340] [SC-181859][SQL] 在 INSERT 輸入查詢中將 UDT 展開
• [SPARK-50237] [SC-181660][SQL] 為 _LEGACY_ERROR_TEMP_2138-9指派適當的錯誤條件： CIRCULAR_CLASS_REFERENCE
• [SPARK-50258] [SC-181993][SQL] 修正 AQE 優化後輸出數據行順序變更的問題
• [SPARK-49773] [SC-178369][SQL] 由 make_timestamp() 之錯誤時區導致的未捕捉 Java 例外狀況
• [SPARK-49977] [SC-179265][SQL] 使用堆棧型反覆計算，以避免為深層表達式樹狀結構建立許多 Scala List 物件
• [SPARK-50153] [SC-181591][SQL] 將 name 新增至 RuleExecutor，讓列印 QueryExecutionMetrics的記錄更清楚
• [SPARK-50320] [SC-181668][CORE] 移除 --remote 警告，使 experimental 成為正式選項
• [SPARK-49909] [SC-179492]Revert “[SQL] 修正某些表達式的漂亮名稱”
• [SPARK-50330] [SC-180720][SC-181764][SQL] 將提示新增到排序和窗口節點中
• [SPARK-50364] [SC-182003][SQL] 在 Row.jsonValue 中實作 LocalDateTime 類型的串行化
• [SPARK-50016] [SC-182139][SQL] 為 _LEGACY_ERROR_TEMP_2067指派適當的錯誤條件： UNSUPPORTED_PARTITION_TRANSFORM
• [SPARK-49899] [SC-181175][PYTHON][SS] 支援在Pandas中進行狀態轉換的如果存在則刪除功能
• [SPARK-49757] [SC-177824][SQL] 在 SET CATALOG 語句中支援 IDENTIFIER 表達式
• [SPARK-50315] [SC-181886][SQL] 支援 V1Fallback 寫入的自定義計量
• [SPARK-42838] [SC-181509][SQL] 將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_2000
• [SPARK-50353] [SC-181985][SQL] 重構 ResolveSQLOnFile
• [SPARK-48344] [SC-181967][SQL] 準備 SQL 腳本以新增執行架構
• [SPARK-49345] [SC-174786][CONNECT] 確定使用目前執行的 Spark 會話
• [SPARK-49925] [SC-178882][SQL] 使用定序字元串新增順序測試
• [SPARK-50167] [SC-181199][PYTHON][CONNECT] 改善 PySpark 繪製錯誤訊息和匯入
• [SPARK-49368] [SC-174999][CONNECT] 避免直接存取 protobuf lite 類別
• [SPARK-50056] [SC-181378][SQL] ParseUrl 的 Codegen 支援 （by Invoke & RuntimeReplaceable）
• [SPARK-49601] [SC-180770][SS][PYTHON] 支援 TransformWithStateInPandas 的初始狀態處理
• [SPARK-49908] [SC-178768][SQL] 指派適當的錯誤條件給_LEGACY_ERROR_TEMP_0044
• [SPARK-50144] [SC-180307][SS] 解決 DSv1 串流來源計量計算的限制
• [SPARK-49874] [SC-178303][SQL] 移除修剪和 ltrim 定序規範。
• [SPARK-49513] [SC-180339][SS] 在 transformWithStateInPandas API 中新增定時器支援
• [SPARK-49119] [SC-175607][SQL] 修正 v1 與 v2 之間的語法 show columns 不一致
• [SPARK-49206] [SC-173704][CORE][UI] 將 Environment Variables 表格新增至主節點 EnvironmentPage
• [SPARK-49934] [SC-179581][SQL] 新增隱含轉型，以便使用常值存取已排序的映射
• [SPARK-50049] [SC-181659][SQL] 支援寫入自定義驅動程式指標到 v2 數據表
• [SPARK-50171] [SC-180295][PYTHON] 讓 KDE 繪圖的 numpy 選擇性
• [SPARK-49962] [SC-179320][SQL] 簡化 AbstractStringTypes 類別階層
• [SPARK-50226] [SC-181483][SQL] 更正 MakeDTInterval 和 MakeYMInterval 以攔截 Java 例外狀況
• [SPARK-48775] [SC-170801][SQL][STS] 以 STS 中的 SparkSession 取代 SQLContext
• [SPARK-49015] [SC-175688][CORE] Connect Server 應遵守 spark.log.structuredLogging.enabled
• [SPARK-50327] [SC-181667][SQL][16.x] 分解函數解析，以便在單次傳遞分析器中重複使用
• [SPARK-49995] [SC-180762][SQL] 將具名自變數支援新增至更多 TVF
• [SPARK-49268] [SC-174903][CORE] SHS 歷程記錄提供者中的記錄 IO 例外狀況
• [SPARK-48123] [SC-164989][Core] 提供查詢結構化記錄的常數數據表架構
• [SPARK-49217] [SC-174904][CORE] 支援 UnsafeShuffleWriter 中的個別緩衝區大小設定
• [SPARK-50325] [SC-181664][SQL][16.x] 將別名解析抽取出來，以便在單一程式分析器中重複使用
• [SPARK-50322] [SC-181665][SQL] 修正子查詢中的參數化標識符
• [SPARK-48400] [SC-175283][CORE] 將 PrometheusServlet 升級至 DeveloperApi
• [SPARK-50118] 還原 “[SC-181259][CONNECT] 當任務運行時重設隔離狀態快取”
• [SPARK-50306] [SC-181564][PYTHON][CONNECT] 支援 Spark Connect 中的 Python 3.13
• [SPARK-50152] [SC-181264][SS] 支援 handleInitialState 與狀態數據源讀取器
• [SPARK-50260] [SC-181271][CONNECT] 重構和優化 Spark C...
• [SPARK-47591] [SC-163090][SQL] Hive-thriftserver：將 logInfo 與變數遷移至結構化記錄架構
• [SPARK-49312] [SC-174672][PYTHON] 改善 assertSchemaEqual 的錯誤訊息
• [SPARK-49439] [SC-175236][SQL] 修正 FromProtobuf & ToProtobuf 表達式的易讀名稱
• [SPARK-50092] [ES-1258521] 修正多維度陣列的 PostgreSQL 連接器行為
• [SPARK-49913] [SC-181565][SQL] 新增檢查巢狀標籤範圍中的標籤名稱唯一性
• [SPARK-49563] [SC-181465][SQL] 新增 WINDOW 運算符的 SQL 管道語法
• [SPARK-49661] [SC-179021][SQL] 實作修剪定序哈希和比較。
• [SPARK-38912] [SC-181543][PYTHON] 移除與 classmethod 和 屬性相關的批注
• [SPARK-49770] [16.x][SC-179802][SC-179270][SS][RocksDB 強化] 改善 RocksDB SST 檔案對應管理，並修正使用現有快照集重載相同版本的問題
• [SPARK-49002] 還原“[SC-172846][SQL] 對 WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY 中無效位置的一致處理”
• [SPARK-50290] [SC-181453][SQL] 新增標誌以停用 DataFrameQueryContext 創建
• [SPARK-49668] [SC-178268][SQL] 實作定序索引鍵支援修剪定序
• [SPARK-50262] [SC-181193][SQL] 禁止在改變定序時指定複雜類型
• [SPARK-48898] [SC-181435][SQL] 新增 Variant 分解函式
• [SPARK-48273] [SC-181381]Revert “[SQL] 修正 PlanWithUnresolvedIdentifier 的晚期重寫
• [SPARK-50222] [SC-180706][CORE] 支援 spark.submit.appName
• [SPARK-50208] [SC-180662][CORE] 支援 spark.master.useDriverIdAsAppName.enabled
• [SPARK-50224] [SC-180689][SQL] IsValidUTF8|ValidateUTF8|TryValidateUTF8|MakeValidUTF8 的替代方案應為 NullIntolerant
• [SPARK-50247] [SC-180962][CORE] 將 BLOCK_MANAGER_REREGISTRATION_FAILED 定義為 ExecutorExitCode
• [SPARK-50282] [SC-181221][ML] 簡化 TargetEncoderModel.transform
• [SPARK-50112] [SC-180763][SQL] 允許 TransformWithState 運算符使用 Avro 編碼
• [SPARK-50267] [SC-181180][ML] 使用 DataFrame API 改善 TargetEncoder.fit
• [SPARK-37178] [SC-180939][ML] 將目標編碼新增至 ml.feature
• [SPARK-50118] [SC-181259][CONNET] 在工作執行時重設隔離狀態快取
• [SPARK-50085] [BEHAVE-176][SC-179809][PYTHON] 使用 np.int8 進行 lit(ndarray)，尊重 numpy 數據類型
• [SPARK-50256] [SC-181048][SQL] 新增輕量化驗證，以檢查邏輯計劃在每個優化器規則之後是否變得未解決的
• [SPARK-50196] [SC-180932][CONNECT] 修正 Python 錯誤內容以在適當的上下文中使用
• [SPARK-50274] [SC-181181][CORE] 防範 DirectByteBufferOutputStream 中的 “use-after-close” 使用問題
• [SPARK-49999] [SC-180063][PYTHON][CONNECT] 支援 box、kde 和 hist 繪圖中的可選 "column" 參數
• [SPARK-50273] [SC-181178][SS] 改善 RocksDB 鎖定取得/釋放案例的記錄
• [SPARK-50033] [SC-180720][SC-180659][SQL] 將提示新增至邏輯。Aggregate（） 節點
• [SPARK-50163] [16.x][SC-180201][SC-180664][SS] 修正因完成監聽器導致的 RocksDB 額外 acquireLock 釋放問題
• [SPARK-50253] [SC-180969][SS] Stream-Stream 若不支援，則 Join 不應擷取檢查點 ID。
• [SPARK-50255] [SC-180964][PYTHON] 避免在 compute_hist 中不必要的轉型
• [SPARK-50228] [SC-180780][SQL] 將 RewriteCollationJoin 規則移至 FinishAnalysis
• [SPARK-50001] [SC-179524][PYTHON][PS][CONNECT] 調整 “precision” 以作為箱型圖的 kwargs 中的一部分
• [SPARK-49637] [SC-180160][SQL] 已變更INVALID_FRACTION_OF_SECOND的錯誤訊息
• [SPARK-49530] [SC-180658][PYTHON] 從資料框架取得使用中的會話
• [SPARK-50195] [SC-180654][CORE] 修正 StandaloneRestServer 以正確傳播 spark.app.name 至 SparkSubmit
• [SPARK-50229] [SC-180773] 藉由減少邏輯規劃期間所建立 AttributeReference 物件的存留期，減少驅動程式上寬架構的記憶體使用量
• [SPARK-50231] [SC-180815][PYTHON] 讓函式 instr 接受數據行 substring
• [SPARK-49854] [SC-179812][16.x][SQL] 在會話複製期間複製成品管理員
• [SPARK-50028] [SC-180699][CONNECT] 以細粒度鎖取代 Spark Connect 伺服器監聽器中的全域鎖
• [SPARK-49615] [SC-180672] [ML] 讓所有 ML 功能轉換器數據集架構驗證都符合 “spark.sql.caseSensitive” 設定。
• [SPARK-50219] [SC-180694][SQL] 重構 ApplyCharTypePadding，讓輔助方法可用於單次遍歷解析器
• [SPARK-50077] [SC-179827][SQL] 引進 LogicalRelation 的新模式物件，以協助避免預設的完整參數模式
• [SPARK-50128] [Backport][16x][SC-180677][SS] 使用隱含編碼器在 Scala 中新增管理具狀態處理器的 API
• [SPARK-50061] [SC-179961][SQL] 啟用定序數據行的分析數據表
• [SPARK-49993] [SC-180084][SQL] 改善 Sum 和 Average 的錯誤訊息
• [SPARK-49638] [SC-179665][SQL] 移除 INVALID_URL 中關於 ANSI 設定的建議
• [SPARK-50204] [SC-180660][SQL] 拆解出 HiveTableRelation 讀取路徑解析
• [SPARK-50193] [SC-180651][SS] 修正驗證時間模式的例外狀況處理
• [SPARK-50179] [SC-180342][CORE] 讓 REST API 中的 spark.app.name 屬性成為選擇性
• [SPARK-50068] [SC-180300][SQL] 重構 TypeCoercion 和 AnsiTypeCoercion 來分隔單一節點轉換
• [SPARK-49411] [SC-179483][SS] 在驅動程式與具狀態的運算符之間傳遞狀態存放區檢查點標識符
• [SPARK-50124] [SC-180294][SQL] LIMIT/OFFSET 應該保留數據順序
• [SPARK-49506] [SC-180165][SQL] 優化可折疊陣列的 ArrayBinarySearch
• [SPARK-50097] [SC-179908][SQL] 為 _LEGACY_ERROR_TEMP_1248指派適當的錯誤條件： ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE
• [SPARK-50071] [SC-180159][SQL][PYTHON] 新增try_make_timestamp（_ltz和_ntz）和相關測試
• [SPARK-50024] 回復 “[SC-179515][PYTHON][CONNECT] 改用記錄器取代用戶端中的警告模組”
• [SPARK-50054] [SC-180228][PYTHON][CONNECT] 支援繪製直方圖
• [SPARK-50015] [SC-179964][SQL] 為 _LEGACY_ERROR_TEMP_1125指派適當的錯誤條件： MISSING_DATABASE_FOR_V1_SESSION_CATALOG
• [SPARK-50155] [SC-180240][3.5] 將 scala 和 java 檔案移至其預設資料夾
• [SPARK-49980] [SC-180353][CORE][SQL] 修正因已取消任務被中斷所造成的潛在檔案流洩漏
• [SPARK-49010] [SC-172304][SQL][XML] 新增 XML 架構推斷區分大小寫的單元測試
• [SPARK-50024] [SC-179515][PYTHON][CONNECT] 改用記錄器替代用戶端中的警告模組
• [SPARK-49562] [SC-180211][SQL] 新增匯總的 SQL 管道語法
• [SPARK-49663] [SC-180239][SQL] 在定序表達式中啟用 RTRIM 建議
• [SPARK-48965] [SC-175926][SQL] 在 Dataset#toJSON 中使用正確的架構
• [SPARK-48493] [SC-175893][PYTHON] 使用直接箭頭批次支援增強 Python 數據源讀取器，以改善效能
• [SPARK-49734] [SC-180226][PYTHON] 新增函式 seed 的 shuffle 自變數
• [SPARK-50174] [16.x][SC-180253][SQL] 抽取 UnresolvedCatalogRelation 的解析
• [SPARK-49989] [SC-179512][PYTHON][CONNECT] 支援 kde/密度繪圖
• [SPARK-49805] [SC-180218][SQL][ML] 從 function.scala 移除 private[xxx] 函式
• [SPARK-49808] [SC-179490][SQL] 修正子查詢執行中的死結，源自於惰性求值（lazy vals）
• [SPARK-49929] [SC-180144][PYTHON][CONNECT] 支援方塊繪圖
• [SPARK-50008] [SC-179290][PS][CONNECT] 避免在 attach_distributed_sequence_column 中不必要的作業
• [SPARK-49767] [SC-180161][PS][CONNECT] 重構內部函式調用
• [SPARK-49683] [SC-178341][SQL] 區塊修剪定序
• [SPARK-49939] [SC-178941][SQL] json_object_keys 的 Codegen 支援（由 Invoke & RuntimeReplaceable 提供）
• [SPARK-50031] [SC-179582][SQL] 新增 TryParseUrl 表達式
• [SPARK-49766] [SC-178933][SQL] json_array_length Codegen 支援 由 Invoke & RuntimeReplaceable
• [SPARK-50046] [SC-180026][SS] 使用 EventTimeWatermark 節點的穩定順序來計算浮水印
• [SPARK-49540] [SC-180145][PS] 統一使用 distributed_sequence_id
• [SPARK-50060] [SC-179965][SQL] 停用 TypeCoercion 和 AnsiTypeCoercion 中不同定序類型之間的轉換
• [SPARK-49004] [SC-173244][CONNECT] 針對欄位 API 內部函式使用不同的註冊表
• [SPARK-49811] [SC-177888][SQL]Rename StringTypeAnyCollation
• [SPARK-49202] [SC-180059][PS] 為直方圖套用 ArrayBinarySearch
• [SPARK-49203] [SC-175734][SQL] 新增 java.util.Arrays.binarySearch 的表達式
• [SPARK-50034] [SC-179816][CORE] 修正將嚴重錯誤錯誤報告為未捕獲異常的問題 SparkUncaughtExceptionHandler
• [SPARK-50093] [SC-179836][SQL] 使用ICU的排序規則應具備已使用ICU庫版本的資訊
• [SPARK-49985] [SC-179644][SQL] 移除 Variant 對間隔類型的支持
• [SPARK-49103] [SC-173066][CORE] 支援 spark.master.rest.filters
• [SPARK-50090] [SC-179819] 重構 ResolveBinaryArithmetic 以拆分單一節點轉換
• [SPARK-49902] [SC-179650][SQL] 捕獲 RegExpReplace 中的底層運行時錯誤
• [SPARK-49126] [SC-173342][CORE] 將 spark.history.ui.maxApplications 組態定義移至 History.scala
• [SPARK-50094] [SC-179820][PYTHON][CONNECT] 當在沒有行號的編輯器上使用記憶體剖析器時，提供更完善的錯誤訊息
• [SPARK-50062] [SC-179835][SQL] InSet 支援定序
• [SPARK-50035] [Backport][16x][SC-179530][SS] 增加對狀態管理處理器中的顯式 handleExpiredTimer 函式部分的支援
• [SPARK-49982] [SC-179814][SQL] 修正 InMemoryRelation 中的負快取問題
• [SPARK-49082] [SC-173350][SQL] 擴展 AvroDeserializer 中的型別晉升範圍
• [SPARK-50088] [SC-179680][SQL] 重構 UnresolvedStarBase.expand
• [SPARK-49802] [SC-179482][SS] 針對用於具狀態處理器的對應和清單類型新增讀取變更摘要的支援
• [SPARK-49846] [SC-179506][SS] 新增 numUpdatedStateRows 和 numRemovedStateRows 計量以搭配 transformWithState 運算子使用
• [SPARK-50050] [SC-179643][PYTHON][CONNECT][16.X] 讓 lit 可以接受 str 和 bool 類型的 numpy ndarray
• [SPARK-49821] [SC-179527][SS][PYTHON] 在 TransformWithStateInPandas 中實現 MapState 和 TTL 支援
• [SPARK-49558] [SC-179485][SQL] 新增 LIMIT/OFFSET 和 ORDER/SORT/CLUSTER/DISTRIBUTE BY 的 SQL 管道語法
• [SPARK-48144] [SC-165725][LC-4080][SQL] 修正 canPlanAsBroadcastHashJoin 以遵守隨機聯結提示
• [SPARK-50051] [SC-179571][PYTHON][CONNECT] 使 lit 能與空的 numpy ndarray 兼容運作
• [SPARK-50018] [SC-179488][SQL] Make AbstractStringType serializable
• [SPARK-50016] [SC-179491][SQL] 改善明確的定序不符錯誤
• [SPARK-50010] [SC-179487][SQL] 展開隱含定序不符錯誤
• [SPARK-48749] [SC-170116][SQL] 簡化 UnaryPositive，並使用 RuntimeReplaceable 消除其催化劑規則
• [SPARK-49857] [SC-178576][SQL] 將 storageLevel 新增至數據集 localCheckpoint API
• [SPARK-50058] [SC-179538][SQL] 將規劃正規化功能提取出來，以便稍後在單次通過分析器測試中使用
• [SPARK-50052] [SC-179535][PYTHON][16.X] 讓 NumpyArrayConverter 支援空白 str ndarray
• [SPARK-47261] [SC-173665][SQL] 為錯誤_LEGACY_ERROR_TEMP_1172、_LEGACY_ERROR_TEMP_1173和_LEGACY_ERROR_TEMP_1174指派更適合的名稱
• [SPARK-49147] [SC-173471][CORE] 將 KryoRegistrator 標記為 DeveloperApi 介面
• [SPARK-48949] [SC-173070][SQL] SPJ：運行時間分割篩選
• [SPARK-50044] [SC-179523][PYTHON] 精簡多個數學函式的文件字串
• [SPARK-48757] [SC-170113][CORE] 讓 IndexShuffleBlockResolver 具有明確的建構函式
• [SPARK-50037] [SQL] 重構 AttributeSeq.resolve（...）
• [SPARK-48782] [SC-177056][SQL] 新增在目錄中執行程序的支援
• [SPARK-49057] [SC-173081][SQL] 在提交查詢階段時不要封鎖 AQE 迴圈
• [SPARK-48824] [SC-176772][BEHAVE-167][SQL] 新增識別數據行 SQL 語法
• [SPARK-48773] [SC-170773] 使用配置生成器框架記錄配置“spark.default.parallelism”
• [SPARK-48735] [SC-169810][SQL] BIN 函式的效能改進
• [SPARK-48900] [SC-172433] 針對作業/階段取消的所有內部呼叫新增 reason 字段
• [SPARK-48488] [SC-167605][CORE] 修正 log[info|warning|error] 中的 SparkSubmit 方法
• [SPARK-48708] [SC-169809][CORE] 從 KryoSerializer 移除三個不必要的類型註冊
• [SPARK-49958] [SC-179312][PYTHON] 適用於字串驗證函式的 Python API
• [SPARK-49979] [SC-179264][SQL] 修正在失敗計劃上收集兩次時發生 AQE 卡住問題
• [SPARK-48729] [SC-169795][SQL] 新增 UserDefinedFunction 介面來代表 SQL 函式
• [SPARK-49997] [SC-179279][SQL] 將 _LEGACY_ERROR_TEMP_2165 整合至 MALFORMED_RECORD_IN_PARSING
• [SPARK-49259] [SC-179271][SS]在 kafka 讀取期間建立以大小為基礎的分區
• [SPARK-48129] [SC-165006][PYTHON] 在 PySpark 中提供常數數據表架構，以查詢結構化記錄
• [SPARK-49951] [SC-179259][SQL] 指派 LEGACY_ERROR_TEMP的適當錯誤條件 （1099|3085）
• [SPARK-49971] [SC-179278][SQL] 指派適當的錯誤條件給_LEGACY_ERROR_TEMP_1097
• [SPARK-49998] [SC-179277][SQL] 將 _LEGACY_ERROR_TEMP_1252 整合到 EXPECT_TABLE_NOT_VIEW
• [SPARK-49876] [SC-179262][CONNECT] 從 Spark Connect 服務移除全域鎖定
• [SPARK-49957] [SC-179202][SQL] 適用於字串驗證函式的 Scala API
• [SPARK-48480] [SC-173055][SS][CONNECT] StreamingQueryListener 不應受到 spark.interrupt（）的影響
• [SPARK-49643] [SC-179239][SQL] 將_LEGACY_ERROR_TEMP_2042合併到ARITHMETIC_OVERFLOW
• [SPARK-49959] [SC-179109][SQL] 修正 ColumnarArray.copy() 以從正確的位移讀取空值
• [SPARK-49956] 還原 “[SC-179070] 停用具有collect_set表達式的定序”
• [SPARK-49987] [SC-179180][SQL] 修正 seedExpression 在 randstr 中無法折迭時的錯誤提示
• [SPARK-49948] [SC-179158][PS][CONNECT] 在 pandas on Spark 的方塊圖中新增參數「precision」
• [SPARK-49970] [SC-179167][SQL] 為_LEGACY_ERROR_TEMP_2069指派適當的錯誤條件
• [SPARK-49916] [SC-179108][SQL] 針對某些數據列中 ColumnType 與數據類型之間的類型不符擲回適當的例外狀況
• [SPARK-49956] [SC-179070] 停用具有collect_set表達式的定序
• [SPARK-49974] [16.x][SC-179071][SQL] 將 resolveRelations（...） 移出 Analyzer.scala
• [SPARK-47259] [SC-176437][SQL] 為間隔錯誤的條件指派名稱
• [SPARK-47430] [SC-173679][SQL] 依對應類型重新作業群組，以修正系結參考例外狀況
• [SPARK-49067] [SC-172616][SQL] 將 utf-8 字面值移至 UrlCodec 類別的內部方法
• [SPARK-49955] [SC-178989][SQL] null 值並不表示在剖析 JSON 字串 RDD 時的檔案損毀
• [SPARK-49393] [SC-175212][SQL] 預設會在已棄用的目錄外掛程式 API 中失敗
• [SPARK-49952] [SC-178985][SQL] 指派適當的錯誤條件給_LEGACY_ERROR_TEMP_1142
• [SPARK-49405] [SC-175224][SQL] 限制 JsonOptions 中的字元集
• [SPARK-49892] [SC-178975][SQL] 指派適當的錯誤類別給_LEGACY_ERROR_TEMP_1136
• [SPARK-49904] [SC-178973][SQL] 指派適當的錯誤條件給_LEGACY_ERROR_TEMP_2140
• [SPARK-47257] [SC-174244][SQL] 將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_105[3-4] 和_LEGACY_ERROR_TEMP_1331
• [SPARK-49915] [SC-178869][SQL] 在 ReorderAssociativeOperator 中處理零與一
• [SPARK-49891] [SC-178970][SQL] 指派適當的錯誤條件給_LEGACY_ERROR_TEMP_2271
• [SPARK-49829] [ES-1254513] 修訂在串流聯結中將輸入新增至狀態存放區的優化 （正確性修正）
• [SPARK-49918] [SC-178748][CORE] 在 SparkContext 中，於適當情況下使用只讀配置訪問權限
• [SPARK-49666] [SC-177891][SQL] 新增修剪定序功能的功能旗標
• [SPARK-48885] [SC-171050][SQL] 把 RuntimeReplaceable 的一些子類覆寫取代為 lazy val
• [SPARK-49932] [SC-178931][CORE] 使用 tryWithResource 版本 JsonUtils#toJsonString 資源以避免記憶體流失
• [SPARK-49949] [SC-178978][PS] 避免在 attach_sequence_column 中不必要的分析任務
• [SPARK-49924] [SC-178935][SQL] 在 containsNull 取代之後保留 ArrayCompact
• [SPARK-49905] [ES-1265435] 使用專用 ShuffleOrigin 作為有狀態的運算子，以防止從 AQE 修改批次洗牌
• [SPARK-49615] [SC-178877] Bugfix：讓 ML 數據行架構驗證符合 spark config spark.sql.caseSensitive。
• [SPARK-49121] [SC-174787][SQL] 支援 SQL 函式 from_protobuf 和 to_protobuf
• [SPARK-47496] [SC-160529][SQL] Java SPI 支援動態 JDBC 方言註冊
• [SPARK-49359] [SC-174895][SQL] 允許 StagedTableCatalog 實作退回至非原子性寫入
• [SPARK-49895] [SC-178543][SQL][ES-1270338] 在 SELECT 子句中遇到尾端逗號時改善錯誤
• [SPARK-47945] [SC-163457][SQL] Microsoft SQL Server：文件映射 Spark SQL 數據類型，並新增測試
• [SPARK-46037] [SC-175495][SQL] 修正左側組建的隨機哈希聯結在沒有程式碼生成的情況下的正確性問題
• [SPARK-47813] [SC-162615][SQL] 以 updateExtraColumnMeta 取代 getArrayDimension
• [SPARK-49542] [SC-178765][SQL] 分區轉換異常評估錯誤
• [SPARK-47172] [SC-169537][CORE] 新增對於 RPC 加密的 AES-GCM 支援
• [SPARK-47666] [SC-161476][SQL] 以 LongType 讀取 mysql 位數組時修正 NPE
• [SPARK-48947] [SC-174239][SQL] 使用小寫字元集名稱來減少 Charset.forName 中遺漏的快取
• [SPARK-49909] [SC-178552][SQL] 修正某些表達式的漂亮名稱
• [SPARK-47647] [SC-161377][SQL] 使 MySQL 數據源能夠讀取 bit（n>1） 作為 BinaryType，例如 Postgres
• [SPARK-46622] [SC-153004][CORE] 為 toString 覆寫 o.a.s.network.shuffledb.StoreVersion 方法
• [SPARK-48961] [SC-171910][PYTHON] 使 PySparkException 的參數命名與 JVM 一致
• [SPARK-49889] [SC-178474][PYTHON] 新增函式的參數 trimtrim/ltrim/rtrim
• [SPARK-49863] [ES-1184693][SC-178546][SQL] 修正 NormalizeFloatingNumbers 以保留巢狀結構的可空性
• [SPARK-47537] [SC-160747][SQL] 修正 MySQL 連接器/J 上的錯誤數據類型對應
• [SPARK-47628] [SC-161257][SQL] 修正 Postgres 位數組問題 「無法轉換成布爾值」
• [SPARK-49843] [SC-178084][ES-1268164][SQL] 修正 char/varchar 列的更改註釋
• [SPARK-49549] [SC-178764][SQL] 將名稱指派給錯誤狀況_LEGACY_ERROR_TEMP_3055,3146
• [SPARK-49782] [SC-178756][SQL] ResolveDataFrameDropColumns 規則解析包含子輸出的未解析屬性
• [SPARK-49791] [SC-177730][SQL] 使 DelegatingCatalogExtension 更具擴充性
• [SPARK-49559] [SC-178551][SQL] 為集合操作新增 SQL 管道語法
• [SPARK-49906] [SC-178536][SQL] 引入並使用 PartitioningUtils 的 CONFLICTING_DIRECTORY_STRUCTURES 錯誤
• [SPARK-49877] [SC-178392][SQL] 變更 classifyException 函式簽章：新增 isRuntime 參數
• [SPARK-47501] [SC-160532][SQL] 新增 convertDateToDate 功能，就像現有的 convertTimestampToTimestamp 功能應用於 JdbcDialect
• [SPARK-49044] [SC-175746][SQL] ValidateExternalType 應該傳回錯誤中的子系
• [SPARK-47462] [SC-160460][SQL] 將 MySQLDialect 中其他無符號數值類型的對應方式與 TINYINT 對齊
• [SPARK-47435] [SC-160129][SQL] 修正 SPARK-45561 所造成的 MySQL UNSIGNED TINYINT 溢位問題
• [SPARK-49398] [SC-176377][SQL] 改善 CACHE TABLE 和 CREATE VIEW 查詢中參數的錯誤
• [SPARK-47263] [SC-177012][SQL] 指派名稱給舊版條件_LEGACY_ERROR_TEMP_13[44-46]
• [SPARK-49605] [SC-176605][SQL] 修正當 ascendingOrder 在 DataTypeMismatch 中為 SortArray 時的提示
• [SPARK-49806] [SC-178304][SQL][CONNECT] 移除 blank space 和 show 用戶端中 Scala 之後的多餘 Connect
• [SPARK-47258] [SC-175032][SQL] 將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_127[0-5]
• [SPARK-49564] [SC-178461][SQL] 新增 JOIN 運算符的 SQL 管道語法
• [SPARK-49836] [SC-178339][SQL][SS] 修正視窗提供給 window/session_window fn 時可能中斷的查詢
• [SPARK-47390] [SC-163306][SC-159312][SPARK-47396][SC-159376][SPARK-47406] 處理 Postgres 和 MySQL 的 SQL 時間戳對應
• [SPARK-49776] [SC-177818][PYTHON][CONNECT] 支持餅圖
• [SPARK-49824] [SC-178251][SS][CONNECT] 改善 SparkConnectStreamingQueryCache 中的記錄
• [SPARK-49894] [SC-178460][PYTHON][CONNECT] 優化欄位操作的字串表示方式
• [SPARK-49764] [SC-177491][PYTHON][CONNECT] 支援區域繪圖
• [SPARK-49694] [SC-177376][PYTHON][CONNECT] 支援散佈圖
• [SPARK-49744] [SC-178363][SS][PYTHON] 在 TransformWithStateInPandas 中實作 ListState 的 TTL 支援
• [SPARK-49879] [SC-178334][CORE] 將 TransportCipherUtil 移至個別檔案，以消除 Java 編譯警告
• [SPARK-49866] [SC-178353][SQL] 改善描述具有分區欄位的資料表時的錯誤訊息
• [SPARK-49867] [SC-178302][ES-1260570][SQL] 在呼叫 GetColumnByOrdinal 時，改善索引超出界限的錯誤訊息
• [SPARK-49607] [SC-177373][PYTHON] 更新取樣型繪圖的取樣方法
• [SPARK-49626] [SC-177276][PYTHON][CONNECT] 支援橫向和縱向條形圖繪製
• [SPARK-49531] [SC-177770][PYTHON][CONNECT] 支援使用 Plotly 後端的折線圖
• [SPARK-49444] [SC-177692][ES-1203248][SQL] 已修改 UnivocityParser 使其擲回因 ArrayIndexOutOfBounds 所產生的執行時例外，並提供更具使用者導向的訊息。
• [SPARK-49870] [SC-178262][PYTHON] 在 Spark 傳統版中新增 Python 3.13 支援
• [SPARK-49560] [SC-178121][SQL] 為 TABLESAMPLE 運算子新增 SQL 管線語法
• [SPARK-49864] [SC-178305][SQL] 改善 BINARY_ARITHMETIC_OVERFLOW 訊息
• [SPARK-48780] [SC-170274][SQL] 將 NamedParametersSupport 的錯誤泛型化以處理函式和程序
• [SPARK-49358] [SC-178158][SQL] Mode 表達式，用於具有定序字串的映射類型
• [SPARK-47341] [SC-178157][SQL] 修正 RuntimeConfig#get 不正確的說明文件
• [SPARK-48357] [SC-178153][SQL] LOOP 語句的支援
• [SPARK-49845] [SC-178059][CORE] 使 REST API 中的 appArgs 和 environmentVariables 成為可選項
• [SPARK-49246] [SC-174679][SQL] TableCatalog#loadTable 應該指出是否用於寫入資料
• [SPARK-48048] [SC-177525][SC-164846][CONNECT][SS] 已新增對 Scala 的用戶端接聽程序支援
• [SPARK-48700] [SC-177978][SQL] 複雜類型的模式表達式 （所有定序）
• [SPARK-48196] [SC-177899][SQL] 將 QueryExecution 的 lazy val 計劃轉換成 "LazyTry"
• [SPARK-49749] [16.x][SC-177877][CORE] 在 BlockManagerInfo 中將記錄層級變更為偵錯
• [SPARK-49561] [SC-177897][SQL] 新增 PIVOT 和 UNPIVOT 運算符的 SQL 管道語法
• [SPARK-49823] [SC-177885][SS] 避免在 rocksdb 關閉路徑關閉期間排清
• [SPARK-49820] [SC-177855] [PYTHON] 將 raise IOError 變更為 raise OSError
• [SPARK-49653] [SC-177266][SQL] 相互關聯的純量子查詢的單一聯結
• [SPARK-49552] [SC-177477][PYTHON] 為新的 'randstr' 和 'uniform' SQL 函式新增 DataFrame API 支援
• [SPARK-48303] [16.x][SC-166251][CORE] 重組 LogKeys
• [SPARK-49656] [16x][Backport][SS] 新增對具有值狀態集合類型和讀取變更資料流選項的狀態變數的支援
• [SPARK-48112] [SC-165129][CONNECT] 將 SparkConnectPlanner 中的會話公開至外掛程式
• [SPARK-48126] [16.x][SC-165309][Core] 使 spark.log.structuredLogging.enabled 生效
• [SPARK-49505] [SC-176873][SQL] 建立新的 SQL 函式 “randstr” 和 “uniform” 以在範圍內產生隨機字符串或數位
• [SPARK-49463] [SC-177474] 支援 TransformWithStateInPandas 的支援 ListState
• [SPARK-48131] [SC-165007][Core] 統一 MDC 密鑰 mdc.taskName 和 task_name
• [SPARK-49557] [SC-177227][SQL] 新增 WHERE 運算符的 SQL 管道語法
• [SPARK-49323] [16.x][SC-174689][CONNECT] 將 MockObserver 從 Spark Connect Server 的測試資料夾移至伺服器的主要資料夾
• [SPARK-49745] [SC-177501][SS] 新增變更以透過狀態數據源讀取器讀取已註冊的定時器
• [SPARK-49772] [16.x][SC-177478][SC-177214][SS] 移除 ColumnFamilyOptions，並將設定直接新增至 RocksDB 中的 dbOptions

Databricks ODBC/JDBC 驅動程序支援服務

Databricks 支援在過去 2 年中發行的 ODBC/JDBC 驅動程式。 請下載最近發行的驅動程式和升級 （下載 ODBC，下載 JDBC）。

系統環境

• 操作系統：Ubuntu 24.04.1 LTS
• Java： Zulu17.54+21-CA
• Scala： 2.12.18
• Python：3.12.3
• R： 4.4.0
• Delta Lake： 3.2.1

已安裝的 Python 程式庫

已安裝的 R 套件

R 函式庫將從 2024-08-04 的 Posit 套件管理員 CRAN 快照中安裝。

已安裝的 Java 和 Scala 庫（Scala 2.12 叢集版本）