Databricks Runtime 13.3 LTS

下列版本資訊提供由 Apache Spark 3.4.1 提供之 Databricks Runtime 13.3 LTS 的相關信息。

Databricks 於 2023 年 8 月發行此版本。

新功能和改進

• 共用叢集的 Scala 支援
• Unity Catalog 共用叢集上 init 指令、JAR 和 Maven 座標的允許清單為公開預覽
• init 指令和 JAR 的磁碟區支援為公開預覽
• Delta Lake 作業預設啟用安全轉換
• 使用 Unity Catalog 引進標籤
• 如果查詢規劃和調用之間修改檔案，Databricks Runtime 會傳回錯誤
• 使用動態分割覆寫時封鎖架構覆寫
• 將 copyFile API 整合到 dbutils.fs.cp
• Databricks ODBC/JDBC 驅動程序支援
• 支援未命名（位置）參數標記
• 啟用時間序列資料行標籤
• 新的點陣圖 SQL 函式
• 改善的加密函式
• REFRESH FOREIGN 的 Unity 目錄支援
• INSERT BY NAME
• 使用 Delta Sharing 共用具體化檢視

共用叢集的 Scala 支援

使用 Databricks Runtime 13.3 和更新版本時，已啟用 Unity 目錄的共用叢集現在支援 Scala。

Unity Catalog 共用叢集上 init 指令、JAR 和 Maven 座標的允許清單為公開預覽

您現在可以使用 Unity 目錄 allowlist 來控制 init 指令碼、JAR 和 Maven 座標的安裝，以及執行 Databricks Runtime 13.3 和更新版本的共用存取模式。 請參閱共用計算上的 Allowlist 程式庫和 init 指令碼。

init 指令和 JAR 的磁碟區支援為公開預覽

您現在可以使用 Unity 目錄磁碟區，在計算上使用執行 Databricks Runtime 13.3 和更新版本的已指派或共用存取模式來儲存 init 指令碼和 JAR。 請參閱 Init 指令碼可以安裝在哪裡？和叢集範圍程式庫。

Delta Lake 作業預設啟用安全轉換

當值無法安全地轉換成目標數據表架構中的類型時，差異 UPDATE 和 MERGE 作業現在會產生錯誤。 Delta 中的所有隱含轉換現在都遵循 spark.sql.storeAssignmentPolicy ，而不是 spark.sql.ansi.enabled。 請參閱 Databricks Runtime 中的 ANSI 合規性。

使用 Unity Catalog 引進標籤

使用 Databricks Runtime 13.3 LTS 和更新版本，您可以將標籤套用至安全性實體物件。 標籤可協助您組織安全性物件，並簡化資料資產的搜尋和探索。 請參閱<將標籤套用至 Unity 目錄安全性實體物件>。

如果查詢規劃和調用之間修改檔案，Databricks Runtime 會傳回錯誤

Databricks 運行時間查詢現在會在查詢規劃和叫用之間更新檔案時傳回錯誤。 在此變更之前，Databricks Runtime 會在這些階段之間讀取檔案，這偶爾會導致無法預期的結果。

使用動態分割覆寫時封鎖架構覆寫

您無法在 Delta Lake 中會動態分割區覆寫設定 overwriteSchema 為 true 。 這可防止因為架構不符而導致可能的數據表損毀。 請參閱 動態分割區覆寫。

將 copyFile API 整合到 dbutils.fs.cp

dbutils copy 命令 dbutils.fs.cp 現在已針對更快速的複製進行優化。 有了這項改善，複製作業的速度可能會快 100 倍，視檔案大小而定。 此功能可在 Azure Databricks 中存取的所有文件系統中使用，包括 Unity 目錄磁碟區和 Databricks 文件系統掛接。

Databricks ODBC/JDBC 驅動程式支援

Azure Databricks 支援在過去 2 年中發行的 ODBC 和 JDBC 驅動程式。 在下載 ODBC 驅動程式並下載 JDBC 驅動程式下載最新的驅動程式。

支援未命名（位置）參數標記

除了 SparkSession.sql() 使用語法的參數化查詢之外，API 現在還支援使用 ? :parm 語法的參數化查詢。 請參閱 參數標記。

啟用時間序列資料行標籤

您現在可以在建立主鍵條件約束時，為時間序列數據行加上標籤。

新的點陣圖 SQL 函式

Azure Databricks 現在提供了一組函式，可用來將整數數值對應至位圖並加以匯總。 這可用來預先計算相異值的數目。

• bitmap_bit_position
• bitmap_bucket_number
• bitmap_construct_agg
• bitmap_count
• bitmap_or_agg

改善的加密函式

aes_encrypt、aes_decrypt和try_aes_decrypt函式已改善，並支援初始化向量（IV）和已驗證的其他數據（AAD）。

REFRESH FOREIGN 的 Unity 目錄支援

您現在可以使用 REFRESH FOREIGN CATALOG、 REFRESH FOREIGN SCHEMA和 REFRESH FOREIGN TABLE更新 Unity 目錄中的外部目錄、架構和資料表。 請參閱 REFRESH FOREIGN （CATALOG、SCHEMA 和 TABLE）。

INSERT BY NAME

將數據列插入數據表時，您現在可以讓 Azure Databricks 依名稱自動將源查詢中的數據行和欄位對應至資料表的數據行。 請參閱 INSERT INTO。

使用 Delta Sharing 共用具體化檢視

ALTER SHARE 語句現在支持具體化檢視。

重大變更

使用 MERGE INTO 和 UPDATE 將資料列儲存在資料表中時，隱含轉換的變更

Azure Databricks 現在會遵循在 spark.sql.storeAssignmentPolicy 數據表中儲存數據列時隱含轉換的設定。 預設值 ANSI 會在儲存溢位的值時擲回錯誤。 先前，值預設會儲存為 NULL 。

如下列範例所示，您可以藉由重寫數據表來針對造成錯誤的數據行使用更廣泛的類型來解決溢位問題。

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Parquet 架構推斷變更

從 Spark 未寫入的 Parquet 檔案推斷架構時， int64 加上批注的 isAdjustedToUTC=false 時間戳數據行現在會預設為 TIMESTAMP_NTZ 類型。 先前，這些會推斷為 TIMESTAMP 類型。 此更新可增強將 Parquet 類型對應至 Spark SQL 類型的精確度。

因此，如果功能未啟用，將數據從外部 Parquet 檔案讀取到 Delta 資料表可能會導致錯誤 timestampNtz 。 錯誤會顯示如下：

Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.

若要維護先前的行為並避免發生此錯誤，您可以將 Spark 組態參數 spark.sql.parquet.inferTimestampNTZ.enabled 設定為 false。

連結庫升級

• 升級的 Python 連結庫：
  • debugpy 從 1.5.1 到 1.6.0
  • 從 0.3.6 到 0.3.7 的 distlib
  • fastjsonschema 從 2.16.3 到 2.18.0
  • filelock from 3.12.0 to 3.12.2
• 升級的 R 連結庫：
  • 從 3.4.0 到 3.4.1 的 SparkR
• 升級的 Java 程式庫：
  • org.apache.orc.orc-core，從 1.8.3-shaded-protobuf 到 1.8.4-shaded-protobuf
  • org.apache.orc.orc-mapreduce 從 1.8.3-shaded-protobuf 到 1.8.4-shaded-protobuf
  • org.apache.orc.orc-shims from 1.8.3 到 1.8.4
  • org.eclipse.jetty.jetty-client 從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-continuation 從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-http，從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-io 從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-jndi，從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-plus，從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-proxy，從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-security，從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-server，從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-servlet，從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-servlets from 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-util 從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-util-ajax，從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-webapp，從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-xml，從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-api，從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-client 從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-common，從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-server，從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-servlet，從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.xerial.snappy.snappy-java 從 1.1.8.4 到 1.1.10.1

Apache Spark

Databricks Runtime 13.3 包含 Apache Spark 3.4.1。 此版本包含 Databricks Runtime 13.2 （EoS） 中包含的所有 Spark 修正和改善，以及下列對 Spark 進行的其他錯誤修正和改進：

• 您現在可以將叢集環境變數 SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 設定為使用 Spark-snowflake 連接器 v2.12.0。
• [SPARK-43380] [DBRRM-383]還原 “[SC-133100][SQL] 修正 Avro 數據類型...
• [SPARK-44504] [Backport][13.2][13.x][13.3] 卸除提供者，藉此強制 DB 實例關閉並釋放維護工作錯誤的資源
• [SPARK-44059] [SC-137023]為內建函式新增具名自變數的分析器支援
• [SPARK-44485] [SC-137653][SQL]優化 TreeNode.generateTreeString
• [SPARK-42944] [SC-137164][SS][PYTHON]在 Python 中串流 ForeachBatch
• [SPARK-44446] [SC-136994][PYTHON]新增預期的清單類型特殊案例檢查
• [SPARK-44439] [SC-136973][CONNECT][SS]已修正 listListeners 僅將標識碼傳回用戶端
• [SPARK-44216] [SC-136941][PYTHON]將 assertSchemaEqual API 設為公用
• [SPARK-44201] [SC-136778][CONNECT][SS]在 Scala 中新增 Spark Connect 中的串流接聽程序支援
• [SPARK-43915] [SC-134766][SQL]將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43798] 還原 “[SC-133990][SQL][PYTHON] 支援 Python 使用者定義數據表函式”
• [SPARK-44398] [SC-136720][CONNECT]Scala foreachBatch API
• [SPARK-44476] [SC-137169][CORE][CONNECT]修正 JobArtifactState 沒有相關聯成品的成品母體擴展
• [SPARK-44269] [SC-135817][SQL]將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[2310-2314]
• [SPARK-44395] [SC-136744][SQL]更新TVF自變數，以在TABLE關鍵詞後面要求標識碼前後加上括號
• [SPARK-43915] [SC-134766][SQL]將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43995] [SC-136794][SPARK-43996][CONNECT]將 UDFRegistration 的支援新增至 Connect Scala 用戶端
• [SPARK-44109] [SC-134755][CORE]拿掉每個 RDD 磁碟分區的重複慣用位置
• [SPARK-44169] [SC-135497][SQL]將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[2300-2304]
• [SPARK-41487] [SC-135636][SQL]將名稱指派給_LEGACY_ERROR_TEMP_1020
• [SPARK-44398] [SC-136720][CONNECT]Scala foreachBatch API
• [SPARK-44153][SC-134977][CORE][UI]索引標籤中的Executors支持Heap Histogram資料行
• [SPARK-44044] [SC-135695][SS]使用串流改善視窗函式的錯誤訊息
• [SPARK-43914] [SC-135414][SQL]將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[2433-2437]
• [SPARK-44217] [SC-136805][PYTHON]允許 fp 近似號的自定義精確度
• [SPARK-44370] [SC-136575][CONNECT]將 Buf 遠端產生 Alpha 移轉至遠端外掛程式
• [SPARK-44410] [SC-136930][PYTHON][CONNECT]在 create 中設定使用中的會話，而不只是 getOrCreate
• [SPARK-44348] [SAS-1910][SC-136644][13.X][CORE][CONNECT][PYTHON]具有相關變更的可重新test_artifact
• [SPARK-44145] [SC-136698][SQL]準備好執行時的回呼
• [SPARK-44264] [SC-136870][PYTHON][ML] FunctionPickler 類別
• [SPARK-43986] [SC-135623][SQL]建立 HyperLogLog 函式呼叫失敗的錯誤類別
• [SPARK-44139] [SC-134967][SQL]捨棄以群組為基礎的 MERGE 作業中完全向下推送篩選
• [SPARK-44338] [SC-136718][SQL]修正檢視架構不符錯誤訊息
• [SPARK-44208] [SC-135505][CORE][SQL]為直接使用例外狀況的某些邏輯指派明確的錯誤類別名稱
• [SPARK-44364] [SC-136773][PYTHON]針對預期新增 List[Row] 資料類型的支援
• [SPARK-44180] [SC-136792][SQL]DistributionAndOrderingUtils 應套用 ResolveTimeZone
• [SPARK-43389] [SC-136772][SQL]已新增lineSep選項的 Null 檢查
• [SPARK-44388] [SC-136695][CONNECT]修正更新 UDF 實例時的 protobuf 轉換問題
• [SPARK-44352] [SC-136373][CONNECT]將 SameType 和 friend 放回 DataType。
• [SPARK-43975] [SC-134265][SQL]DataSource V2：處理群組型來源的 UPDATE 命令
• [SPARK-44360] [SC-136461][SQL]支持差異型 MERGE 作業中的架構剪除
• [SPARK-44138] [SC-134907][SQL]禁止 MERGE 條件中的不具決定性表達式、子查詢和匯總
• [SPARK-43321] [SC-136678][連線][待處理]Scala 用戶端聯結中使用的 API 名稱更好With
• [SPARK-44263] [SC-136447][CONNECT]自定義攔截器支援
• [SPARK-39851] [SC-123383][SQL]如果一端可以保留唯一性，請改善聯結統計數據估計
• [SPARK-44390] [SC-136677][CORE][SQL]將重新命名 SparkSerDerseUtils 為 SparkSerDeUtils
• [SPARK-44004] [SC-134751][SQL]指派名稱並改善常見 LEGACY 錯誤的錯誤訊息。
• [SPARK-44322] [SC-136204][CONNECT]讓剖析器使用 SqlApiConf 而非 SQLConf。
• [SPARK-44271] [SC-136347][SQL]將預設值函式從 StructType 移至 ResolveDefaultColumns
• [SPARK-44332] [SC-136413][CORE][WEBUI]修正執行程式 UI 頁面上執行程式識別碼數據行的排序錯誤
• [SPARK-44282] [SC-135948][CONNECT]準備 DataType 剖析以用於 Spark Connect Scala 用戶端
• [SPARK-44349] [SC-136581][R] 將數學函式新增至 SparkR
• [SPARK-44397] [SC-136647][PYTHON]在 pyspark.testing.utils 中公開 assertDataFrameEqual
• [SPARK-42981] [SC-136620][CONNECT]新增直接箭號串行化
• [SPARK-44373] [SC-136577][SQL]包裝與 Active for Dataset API w/ parse 邏輯，讓剖析器相關的組態運作
• [SPARK-44340] [SC-136574][SQL]透過 PartitionEvaluator API 定義運算邏輯，並將其用於 WindowGroupLimitExec
• [SPARK-43665] [SC-136573][CONNECT][PS]啟用 PandasSQLStringFormatter.vformat 以使用 Spark Connect
• [SPARK-44325] [SC-136572][SQL]在 SortMergeJoinExec 中使用 PartitionEvaluator API
• [SPARK-44315] [SC-136171][SQL][CONNECT]將 DefinedByConstructorParams 移至 sql/api
• [SPARK-44275] [SC-136184][CONNECT]將可設定的重試機制新增至 Scala Spark Connect
• [SPARK-44326] [SC-136208][SQL][CONNECT]將所使用的公用程式從 Scala 用戶端移至通用模組
• [SPARK-43321] [SC-136156][連線]Dataset#Joinwith
• [SPARK-44343] [SC-136372][CONNECT]準備移至 SQL/API 的 ScalaReflection
• [SPARK-44313] [SC-136081][SQL]修正架構中有 char/varchar 數據行時產生的數據行表達式驗證
• [SPARK-43963] [SC-134145][SQL]DataSource V2：處理群組型來源的 MERGE 命令
• [SPARK-44363] [SC-136433][PYTHON]在 DataFrame 比較中顯示不相等數據列的百分比
• [SPARK-44251] [SC-136432][SQL]在完整外部 USING 聯結的聯結索引鍵上正確設定可為 Null
• [SPARK-43948] [SC-133366][SQL]將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[0050|0057|0058|0059]
• [SPARK-44329] [SC-136326][CONNECT][PYTHON]將hll_sketch_agg、hll_union_agg、to_varchar、try_aes_decrypt新增至 Scala 和 Python
• [SPARK-44351] [SC-136353][SQL]製作一些語法簡化
• [SPARK-44281] [SC-135963][SQL]將 DataType 所使用的 QueryCompilation 錯誤移至 sql/api 作為 DataTypeErrors
• [SPARK-44283] [SC-136109][CONNECT]將 Origin 移至 SQL/API
• [SPARK-43926] [SC-135590][CONNECT][PYTHON]將array_agg、array_size、基數、count_min_sketch、mask、named_struct、json_* 新增至 Scala 和 Python
• [SPARK-44327] [SC-136187][SQL][CONNECT]將函式 any 和 新增 len 至 Scala
• [SPARK-44290] [SC-136300][CONNECT]Spark Connect 中的會話型檔案和封存
• [SPARK-44061] [SC-136299][PYTHON]新增 assertDataFrameEqual util 函式
• [SPARK-44331] [SC-136324][CONNECT][PYTHON]將點陣圖函式新增至 Scala 和 Python
• [SPARK-44342] [SC-136334][SQL]將 SQLContext 取代為 GenTPCDSData 的 SparkSession
• [SPARK-42583] [SC-124190][SQL]如果外部聯結全都是相異聚合函數，請移除外部聯結
• [SPARK-44333] [SC-136206][CONNECT][SQL]將 EnhancedLogicalPlan 移出 ParserUtils
• [SPARK-43824] [SC-132655][SPARK-43825][SQL]將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_128[1-2]
• [SPARK-43939] [SC-134602][CONNECT][PYTHON]將 try_* 函式新增至 Scala 和 Python
• [SPARK-44193] [SC-135886][CONNECT]實作 GRPC 例外狀況攔截以進行轉換
• [SPARK-44284] [SC-136107][CONNECT]建立 sql/api 的簡單 conf 系統
• [SPARK-43913] [SC-133368][SQL]將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[2426-2432]
• [SPARK-44291] 還原 “[SC-135924][SPARK-43416][CONNECT] 修正範圍查詢不正確的架構”
• [SPARK-44312] [SC-136185][CONNECT][PYTHON]允許使用環境變數設定使用者代理程式
• [SPARK-44154] [SC-136060]實作點圖函式
• [SPARK-43885] [SC-133996][SQL]DataSource V2：處理差異型來源的 MERGE 命令
• [SPARK-43924] [SC-135161][CONNECT][PYTHON]將Misc函式新增至 Scala 和 Python
• [SPARK-43969] [SC-134556][SQL]重構和將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_1170
• [SPARK-44185] [SC-135730][SQL]修正目錄和數據作業之間的不一致路徑限定
• [SPARK-44073] [SC-134562][SQL][PYTHON][CONNECT]將日期時間函式新增至 Scala、Python 和 Connect - 第 2 部分
• [SPARK-43942] [SC-134527][CONNECT][PYTHON]將字串函式新增至 Scala 和 Python - 第 1 部分
• [SPARK-44266] [SC-135813][SQL]將 Util.truncatedString 移至 sql/api
• [SPARK-44195] [SC-135722][R] 將 JobTag API 新增至 SparkR SparkContext
• [SPARK-44200] [SC-135736][SQL]支援 TableValuedFunction 的 TABLE 自變數剖析器規則
• [SPARK-44254] [SC-135709][SQL]將 DataType 所使用的 QueryExecutionErrors 移至 sql/api 作為 DataTypeErrors
• [SPARK-44291] [SC-135924][SPARK-43416][CONNECT]修正範圍查詢的架構不正確
• [SPARK-43922] [SC-135612][SQL]在剖析器中新增函式呼叫的具名參數支援
• [SPARK-44300] [SC-135882][CONNECT]修正成品清除，以限制會話特定成品的刪除範圍
• [SPARK-44293] [SC-135849][CONNECT]修正 Spark Connect 中自定義 JAR 無效的 URI
• [SPARK-44215] [SC-135850][SHUFFLE]如果 num 區塊為 0，則伺服器應該擲回 RuntimeException
• [SPARK-44245] [SC-135851][PYTHON] pyspark.sql.dataframe 範例（） doctests 應該僅供說明
• [SPARK-44274] [SC-135814][CONNECT]將 ArtifactManager 所使用的 util 函式移至 common/utils
• [SPARK-44194] [SC-135815][PYTHON][CORE]將 JobTag API 新增至 PySpark SparkContext
• [SPARK-42828] [SC-135733][PYTHON][SQL]GroupedData 更明確的 Python 類型批注
• [SPARK-44079] [SC-135486][SQL]修正 ArrayIndexOutOfBoundsException 使用 PERMISSIVE 模式搭配損毀記錄將數位剖析為結構時
• [SPARK-44255] [SC-135809][SQL]將 StorageLevel 重新放置至一般/公用程式
• [SPARK-42169] [SC-135795][SQL]實作to_csv函式的程式代碼產生 （StructsToCsv）
• [SPARK-44249] [SC-135719][SQL][PYTHON]重構 PythonUDTFRunner 以個別傳送其傳回類型
• [SPARK-43353] [SC-132734][PYTHON]將剩餘的工作階段錯誤移轉至錯誤類別
• [SPARK-44211] [SC-135718][PYTHON][CONNECT]實作SparkSession.is_stopped
• [SPARK-42784] [SC-135691] 當合併 dir 中的 subDir 數目小於 conf 時，仍應該建立 subDir
• [SPARK-41599] [SC-135616]使用 InProcessLauncher 將應用程式提交至安全叢集時，FileSystem.CACHE 中的記憶體流失
• [SPARK-44241] [SC-135613][Core]錯誤地將 io.connectionTimeout/connectionCreationTimeout 設定為零或負數會導致不斷執行程式 cons/destructions
• [SPARK-44133] [SC-134795][13.X][PYTHON]將 MyPy 從 0.920 升級至 0.982
• [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener - JSON 格式的事件 Serde
• [SPARK-44188] [SC-135173][CORE]在中移除無 resetAllPartitions 用方法 ActiveJob
• [SPARK-43757] [SC-135418][CONNECT]將用戶端相容性從允許清單變更為拒絕清單
• [SPARK-43474] [SC-135521][SS][CONNECT]新增 Spark 依標識符連線至運行時間數據框架的存取權。
• [SPARK-44183] [SC-135209][PYTHON]將最低版本建立 PyArrow 為 4.0.0
• [SPARK-44248] [SC-135554][SS][SQL][Kafka]在 kafka 來源 v2 中新增慣用的位置
• [SPARK-43929] [SC-134510][SQL][PYTHON][CONNECT]將日期時間函式新增至 Scala、Python 和 Connect API - 第 1 部分
• [SPARK-44161] [SC-135326][連線]處理UDF的數據列輸入
• [SPARK-44227] [SC-135520][SQL]從 StructField 擷取 SchemaUtils
• [SPARK-44064] [SC-135116][CORE][SQL]將新的 apply 函式新增至 NonFateSharingCache
• [SPARK-44171] [SC-135269][SQL]將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[2279-2282] 並刪除一些未使用的錯誤類別
• [SPARK-44056] [SC-134758][SQL]可用時，在 UDF 執行失敗錯誤訊息中包含 UDF 名稱
• [SPARK-44205] [SC-135422][SQL]從 DecimalType 擷取 Catalyst 程式代碼
• [SPARK-44220] [SC-135484][SQL]將 StringConcat 移至 sql/api
• [SPARK-44146] [SC-135230][CONNECT]隔離 Spark Connect 會話 jar 和 classfiles
• [SPARK-44206] [SC-135411][SQL]DataSet.selectExpr 範圍 Session.active
• [SPARK-40850] [SC-135417][SQL]修正測試案例解譯查詢可能會執行 Codegen
• [SPARK-44204] [SC-135253][SQL][HIVE]為 getPartitionNames 新增遺漏的 recordHiveCall
• [SPARK-44237] [SC-135485][CORE]簡化 DirectByteBuffer 建構函式查閱邏輯
• [SPARK-44189] [SC-135170][CONNECT][PYTHON]支援位置參數依據 sql()
• [SPARK-44140] [SC-134893][SQL][PYTHON]在 Python 中支援位置參數 sql()
• [SPARK-44164] [SC-135158][SQL]將 toAttribute 方法從 StructField 擷取至 Util 類別
• [SPARK-44178] [SC-135113][CONNECT]在中支援位置參數 sql()
• [SPARK-43208] [SC-128955][SQL][HIVE]IsolatedClassLoader 在讀取后應該關閉屏障類別 InputStream
• [SPARK-43063] [SC-128382][SQL] df.show handle null 應該列印 NULL 而不是 null
• [SPARK-42539] [SC-124464][SQL][HIVE]針對元數據用戶端使用 『builtin』 Hive 版本時，消除個別的類別載入器
• [SPARK-43992] [SC-133645][SQL][PYTHON][CONNECT]新增 Catalog.listFunctions 的選擇性模式
• [SPARK-44066] [SC-134878][SQL]支援 Scala/Java 中的位置參數 sql()
• [SPARK-44078] [SC-134869][CONNECT][CORE]新增 classloader/資源隔離的支援
• [SPARK-43470] [SC-135187][CORE]將 OS、Java、Python 版本資訊新增至應用程式記錄
• [SPARK-43136] [SC-135238][CONNECT][待處理]新增 KeyAs 的測試
• [SPARK-39740] [SC-135093][UI]：將 vis timeline 升級至 7.7.2 以修正 CVE-2020-28487
• [SPARK-42298] [SC-133952][SQL]將名稱指派給_LEGACY_ERROR_TEMP_2132
• [SPARK-43961] [SC-133459][SQL][PYTHON][CONNECT]新增 Catalog.listTables 的選擇性模式
• [SPARK-44026] [SC-135181]允許提供 SQLMetrics 的初始值
• [SPARK-44202] [SC-135244][CORE]將 JobTag API 新增至 JavaSparkContext
• [SPARK-44030] [SC-135237][SQL]實作 DataTypeExpression 以提供 Unapply for expression
• [SPARK-43876] 還原 “[SC-134603][SQL] 為不同的查詢啟用快速哈希對應”
• [SPARK-40082] [SC-126437]排程 mergeFinalize 時推送合併隨機MapStage 重試，但沒有執行中的工作
• [SPARK-43888] [SC-132893][CORE]將記錄重新放置至一般/公用程式
• [SPARK-43474] [SC-134400][SS][CONNECT]將 SessionHolder 新增至 SparkConnectPlanner
• [SPARK-43944] [SC-134490][CONNECT][PYTHON]將字串函式新增至 Scala 和 Python - 第 2 部分
• [SPARK-44134] [SC-134954][CORE]修正在spark-defaults.conf 中設定資源時，將資源設定為0
• [SPARK-44142] [SC-134947][PYTHON]將類型取代為公用程式中的 tpe，以將 Python 類型轉換為 spark 類型
• [SPARK-43952] [SC-134695][CORE][CONNECT][SQL]新增SparkContext API，以依標記取消查詢
• [SPARK-44000] [SC-133634][SQL]新增提示以停用廣播和復寫聯結的一端
• [SPARK-43937] [SC-134362][CONNECT][PYTHON]將 ifnull、isnotnull、equal_null、nullif、nvl、nvl2 新增至 Scala 和 Python
• [SPARK-43624] [13.x][SC-134557][PS][CONNECT]新增 EWM 至 SparkConnectPlanner。
• [SPARK-44040] [SC-134366][SQL]修正在 QueryStageExec 上方的 AggregateExec 節點時計算統計數據
• [SPARK-43485][SC-131264][SQL]修正 datetime add/diff 函式自變數的錯誤訊息unit
• [SPARK-43794] [SC-132561][SQL]將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_1335
• [SPARK-43511] [SC-134749][CONNECT][SS]已實作 MapGroupsWithState 和 FlatMapGroupsWithState API for Spark Connect
• [SPARK-43529] [SQL]支援 CREATE/REPLACE TABLE OPTIONS 運算式 + 程式代碼清除
• [SPARK-44106][SC-134750][PYTHON][CONNECT]新增__repr__GroupedData
• [SPARK-42299] [SC-133190]將名稱指派給_LEGACY_ERROR_TEMP_2206
• [SPARK-43290] [SC-134388][SQL]新增對 aes_encrypt IV 和 AAD 的支援
• [SPARK-43932] [SC-134138][SQL][PYTHON][CONNECT]將 like 函式新增 current 至 Scala 和 Python
• [SPARK-43934] [SC-134108][SQL][PYTHON][CONNECT]將 regexp_* 函式新增至 Scala 和 Python
• [SPARK-44107] [SC-134746][CONNECT][PYTHON]從自動完成隱藏不支持的數據行方法
• [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener - JSON 格式的事件 Serde
• [SPARK-43773] [SC-132659][CONNECT][PYTHON]在 python 用戶端中實作 'levenshtein（str1， str2[， threshold]）' 函式
• [SPARK-44125] [SC-134745][R] 在 SparkR 中支援 Java 21
• [SPARK-43919] [SC-133374][SQL]從數據列擷取 JSON 功能
• [SPARK-43769] [SC-132520][CONNECT]實作 'levenshtein（str1， str2[， threshold]）' 函式
• [SPARK-44012] [SC-134662][SS]KafkaDataConsumer 列印一些讀取狀態
• [SPARK-43876] [SC-134603][SQL]為不同的查詢啟用快速哈希對應
• [SPARK-44024] [SC-134497][SQL] map 變更為僅用來擷取單一元素時 unzip 使用
• [SPARK-43928] [SC-134467][SQL][PYTHON][CONNECT]將位作業新增至 Scala、Python 和 Connect API
• [SPARK-44092] [SC-134506][CORE]使用Java 21新增 Utils.isJavaVersionAtLeast21 和製作 core 模組傳遞
• [SPARK-44018] [SC-134512][SQL]改善某些 DS V2 表達式的 hashCode 和 toString
• [SPARK-44105] [SC-134582][SQL] LastNonNull 應該懶散地解決
• [SPARK-44081] [SC-134434]簡化 PartitionedFileUtil API 一點點
• [SPARK-43791] [SC-132531][SQL]將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_1336
• [SPARK-44071] [SC-134435]定義和使用未解決[分葉|一元]節點特性。
• [SPARK-43852] [SC-132890][SPARK-43853][SPARK-43854][SPARK-43855][SPARK-43856]將名稱指派給錯誤類別 _LEGACY_ERROR_TEMP_2418-2425
• [SPARK-43742] [SC-132684][SQL]重構預設數據行值解析
• [SPARK-43493] [SC-132063][SQL]將最大距離自變數新增至 levenshtein（） 函式
• [SPARK-44075] [SC-134382][CONNECT]讓 transformStatCorr 懶惰
• [SPARK-43925] [SC-134381][SQL][PYTHON][CONNECT]將一些、bool_or、bool_and、每個 新增至 Scala、Python 和 Connect
• [SPARK-43931] [SC-134158][SQL][PYTHON][CONNECT]將 make_* 函式新增至 Scala 和 Python
• [SPARK-43762] [SC-132602][SPARK-43763][SPARK-43764][SPARK-43765][SPARK-43766][SQL]將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_24[06-10]
• [SPARK-43962][SC-133367][SQL]改善錯誤訊息：CANNOT_DECODE_URL、、、CANNOT_READ_FILE_FOOTERCANNOT_PARSE_DECIMALCANNOT_MERGE_INCOMPATIBLE_DATA_TYPE、 CANNOT_RECOGNIZE_HIVE_TYPE。
• [SPARK-43938] [SC-133887][CONNECT][PYTHON]將to_* 函式新增至 Scala 和 Python
• [SPARK-44055] [SC-134321][CORE]從中移除備援 override 函式 CheckpointRDD
• [SPARK-43802] [SC-132597][SQL]使用 failOnError=true 修正 unhex 和 unbase64 的程式代碼gen
• [SPARK-43798] [SC-133990][SQL][PYTHON]支援 Python 使用者定義數據表函式
• [SPARK-43941] [SC-134286][SQL][PYTHON][CONNECT]將 any_value、approx_percentile、count_if、first_value、histogram_numeric、last_value、縮減為 Scala、Python 和 Connect API
• [SPARK-43380] [SC-133100][SQL]修正 Avro 資料類型轉換問題，以避免產生不正確的結果
• [SPARK-43803] [SC-133729][SS][CONNECT]改善 awaitTermination（） 以處理用戶端中斷連線
• [SPARK-43179] [SC-129070][SHUFFLE]允許應用程式控制其元數據是否由外部隨機服務儲存在資料庫中

Databricks ODBC/JDBC 驅動程式支援

Databricks 支援在過去 2 年中發行的 ODBC/JDBC 驅動程式。 請下載最近發行的驅動程式和升級 (下載 ODBC，下載 JDBC)。

請參閱 Databricks Runtime 13.3 維護更新。

系統環境

• 作業系統：Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python：3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

已安裝的 Python 程式庫

已安裝 R 程式庫

R 程式庫會從 2023-02-10 上的 Microsoft CRAN 快照集安裝。

已安裝 Java 和 Scala 程式庫（Scala 2.12 叢集版本）