Databricks Runtime 11.2 (EoS)

下列版本資訊提供由 Apache Spark 3.3.0 提供之 Databricks Runtime 11.2 的相關信息。 Databricks 於 2022 年 9 月發行此版本。

新功能和改進

• 變更為資料表存取控制中的 ALTER TABLE 權限（資料表 ACL）
• MERGE INTO 的動態剪除
• 已使用動態檔案剪除改善 Delta 中的衝突偵測
• DSE/SQL 首頁中的新開放原始碼整合卡片
• CONVERT TO DELTA 分割區偵測改善
• 數據表架構現在支援資料行的預設值
• 新的 H3 地理空間函式
• 新的 Databricks 運行時間相依性
• 攜帶您自己的金鑰：Git 認證加密
• SQL：新的聚合函數any_value
• 更多叢集類型允許的 Databricks 公用程式檔案系統命令
• Unity 目錄的中繼存放區現在可以授與 CREATE 許可權
• 已啟用 Photon 的叢集中未分割數據表的優化寫入
• 更多數據源的 Photon 支援
• SQL：ALTER SHARE 現在支援 START VERSION

變更為資料表存取控制中的 ALTER TABLE 權限（資料表 ACL）

現在，使用者只需要 MODIFY 許可權，才能使用 ALTER TABLE來變更數據表的架構或屬性。 仍然需要擁有權，才能授與數據表的許可權、變更其擁有者和位置，或重新命名它。 這項變更會讓數據表 ACL 的許可權模型與 Unity 目錄一致。 請參閱 ALTER TABLE。

MERGE INTO 的動態剪除

使用已啟用 Photon 的計算時， MERGE INTO 現在會適當地使用動態檔案和數據分割剪除來改善效能，例如，當小型源數據表合併到較大的目標數據表時。

已使用動態檔案剪除改善 Delta 中的衝突偵測

在認可期間檢查潛在衝突時，衝突偵測現在會考慮動態檔案剪除所剪除的檔案，但靜態篩選不會剪除。 這會導致失敗的交易數目減少。

DSE/SQL 首頁中的新開放原始碼整合卡片

在 DSE/SQL 首頁中引進新的「開放原始碼整合」卡片，其中顯示 開放原始碼 整合選項，例如 Delta Live Tables 和 dbt 核心。

CONVERT TO DELTA 分割區偵測改善

CONVERT TO DELTA 會自動推斷登錄至Hive中繼存放區或 Unity 目錄之 Parquet 資料表的數據分割架構，而不需要提供 PARTITIONED BY 子句。

CONVERT TO DELTA 會利用中繼存放區的數據分割資訊來探索 Parquet 數據表的檔案，而不是列出整個基底路徑，確保卸除的數據分割不會新增至 Delta 數據表。

請參閱 轉換成 Delta Lake。

數據表架構現在支援資料行的預設值

數據表架構現在支援設定數據行的預設值。 INSERT、 UPDATE、 和 DELETE 這些資料行的命令可以使用 關鍵詞來參考這些值 DEFAULT 。 例如， CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET 後面接著 INSERT INTO t VALUES (1, DEFAULT) 會附加資料列 (1, 42)。 CSV、JSON、Orc 和 Parquet 數據源支援此行為。

新的 H3 地理空間函式

您現在可以使用 28 個新的內建 H3 運算式，在已啟用 Photon 的叢集中進行地理空間處理，可在 SQL、Scala 和 Python 中使用。 請參閱H3 地理空間函式。

新的 Databricks 運行時間相依性

Databricks Runtime 現在取決於 H3 Java 連結庫 3.7.0 版。

攜帶您自己的金鑰：Git 認證加密

您可以使用 Azure Key Vault 加密 Git 個人存取權杖 (PAT) 或其他 Git 認證。

請參閱設定 Databricks Git 資料夾 (Repos)。

SQL：新的聚合函數any_value

新的 any_value 聚合函數會針對一組數據列傳回 的任何隨機值 expr 。 請參閱any_value聚合函數。

更多叢集類型允許的 Databricks 公用程式檔案系統命令

dbutils.fs 命令（除了掛接相關命令除外）現在可在具有 Unity 目錄的使用者隔離叢集上，以及使用者具有 ANY FILE 許可權時的舊版數據表 ACL 叢集。

Unity 目錄的中繼存放區現在可以授與 CREATE 許可權

CREATE CATALOG、CREATE EXTERNAL LOCATION、CREATE SHARE、CREATE RECIPIENT 和 CREATE PROVIDER 許可權現在可以在 Unity 目錄中繼存放區上授與。

已啟用 Photon 的叢集中未分割數據表的優化寫入

Unity 目錄受控數據表現在會自動保存未分割數據表中調整良好大小的檔案，以改善查詢速度和優化效能。

更多數據源的 Photon 支援

Photon 現在支援更多數據源，包括 CSV 和 Avro，也與快取的數據框架相容。 先前，掃描這些數據源表示不論查詢的運算符或表達式為何，都無法將整個查詢進行光化。 現在，掃描這些數據源的查詢可以進行光化、解除鎖定顯著的延遲和 TCO 改善。

這項功能預設會由 spark.databricks.photon.photonRowToColumnar.enabled 組態啟用。

限制：

• 此版本中不支援具有巢狀類型的架構（例如數位、對應和結構）。
• 此版本中不支援 ORC、RDD、Kinesis、Kafka 和 EventHub 來源。

SQL：ALTER SHARE 現在支援 START VERSION

ALTER SHARE命令現在支援 START VERSION，這可讓提供者從特定數據表版本開始共享數據。 請參閱 ALTER SHARE。

連結庫升級

• 升級的 Python 連結庫：
  • 從 0.3.4 到 0.3.5 的 distlib
  • filelock from 3.7.1 to 3.8.0
  • 從 5.8.2 到 5.9.0 的繪圖
  • protobuf 從 4.21.2 到 4.21.5
• 升級的 R 連結庫：
  • 從 0.8.0 到 1.0.0 的掃把
  • bslib 從 0.3.1 到 0.4.0
  • 從 3.7.0 到 3.7.1 的呼叫者
  • 從 6.0-92 到 6.0-93 的插入號
  • dbplyr 從 2.2.0 到 2.2.1
  • 從 2.4.3 到 2.4.4 的 devtools
  • 從 0.15 評估為 0.16
  • 遠從 2.1.0 到 2.1.1
  • fontawesome 從 0.2.2 到 0.3.0
  • 未來從 1.26.1 到 1.27.0
  • 泛型從 0.1.2 到 0.1.3
  • 從 1.6.0 到 1.7.0 的 gert
  • globals from 0.15.1 to 0.16.0
  • googlesheets4 從 1.0.0 到 1.0.1
  • 從 1.1.0 到 1.2.0 的 hardhat
  • 從 0.5.2 到 0.5.3 的 htmltools
  • 平行從 1.32.0 到 1.32.1
  • 從1.7.0到1.8.0的柱子
  • pkgload 從 1.2.4 到 1.3.0
  • processx 從 3.6.1 到 3.7.0
  • Rcpp 從 1.0.8.3 到 1.0.9
  • 食譜從 0.2.0 到 1.0.1
  • rlang 從 1.0.2 到 1.0.4
  • roxygen2 從 7.2.0 到 7.2.1
  • RSQLite 從 2.2.14 到 2.2.15
  • sass from 0.4.1 to 0.4.2
  • 閃亮從 1.7.1 到 1.7.2
  • stringi 從 1.7.6 到 1.7.8
  • 從 3.1.7 到 3.1.8 的 tibble
  • 從 1.3.1 到 1.3.2 的 tidyverse
  • timeDate 從 3043.102 到 4021.104
  • xfun 從 0.31 到 0.32
• 升級的 Java 程式庫：
  • org.apache.orc.orc-core 從 1.7.4 到 1.7.5
  • org.apache.orc.orc-mapreduce 從 1.7.4 到 1.7.5
  • org.apache.orc.orc-shims from 1.7.4 到 1.7.5

Apache Spark

Databricks Runtime 11.2 包含 Apache Spark 3.3.0。 此版本包含 Databricks Runtime 11.1 （EoS） 中包含的所有 Spark 修正和改善，以及下列對 Spark 所做的其他錯誤修正和改進：

• [SPARK-40151] [WARMFIX][SC-109002][SC-108809][SQL]從百分位數函式傳回更廣泛的 ANSI 間隔類型
• [SPARK-40054] [SQL]還原try_cast的錯誤處理語法（）
• [SPARK-39489] [CORE]使用 Jackson 而非 Json4s 改善事件記錄 JsonProtocol 效能
• [SPARK-39319] [CORE][SQL]將查詢內容設為的一部分 SparkThrowable
• [SPARK-40085] [SQL]使用INTERNAL_ERROR錯誤類別而非 IllegalStateException 來指出 Bug
• [SPARK-40001] [SQL]將 NULL 寫入 JSON DEFAULT 資料行，將 'null' 寫入記憶體
• [SPARK-39635] [SQL]在 DS v2 自訂計量 API 中支援驅動程式計量
• [SPARK-39184] [SQL]處理日期和時間戳序列中不分化的結果陣列
• [SPARK-40019] [SQL]ArrayType 的重構批註包含Null 並重構 collectionOperator 表達式中的誤解邏輯 containsNull
• [SPARK-39989] [SQL]如果它是可折疊的表達式，則支持估計數據行統計數據
• [SPARK-39926] [SQL]修正非向量化 Parquet 掃描數據行 DEFAULT 支援中的 Bug
• [SPARK-40052] [SQL]處理 VectorizedDeltaBinaryPackedReader 中的直接位元組緩衝區
• [SPARK-40044] [SQL]修正轉換溢位錯誤中的目標間隔類型
• [SPARK-39835] [SQL]修正 RemoveSorts 移除本機排序下方的全域排序
• [SPARK-40002] [SQL]請勿使用 ntile 透過視窗向下推低限制
• [SPARK-39976] [SQL]ArrayIntersect 應該正確處理左運算式中的 Null
• [SPARK-39985] [SQL]從 DataFrame 插入中啟用隱含 DEFAULT 資料行值
• [SPARK-39776] [SQL]JOIN 詳細資訊字串應該新增 Join 類型
• [SPARK-38901] [SQL]DS V2 支援下推錯誤函式
• [SPARK-40028] [SQL][FollowUp]改善字串函式的範例
• [SPARK-39983] [CORE][SQL]請勿在驅動程式上快取未串行化的廣播關係
• [SPARK-39812] [SQL]簡化使用 建構的程序 AggregateExpression 代碼 toAggregateExpression
• [SPARK-40028] [SQL]新增字串表達式的二進位範例
• [SPARK-39981] [SQL]在 Cast 中擲回 Exception QueryExecutionErrors.castingCauseOverflowErrorInTableInsert
• [SPARK-40007] [PYTHON][SQL]將 『mode』 新增至函式
• [SPARK-40008] [SQL]支援將整數轉換成 ANSI 間隔
• [SPARK-40003] [PYTHON][SQL]將 『median』 新增至函式
• [SPARK-39952] [SQL]SaveIntoDataSourceCommand 應該會重新產生結果關聯
• [SPARK-39951] [SQL]更新 Parquet V2 數據行式檢查巢狀欄位
• [SPARK-33236] [隨機顯示]回到 DBR 11.x：啟用推送式隨機顯示服務，以將狀態儲存在 NM 層級 DB 中，以保留重新啟動的工作
• [SPARK-39836] [SQL]藉由擷取通用方法簡化 V2ExpressionBuilder。
• [SPARK-39873] [SQL]將它移除 OptimizeLimitZero 並合併到 EliminateLimits
• [SPARK-39961] [SQL]如果轉換安全，DS V2 下推轉轉換
• [SPARK-39872][SQL]在中變更為與陣列輸入 API 搭配使用BytePackerForLong#unpack8ValuesVectorizedDeltaBinaryPackedReader
• [SPARK-39858] [SQL]拿掉不必要的 AliasHelper 或 PredicateHelper 某些規則
• [SPARK-39900] [SQL]解決二進位格式述詞下推中的部分或否定條件
• [SPARK-39904] [SQL]將 inferDate 重新命名為 prefersDate，並釐清 CSV 數據源中選項的語意
• [SPARK-39958] [SQL]無法載入自定義計量物件時新增警告記錄
• [SPARK-39932] [SQL]WindowExec 應該清除最終的數據分割緩衝區
• [SPARK-37194] [SQL]如果 v1 不是動態分割區，請避免在 v1 寫入中不必要的排序
• [SPARK-39902] [SQL]在 SparkUI 中將掃描詳細資料新增至 Spark 計劃掃描節點
• [SPARK-39865] [SQL]在數據表插入的溢位錯誤上顯示適當的錯誤訊息
• [SPARK-39940] [SS]使用 DSv1 接收重新整理串流查詢上的目錄資料表
• [SPARK-39827][SQL]在 int overflow 上使用 error 類別ARITHMETIC_OVERFLOWadd_months()
• [SPARK-39914] [SQL]將 DS V2 篩選新增至 V1 篩選轉換
• [SPARK-39857] [SQL]手動 DBR 11.x backport;V2ExpressionBuilder 針對 In 述詞 #43454 使用錯誤的 LiteralValue 數據類型
• [SPARK-39840] [SQL][PYTHON]將 PythonArrowInput 分解為 PythonArrowOutput 的對稱
• [SPARK-39651] [SQL]如果與 rand 比較是決定性的剪除篩選條件
• [SPARK-39877] [PYTHON]將 Unpivot 新增至 PySpark DataFrame API
• [SPARK-39909] [SQL]組織 JDBCV2Suite 的下推資訊檢查
• [SPARK-39834] [SQL][SS]如果邏輯RDD 來自DataFrame，請包含原點統計數據和條件約束
• [SPARK-39849] [SQL] Dataset.as（StructType） 以 Null 值填入遺漏的新數據行
• [SPARK-39860] [SQL]更多表達式應該擴充述詞
• [SPARK-39823] [SQL][PYTHON]將 Dataset.as 重新命名為 Dataset.to，並在 PySpark 中新增 DataFrame.to
• [SPARK-39918] [SQL][MINOR]將錯誤訊息中的「不可比較」字組取代為「無法比對」的字組
• [SPARK-39857] [SQL][3.3] V2ExpressionBuilder 針對 In 述詞使用錯誤的 LiteralValue 數據類型
• [SPARK-39862] [SQL]以 DBR 11.x 為目標的 PR 43654 手動回送：更新SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS以允許/拒絕 ALTER TABLE ... 個別新增 COLUMN 命令。
• [SPARK-39844] [SQL]以 DBR 11.x 為目標的 PR 43652 手動備份
• [SPARK-39899] [SQL]修正將訊息參數傳遞至 InvalidUDFClassException
• [SPARK-39890] [SQL]讓TakeOrderedAndProjectExec繼承 AliasAwareOutputOrdering
• [SPARK-39809] [PYTHON]支援 PySpark 中的 CharType
• [SPARK-38864] [SQL]將取消樞紐/融化新增至數據集
• [SPARK-39864] [SQL]Lazily register ExecutionListenerBus
• [SPARK-39808] [SQL]支援聚合函數MODE
• [SPARK-39875] [SQL]將最終類別中的方法變更 protected 為 private 或 package-visible
• [SPARK-39731] [SQL]使用 CORRECTED 時間剖析器原則剖析 「yyyyMMdd」 格式的日期時，修正 CSV 和 JSON 數據源的問題
• [SPARK-39805] [SS]取代 Trigger.Once 和 Promote Trigger.AvailableNow
• [SPARK-39784] [SQL]將 Catalyst Expression 轉譯為數據源篩選條件之後，將常值放在數據源篩選的右側
• [SPARK-39672] [SQL][3.1] 修正在篩選與相互關聯的子查詢之前移除專案
• [SPARK-39552] [SQL]整合 v1 和 v2 DESCRIBE TABLE
• [SPARK-39810] [SQL]Catalog.tableExists 應該處理巢狀命名空間
• [SPARK-37287] [SQL]從 FileFormatWriter 提取動態分割區和貯體排序
• [SPARK-39469] [SQL]推斷 CSV 架構推斷的日期類型
• [SPARK-39148] [SQL]DS V2 匯總下推下可以使用 OFFSET 或 LIMIT
• [SPARK-39818] [SQL]修正具有 NULL 欄位之預設值的 ARRAY、STRUCT、MAP 類型錯誤
• [SPARK-39792] [SQL]為十進位平均值新增 DecimalDivideWithOverflowCheck
• [SPARK-39798][SQL]在 建構函式中使用 Replcace toSeq.toArray .toArray[Any]GenericArrayData
• [SPARK-39759] [SQL]在 JDBC 中實作 listIndexes （H2 方言）
• [SPARK-39385] [SQL]支援下 REGR_AVGX 推和 REGR_AVGY
• [SPARK-39787] [SQL] 在函式剖析錯誤 to_timestamp 中使用錯誤類別
• [SPARK-39760] [PYTHON]支援 PySpark 中的 Varchar
• [SPARK-39557] [SQL]手動回送至 DBR 11.x：支援 ARRAY、STRUCT、MAP 類型作為預設值
• [SPARK-39758] [SQL][3.3] 修正無效模式上 regexp 函式的 NPE
• [SPARK-39749] [SQL]ANSI SQL 模式：在將十進位轉換成字串時使用純字串表示法
• [SPARK-39704] [SQL]在 JDBC 中實作 createIndex & dropIndex & indexExists （H2 方言）
• [SPARK-39803] [SQL]使用 LevenshteinDistance 而非 StringUtils.getLevenshteinDistance
• [SPARK-39339] [SQL]支援 JDBC 資料源中的 TimestampNTZ 類型
• [SPARK-39781] [SS]新增對 rocksdb 狀態存放區提供者提供max_open_files的支援
• [SPARK-39719] [R] 在 SparkR 中實作 databaseExists/getDatabase 支援 3L 命名空間
• [SPARK-39751] [SQL]重新命名哈希匯總金鑰探查計量
• [SPARK-39772] 當舊建構函式中的資料庫為 null 時，命名空間應該是 null
• [SPARK-39625] [SPARK-38904][SQL]新增 Dataset.as（結構類型）
• [SPARK-39384] [SQL]編譯 JDBC 方言的內建線性回歸聚合函數
• [SPARK-39720] [R] 在 SparkR 中實作 tableExists/getTable for 3L 命名空間
• [SPARK-39744][SQL]新增函式REGEXP_INSTR
• [SPARK-39716] [R] 使 SparkR 中的 currentDatabase/setCurrentDatabase/listCatalogs 支援 3L 命名空間
• [SPARK-39788][SQL]將重新命名catalogName為dialectNameJdbcUtils
• [SPARK-39647] [CORE]向 ESS 註冊執行程式，再註冊 BlockManager
• [SPARK-39754] [CORE][SQL]拿掉未 import 使用或不必要的 {}
• [SPARK-39706] [SQL]在中將 defaultValue 設定為常數的遺漏數據行 ParquetColumnVector
• [SPARK-39699] [SQL]讓 CollapseProject 更聰明地瞭解集合建立表達式
• [SPARK-39737] [SQL] PERCENTILE_CONT 和 PERCENTILE_DISC 應該支持匯總篩選
• [SPARK-39579] [SQL][PYTHON][R] 讓 ListFunctions/getFunction/functionExists 與 3 層命名空間相容
• [SPARK-39627] [SQL]JDBC V2 下推應該統一編譯 API
• [SPARK-39748] [SQL][SS]如果邏輯RDD 來自DataFrame，請包含原始邏輯計劃
• [SPARK-39385] [SQL]平移下推的線性回歸聚合函數
• [SPARK-39695][SQL]新增函式REGEXP_SUBSTR
• [SPARK-39667] [SQL]當記憶體不足而無法建置和廣播數據表時，請新增另一個因應措施
• [SPARK-39666][ES-337834][SQL]在 ExpressionEncoder 中使用 UnsafeProjection.create spark.sql.codegen.factoryMode
• [SPARK-39643] [SQL]禁止 DEFAULT 值的子查詢表達式
• [SPARK-38647] [SQL]在介面中新增 Scan 的 SupportsReportOrdering 混合 （DataSourceV2）
• [SPARK-39497] [SQL] 改善遺漏對應索引鍵資料行的分析例外狀況
• [SPARK-39661] [SQL]避免建立不必要的 SLF4J 記錄器
• [SPARK-39713] [SQL]ANSI 模式：新增針對INVALID_ARRAY_INDEX錯誤使用try_element_at的建議
• [SPARK-38899] [SQL]DS V2 支援下推日期時間函式
• [SPARK-39638] [SQL]變更為用來 ConstantColumnVector 將分割區數據行儲存在 OrcColumnarBatchReader
• [SPARK-39653][SQL]清除ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int)ColumnVectorUtils
• [SPARK-39231] [SQL]使用 ConstantColumnVector 而非 On/OffHeapColumnVector 將分割區數據行儲存在 VectorizedParquetRecordReader
• [SPARK-39547] [SQL]V2SessionCatalog 不應該在 loadNamspaceMetadata 中擲回 NoSuchDatabaseException
• [SPARK-39447] [SQL]避免 AdaptiveSparkPlanExec.doExecuteBroadcast 中的 AssertionError
• [SPARK-39492] [SQL]重新作業MISSING_COLUMN
• [SPARK-39679] [SQL]TakeOrderedAndProjectExec 應遵守子輸出順序
• [SPARK-39606] [SQL]使用子統計數據來估計訂單運算符
• [SPARK-39611] [PYTHON][PS]修正array_ufunc中的 錯誤別名
• [SPARK-39656] [SQL][3.3] 在 DescribeNamespaceExec 中修正錯誤的命名空間
• [SPARK-39675] [SQL]將 『spark.sql.codegen.factoryMode』 組態從測試用途切換為內部用途
• [SPARK-39139] [SQL]DS V2 支援向下推播 DS V2 UDF
• [SPARK-39434] [SQL] 當陣列索引超出界限時，提供執行階段錯誤查詢內容
• [SPARK-39479] [SQL]DS V2 支援向下推算數學函式（非 ANSI）
• [SPARK-39618][SQL]新增函式REGEXP_COUNT
• [SPARK-39553] [CORE]使用 Scala 2.13 時，多線程取消註冊洗牌不應該擲回 NPE
• [SPARK-38755] [PYTHON][3.3] 新增檔案以解決遺漏的 pandas 一般函式
• [SPARK-39444] [SQL]將 OptimizeSubqueries 新增至 nonExcludableRules 清單
• [SPARK-39316] [SQL]將 PromotePrecision 和 CheckOverflow 合併為十進位二進位算術
• [SPARK-39505] [UI]逸出UI中轉譯的記錄內容
• [SPARK-39448] [SQL]新增 ReplaceCTERefWithRepartition 至 nonExcludableRules 清單
• [SPARK-37961] [SQL]覆寫某些邏輯運算子的 MaxRows/maxRowsPerPartition
• [SPARK-35223] 還原新增問題NavigationLink
• [SPARK-39633] [SQL]使用 Dataframe 選項支援 TimeTravel 的秒數時間戳
• [SPARK-38796] [SQL]使用 {try_} to_number 函式更新數位格式字串的檔
• [SPARK-39650] [SS]修正串流重複數據刪除與回溯相容性中的不正確值架構
• [SPARK-39636] [CORE][UI]修正 JsonProtocol 中的多個錯誤，影響堆積 StorageLevels 和 Task/Executor ResourceRequests
• [SPARK-39432] [SQL]從element_at傳回ELEMENT_AT_BY_INDEX_ZERO（*， 0）
• [SPARK-39349] 為錯誤路徑的 QA 新增集中式 CheckError 方法
• [SPARK-39453] [SQL]DS V2 支援下推非聚合函數（非 ANSI）
• [SPARK-38978] [SQL]DS V2 支援向下推移 OFFSET 運算子
• [SPARK-39567] [SQL]支援百分位數函式中的 ANSI 間隔
• [SPARK-39383] [SQL]支援 ALTER TABLE ALTER COLUMNS 到 V2 資料源中的 DEFAULT 資料行
• [SPARK-39396] [SQL]修正 LDAP 登入例外狀況 「錯誤碼 49 - 無效的認證」
• [SPARK-39548] [SQL]具有 window 子句查詢的 CreateView 命令遇到找不到錯誤的視窗定義問題
• [SPARK-39575] [AVRO] 在 Avr 中新增 ByteBuffer#rewind after ByteBuffer#get...
• [SPARK-39543] 如果後援至 v1，則 DataFrameWriterV2 的選項應該傳遞至記憶體屬性
• [SPARK-39564] [SS]將目錄資料表的信息公開至串流查詢中的邏輯計劃
• [SPARK-39582] [SQL]修正的 「Since」 標記 array_agg
• [SPARK-39388][SQL]下推 Orc 述詞時重複使用orcSchema
• [SPARK-39511] [SQL]如果聯結條件是空的，請針對左半/反聯結的右側增強下推本機限制 1
• [SPARK-38614] [SQL]請勿透過使用 percent_rank的視窗下推限制
• [SPARK-39551] [SQL]新增 AQE 無效的計劃檢查
• [SPARK-39383] [SQL]支援 ALTER TABLE 中的 DEFAULT 資料行將 COLUMNS 新增至 V2 資料源
• [SPARK-39538] [SQL]避免建立不必要的 SLF4J 記錄器
• [SPARK-39383] [SQL]手動回送至 DBR 11.x：重構 DEFAULT 資料行支援，以略過傳遞主要分析器
• [SPARK-39397] [SQL]放寬 AliasAwareOutputExpression 以支援具有表達式的別名
• [SPARK-39496] [SQL]在中處理 Null 結構 Inline.eval
• [SPARK-39545][SQL]在 Scala 2.13 中覆ExpressionSet寫 concat 方法來改善效能
• [SPARK-39340] [SQL]DS v2 agg 下推應該允許最上層數據行名稱中的點
• [SPARK-39488] [SQL]簡化 TempResolvedColumn 的錯誤處理
• [SPARK-38846] [SQL]在 Teradata Numeric Type 與 Spark DecimalType 之間新增明確的數據對應
• [SPARK-39520][SQL]Scala 2.13 中的 Override -- 方法ExpressionSet
• [SPARK-39470] [SQL]支援將 ANSI 間隔轉換成小數點
• [SPARK-39477] [SQL]從 SQLQueryTestSuite 的黃金檔案中移除「查詢數目」資訊
• [SPARK-39419] [SQL]修正 ArraySort 以在比較子傳回 Null 時擲回例外狀況
• [SPARK-39061] [SQL]針對輸出屬性正確 Inline 設定可為 Null
• [SPARK-39320] [SQL]支援聚合函數 MEDIAN
• [SPARK-39261] [CORE]改善錯誤訊息的新行格式設定
• [SPARK-39355] [SQL]單一數據行使用引號來建構 UnresolvedAttribute
• [SPARK-39351] [SQL]SHOW CREATE TABLE 應修訂屬性
• [SPARK-37623] [SQL]支援 ANSI 聚合函數：regr_intercept
• [SPARK-39374] [SQL]改善使用者指定資料行清單的錯誤訊息
• [SPARK-39255] [SQL][3.3] 改善錯誤訊息
• [SPARK-39321] [SQL]重構 TryCast 以使用 RuntimeReplaceable
• [SPARK-39406] [PYTHON]接受 createDataFrame 中的 NumPy 陣列
• [SPARK-39267] [SQL]清除 dsl 不必要的符號
• [SPARK-39171] [SQL]統一 Cast 運算式
• [SPARK-28330] [SQL]支援 ANSI SQL：查詢表達式中的結果位移子句
• [SPARK-39203] [SQL]根據資料庫 URI 將數據表位置重寫為絕對 URI
• [SPARK-39313] [SQL] toCatalystOrdering 如果無法翻譯 V2Expression，應該會失敗
• [SPARK-39301] [SQL][PYTHON]利用 Arrow 優化利用 createDataFrame 中的 LocalRelation 和尊重 Arrow 批次大小
• [SPARK-39400] [SQL] spark-sql 在所有情況下都應該移除 hive 資源 dir

維護更新

請參閱 Databricks Runtime 11.2 維護更新。

系統環境

• 操作系統：Ubuntu 20.04.4 LTS
• Java：Zulu 8.56.0.21-CA-linux64
• Scala：2.12.14
• Python：3.9.5
• R：4.1.3
• Delta Lake：2.1.0

已安裝的 Python 程式庫

已安裝的 R 程式庫

R 連結庫會從 2022-08-15 上的 Microsoft CRAN 快照集安裝。

安裝 Java 和 Scala 函式庫 (Scala 2.12 叢群版本)