共用方式為

Databricks Runtime 12.2 LTS

  • 發行項

下列版本資訊提供由 Apache Spark 3.3.2 提供之 Databricks Runtime 12.2 LTS 的相關信息。

Databricks 於 2023 年 3 月發行此版本。

注意

LTS 表示此版本受到長期支援。 請參閱 Databricks Runtime LTS 版本生命週期 (英文)。

提示

若要查看已達到終止支援 (EoS) 之 Databricks Runtime 版本的版本資訊，請參閱終止支援 Databricks Runtime 版本資訊。 EoS Databricks Runtime 版本已淘汰，且可能未更新。

行為變更

[重大變更]新的 Python 版本需要更新 Databricks Connect V1 Python 用戶端

若要套用必要的安全性修補程式，Databricks Runtime 12.2 LTS 中的 Python 版本會從 3.9.5 升級至 3.9.19。 由於這些變更可能會在使用特定 PySpark 函式的用戶端中造成錯誤，因此任何使用 Databricks Connect V1 for Python 與 Databricks Runtime 12.2 LTS 的用戶端都必須更新為 Python 3.9.7 或更新版本。

新功能和改進

Delta Lake 架構演進支援在合併語句中指定源數據行

您現在可以在啟用架構演進時，在插入或更新合併語句的動作中，指定源數據表中存在的數據行。 在 Databricks Runtime 12.1 和以下版本中，只能 INSERT * 使用 或 UPDATE SET * 動作搭配合併進行架構演進。 請參閱 Delta Lake merge 的自動架構演進。

具有共用存取模式的叢集支持結構化串流工作負載

您現在可以使用結構化串流來與共用叢集上的 Unity 目錄互動。 適用某些限制。 請參閱 Unity 目錄支援哪些結構化串流功能？。

預測性 I/O 的新功能

現在已提供接收的 Foreachbatch Photon 支援。 從來源串流並合併到 Delta 數據表或寫入多個接收的工作負載，現在可以受益於 Photonized Foreachbatch 接收。

隱含橫向數據行別名支援

Azure Databricks 現在默認支援隱含橫向數據行別名。 您現在可以重複使用先前在相同 SELECT 清單中指定的運算式。 例如，假設 SELECT 1 AS a為 ，a + 1 AS ba中的 a + 1 可以解析為先前定義的 1 AS a。 如需解析順序的詳細資訊，請參閱 名稱解析 。 若要關閉此功能，您可以將 設定 spark.sql.lateralColumnAlias.enableImplicitResolution 為 false。

新的 forEachBatch 功能

使用 寫入數據接收器時 foreachBatch ，現在支援 Photon。

查詢同盟的標準化連線選項

您現在可以使用一組統一的選項（主機、埠、資料庫、使用者、密碼）來聯機到查詢同盟中支持的數據源。 Port 是選擇性的，除非指定，否則會針對每個數據源使用預設埠號碼。

數位管理的擴充 SQL 函式連結庫

您現在可以使用 array_compact，從數位中移除所有 NULL 元素。 若要將元素附加至陣列，請使用 array_append。

匿名字串的新遮罩函式

叫用mask函式來匿名敏感性字串值。

常見的錯誤狀況現在會傳回 SQLSTATEs

Databricks Runtime 現在包含記載的 SQLSTATE 值，這些值可用來以符合 SQL 標準標準的方式測試錯誤。

在FROM子句中叫用產生器函式

您現在可以叫用數據表值產生器函式，例如在查詢的一般FROM子句中爆炸。 這會將產生器函式調用與其他內建和使用者定義數據表函式對齊。

通訊協議緩衝區的支援已正式推出

您可以使用 from_protobuf 和 to_protobuf 函式，在二進位和結構類型之間交換數據。 請參閱讀取和寫入通訊協定緩衝區。

筆記本變數和函式的 Go-to-definition

在筆記本中，您可以以滑鼠右鍵按兩下變數或函式名稱，快速移至語句背後的%run變數、函式或程式代碼定義。

自動匯入連結庫的筆記本快速修正

Databricks Notebooks 現在提供自動匯入連結庫的快速修正功能。 如果您忘記匯入像 pandas 這樣的連結庫，請將滑鼠停留在底線語法警告上方，然後按兩下 [ 快速修正]，此功能需要在工作區中啟用 Databricks Assistant。

錯誤修正

  • 針對與 update、delete 和 merge 命令相關的空白交易，改善 Delta 提交行為的一致性。 在 WriteSerializable 隔離等級中，不會產生任何變更的命令現在會建立空的認可。 Serializable在隔離等級中，這類空白交易現在不會建立認可。

行為變更

具有新橫向數據行別名功能的行為變更

新的橫向數據行別名功能會在名稱解析期間，針對下列情況引入行為變更：

  • 橫向數據行別名現在優先於具有相同名稱的相互關聯參考。 例如，針對此查詢，內部的 已解析為相互關聯的參考t.c1，但現在會變更為橫向數據行別名 1 AS c1。c1 AS c2 c1 SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1) 查詢現在會傳 NULL回 。
  • 橫向數據行別名現在優先於具有相同名稱的函式參數。 例如，針對函式，CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, xx函式主體中的 已解析為函式參數 x，但變更為函式主體中的橫向數據行別名x + 1。 查詢 SELECT * FROM func(1) 現在會傳 2, 2回 。
  • 若要關閉橫向資料行別名功能，請將 設定 spark.sql.lateralColumnAlias.enableImplicitResolution 為 false。 如需詳細資訊，請參閱 名稱解析。

連結庫升級

  • 升級的 Python 連結庫：
    • filelock from 3.8.2 to 3.9.0
    • joblib 從 1.1.0 到 1.1.1
    • 從 2.6.0 到 2.6.2 的 platformdirs
    • 從 1.0.3 到 1.0.4 的 whatthepatch
  • 升級的 R 連結庫：
    • 類別從 7.3-20 到 7.3-21
    • 從 0.2-18 到 0.2-19 的程式代碼工具
    • MASS 從 7.3-58 到 7.3-58.2
    • nlme 從 3.1-160 到 3.1-162
    • 從 1.8-11 到 1.8-12 的 Rserve
    • 從 3.3.1 到 3.3.2 的 SparkR

行為變更

  • 在建立具有已定義位置的架構時，用戶現在必須擁有 SELECT 和 MODIFY 許可權。

Apache Spark

Databricks Runtime 12.2 包含 Apache Spark 3.3.2。 此版本包含 Databricks Runtime 12.1 （EoS） 中包含的所有 Spark 修正和改善，以及下列對 Spark 進行的其他錯誤修正和改進：

  • [SPARK-42416] [SC-123205][SC-122851][SQL]Dateset 作業不應該再次解析分析的邏輯計劃
  • [SPARK-41848] 還原 “[CHERRY-PICK][12.x][12.1][12.0][SC-120037][CORE] 修正使用 TaskResourceProfile 超排程的工作”
  • [SPARK-42162] [SC-122711][ES-556261]引進 MultiCommutativeOp 運算式做為標準化大型通勤運算式樹狀架構的記憶體優化
  • [SPARK-42406] [SC-122998][PROTOBUF][櫻桃選擇]修正 Protobuf 函式的遞歸深度設定
  • [SPARK-42002] [SC-122476][CONNECT][PYTHON]實作 DataFrameWriterV2
  • [SPARK-41716] [SC-122545][CONNECT]將_catalog_to_pandas重新命名為目錄中的_execute_and_fetch
  • [SPARK-41490] [SC-121774][SQL]將名稱指派給_LEGACY_ERROR_TEMP_2441
  • [SPARK-41600] [SC-122538][SPARK-41623][SPARK-41612][CONNECT]實作 Catalog.cacheTable、isCached 和 uncache
  • [SPARK-42191] [SC-121990][SQL]支援 udf 'luhn_check'
  • [SPARK-42253] [SC-121976][PYTHON]新增測試以偵測重複的錯誤類別
  • [SPARK-42268] [SC-122251][CONNECT][PYTHON]在 protos 中新增 UserDefinedType
  • [SPARK-42231][SC-121841][SQL]變成MISSING_STATIC_PARTITION_COLUMNinternalError
  • [SPARK-42136] [SC-122554]重構 BroadcastHashJoinExec 輸出分割計算
  • [SPARK-42158][SC-121610][SQL]整合到_LEGACY_ERROR_TEMP_1003FIELD_NOT_FOUND
  • [SPARK-42192] [12.x][SC-121820][PYTHON]將 TypeError 從 pyspark/sql/dataframe.py 移轉至 PySparkTypeError
  • [SPARK-35240] 還原 “[SC-118242][SS] 使用 CheckpointFileManager ...
  • [SPARK-41488] [SC-121858][SQL]將名稱指派給_LEGACY_ERROR_TEMP_1176 （和 1177）
  • [SPARK-42232] [SC-122267][SQL]重新命名錯誤類別： UNSUPPORTED_FEATURE.JDBC_TRANSACTION
  • [SPARK-42346] [SC-122480][SQL]在子查詢合併之後重寫相異匯總
  • [SPARK-42306][SC-122539][SQL]整合到_LEGACY_ERROR_TEMP_1317UNRESOLVED_COLUMN.WITH_SUGGESTION
  • [SPARK-42234] [SC-122354][SQL]重新命名錯誤類別： UNSUPPORTED_FEATURE.REPEATED_PIVOT
  • [SPARK-42343][SC-122437][CORE]如果 SparkContext 已停止，請handleBlockRemovalFailure忽略IOException
  • [SPARK-41295] [SC-122442][SPARK-41296][SQL]重新命名錯誤類別
  • [SPARK-42320] [SC-122478][SQL]將名稱指派給_LEGACY_ERROR_TEMP_2188
  • [SPARK-42255] [SC-122483][SQL]將名稱指派給_LEGACY_ERROR_TEMP_2430
  • [SPARK-42156] [SC-121851][CONNECT]SparkConnectClient 現在支援 RetryPolicies
  • [SPARK-38728] [SC-116723][SQL]測試錯誤類別：FAILED_RENAME_PATH
  • [SPARK-40005] [12.X]PySpark 中的獨立範例
  • [SPARK-39347] [SC-122457][SS]錯誤修正事件時間 < 0 的時間範圍計算
  • [SPARK-42336][SC-122458][CORE]在 getOrElse() ResourceAllocator 中使用 而非contains()
  • [SPARK-42125] [SC-121827][CONNECT][PYTHON]Spark Connect 中的 Pandas UDF
  • [SPARK-42217] [SC-122263][SQL]使用 Window 在查詢中支援隱含橫向數據行別名
  • [SPARK-35240] [SC-118242][SS]使用 CheckpointFileManager 進行檢查點檔案操作
  • [SPARK-42294] [SC-122337][SQL]在 V2 資料表的 DESCRIBE 輸出中包含資料行預設值
  • [SPARK-41979] 還原“還原 ”[12.x][SC-121190][SQL] 為錯誤類別中的錯誤訊息新增遺漏的點。」
  • [SPARK-42286] [SC-122336][SQL]使用 CAST 對複雜 expr 的先前 Codegen 程式代碼路徑進行後援
  • [SPARK-42275] [SC-122249][CONNECT][PYTHON]避免使用內建清單、靜態輸入中的聽寫
  • [SPARK-41985] [SC-122172][SQL]集中更多數據行解析規則
  • [SPARK-42126] [SC-122330][PYTHON][CONNECT]接受 Spark Connect 中 Python 純量 UDF 之 DDL 字串中的傳回類型
  • [SPARK-42197] [SC-122328][SC-121514][CONNECT]重複使用 JVM 初始化，並個別設定群組以遠端本機模式設定
  • [SPARK-41575] [SC-120118][SQL]將名稱指派給_LEGACY_ERROR_TEMP_2054
  • [SPARK-41985] 還原 “[SC-122172][SQL] 集中更多數據行解析規則”
  • [SPARK-42123] [SC-122234][SC-121453][SQL]在 DESCRIBE 和 SHOW CREATE TABLE 輸出中包含資料行預設值
  • [SPARK-41985] [SC-122172][SQL]集中更多數據行解析規則
  • [SPARK-42284] [SC-122233][CONNECT]在執行客戶端測試之前，請確定已建置連線伺服器元件 - SBT
  • [SPARK-42239] [SC-121790][SQL]結合 MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
  • [SPARK-42278] [SC-122170][SQL]DS V2 下推支援自行編譯 SortOrder JDBC 方言
  • [SPARK-42259] [SC-122168][SQL]ResolveGroupingAnalytics 應該負責 Python UDAF
  • [SPARK-41979] 還原 “[12.x][SC-121190][SQL] 為錯誤類別中的錯誤訊息新增遺漏的點。
  • [SPARK-42224] [12.x][SC-121708][CONNECT]將 TypeError 遷移至 Spark Connect 函式的錯誤架構
  • [SPARK-41712] [12.x][SC-121189][PYTHON][CONNECT]將 Spark Connect 錯誤移轉至 PySpark 錯誤架構。
  • [SPARK-42119] [SC-121913][SC-121342][SQL]新增內嵌和inline_outer內建數據表值函式
  • [SPARK-41489] [SC-121713][SQL]將名稱指派給_LEGACY_ERROR_TEMP_2415
  • [SPARK-42082] [12.x][SC-121163][SPARK-41598][PYTHON][CONNECT]介紹 PySparkValueError 和 PySparkTypeError
  • [SPARK-42081] [SC-121723][SQL]改善計劃變更驗證
  • [SPARK-42225] [12.x][SC-121714][CONNECT]新增 SparkConnectIllegalArgumentException 以精確地處理 Spark Connect 錯誤。
  • [SPARK-42044] [12.x][SC-121280][SQL]修正 不正確的錯誤訊息 MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
  • [SPARK-42194] [12.x][SC-121712][PS]使用數列建立 DataFrame 時，允許 columns 參數。
  • [SPARK-42078] [12.x][SC-120761][PYTHON]將 JVM 擲回的錯誤移轉至 PySparkException。
  • [SPARK-42133] [12.x][SC-121250]將基本數據集 API 方法新增至 SparkConnect Scala 用戶端
  • [SPARK-41979] [12.x][SC-121190][SQL]在錯誤類別中新增錯誤訊息的遺漏點。
  • [SPARK-42124] [12.x][SC-121420][PYTHON][CONNECT]Spark Connect 中的純量內嵌 Python UDF
  • [SPARK-42051] [SC-121994][SQL]HiveGenericUDF 的 Codegen 支援
  • [SPARK-42257] [SC-121948][CORE]拿掉未使用的變數外部排序器
  • [SPARK-41735] [SC-121771][SQL]使用 MINIMAL 而非 STANDARD for SparkListenerSQLExecutionEnd
  • [SPARK-42236] [SC-121882][SQL]完善 NULLABLE_ARRAY_OR_MAP_ELEMENT
  • [SPARK-42233] [SC-121775][SQL]改善的錯誤訊息 PIVOT_AFTER_GROUP_BY
  • [SPARK-42229] [SC-121856][CORE]遷移 SparkCoreErrors 至錯誤類別
  • [SPARK-42163] [SC-121839][SQL]修正不可折迭陣列索引或對應索引鍵的架構剪除
  • [SPARK-40711] [SC-119990][SQL]新增視窗的溢出大小計量
  • [SPARK-42023] [SC-121847][SPARK-42024][CONNECT][PYTHON]進行 createDataFrame 支持 AtomicType -> StringType 強制
  • [SPARK-42202] [SC-121837][連線][測試]改善 E2E 測試伺服器停止邏輯
  • [SPARK-41167] [SC-117425][SQL]藉由建立平衡的表達式樹狀結構述詞來改善多重類似效能
  • [SPARK-41931] [SC-121618][SQL]較佳的複雜類型定義錯誤訊息
  • [SPARK-36124] [SC-121339][SC-110446][SQL]透過 UNION 支援具有相互關聯的子查詢
  • [SPARK-42090] [SC-121290][3.3] 在 RetryingBlockTransferor 中引進 sasl 重試計數
  • [SPARK-42157] [SC-121264][CORE] spark.scheduler.mode=FAIR 應該提供 FAIR 排程器
  • [SPARK-41572] [SC-120772][SQL]將名稱指派給_LEGACY_ERROR_TEMP_2149
  • [SPARK-41983] [SC-121224][SQL]重新命名和改善的錯誤訊息 NULL_COMPARISON_RESULT
  • [SPARK-41976] [SC-121024][SQL]改善的錯誤訊息 INDEX_NOT_FOUND
  • [SPARK-41994] [SC-121210][SC-120573]指派 SQLSTATE 的 （1/2）
  • [SPARK-41415] [SC-121117][3.3] SASL 要求重試
  • [SPARK-38591] [SC-121018][SQL]新增 flatMapSortedGroups 和 cogroupSorted
  • [SPARK-41975] [SC-120767][SQL]改善的錯誤訊息 INDEX_ALREADY_EXISTS
  • [SPARK-42056] [SC-121158][SQL][PROTOBUF]新增 Protobuf 函式的遺漏選項
  • [SPARK-41984] [SC-120769][SQL]重新命名和改善的錯誤訊息 RESET_PERMISSION_TO_ORIGINAL
  • [SPARK-41948] [SC-121196][SQL]修正錯誤類別的 NPE：CANNOT_PARSE_JSON_FIELD
  • [SPARK-41772] [SC-121176][CONNECT][PYTHON]修正 『s doctest 中 withField不正確的數據行名稱
  • [SPARK-41283] [SC-121175][CONNECT][PYTHON]新增 array_append 至 Connect
  • [SPARK-41960] [SC-120773][SQL]將名稱指派給_LEGACY_ERROR_TEMP_1056
  • [SPARK-42134] [SC-121116][SQL]修正 getPartitionFiltersAndDataFilters（） 來處理沒有參考屬性的篩選
  • [SPARK-42096] [SC-121012][CONNECT]模組的 connect 一些程式代碼清除
  • [SPARK-42099] [SC-121114][SPARK-41845][CONNECT][PYTHON]修正 count(*) 和 count(col(*))
  • [SPARK-42045] [SC-120958][SC-120450][SQL]ANSI SQL 模式：Round/Bround 應該在整數溢位時傳回錯誤
  • [SPARK-42043] [SC-120968][CONNECT]使用 E2E 測試的 Scala 客戶端結果
  • [SPARK-41884] [SC-121022][CONNECT]將元組支援為巢狀數據列
  • [SPARK-42112] [SC-121011][SQL][SS]在函式關閉之前 ContinuousWriteRDD#compute 新增 Null 檢查 dataWriter
  • [SPARK-42077] [SC-120553][CONNECT][PYTHON]常值應該針對不支援的 DataType 擲回 TypeError
  • [SPARK-42108][SC-120898][SQL]將分析器轉換成Count(*)Count(1)
  • [SPARK-41666] [SC-120928][SC-119009][PYTHON]支持參數化的 SQL by sql()
  • [SPARK-40599] [SC-120930][SQL]放寬 multiTransform 規則類型，讓替代項目成為任何類型的 Seq
  • [SPARK-41574] [SC-120771][SQL]更新 _LEGACY_ERROR_TEMP_2009 為 INTERNAL_ERROR。
  • [SPARK-41579] [SC-120770][SQL]將名稱指派給_LEGACY_ERROR_TEMP_1249
  • [SPARK-41974][SC-120766][SQL]變成INCORRECT_END_OFFSETINTERNAL_ERROR
  • [SPARK-41530] [SC-120916][SC-118513][CORE]將 MedianHeap 重新命名為 PercentileMap 並支援百分位數
  • [SPARK-41757] [SC-120608][SPARK-41901][CONNECT]修正 Column 類別的字串表示法
  • [SPARK-42084] [SC-120775][SQL]避免洩漏限定存取限制
  • [SPARK-41973] [SC-120765][SQL]將名稱指派給_LEGACY_ERROR_TEMP_1311
  • [SPARK-42039] [SC-120655][SQL]SPJ：KeyGroupedPartitioning#partitionValuesOpt 中的 Remove 選項
  • [SPARK-42079][SC-120712][CONNECT][PYTHON]為和重新命名 proto 訊息toDFwithColumnsRenamed
  • [SPARK-42089] [SC-120605][CONNECT][PYTHON]修正巢狀 Lambda 函式中的變數名稱問題
  • [SPARK-41982] [SC-120604][SQL]類型字串的數據分割不應視為數值類型
  • [SPARK-40599] [SC-120620][SQL]將 multiTransform 方法新增至 TreeNode 以產生替代專案
  • [SPARK-42085] [SC-120556][CONNECT][PYTHON]建立 from_arrow_schema 支援的巢狀類型
  • [SPARK-42057] [SC-120507][SQL][PROTOBUF]修正錯誤報告中如何處理例外狀況。
  • [SPARK-41586] [12.x][所有測試][SC-120544][PYTHON]PySpark 的引進 pyspark.errors 和錯誤類別。
  • [SPARK-41903] [SC-120543][CONNECT][PYTHON] Literal 應該支援 1-dim ndarray
  • [SPARK-42021] [SC-120584][CONNECT][PYTHON]提出 createDataFrame 支援 array.array
  • [SPARK-41896] [SC-120506][SQL]依數據列索引篩選會傳回空的結果
  • [SPARK-41162] [SC-119742][SQL]使用匯總修正自我聯結的反聯結和半聯結
  • [SPARK-41961] [SC-120501][SQL]使用 LATERAL 支援數據表值函式
  • [SPARK-41752] [SC-120550][SQL][UI]將根執行下的巢狀執行分組
  • [SPARK-42047] [SC-120586][SPARK-41900][CONNECT][PYTHON][12.X]常值應該支援 Numpy 資料類型
  • [SPARK-42028] [SC-120344][CONNECT][PYTHON]截斷 nanoseconds timestampsl
  • [SPARK-42011] [SC-120534][CONNECT][PYTHON]實作DataFrameReader.csv
  • [SPARK-41990][SC-120532][SQL]在 FieldReference.column V1 到 V2 篩選轉換中使用 而不是apply
  • [SPARK-39217] [SC-120446][SQL]使民進黨支援剪除方面有聯盟
  • [SPARK-42076][SC-120551][CONNECT][PYTHON]將因數數據轉換成arrow -> rowsconversion.py
  • [SPARK-42074][SC-120540][SQL]TPCDSQueryBenchmark啟用 KryoSerializer 以強制執行 SQL 類別註冊
  • [SPARK-42012] [SC-120517][CONNECT][PYTHON]實作 DataFrameReader.orc
  • [SPARK-41832] [SC-120513][CONNECT][PYTHON]修正 DataFrame.unionByName，新增allow_missing_columns
  • [SPARK-38651] [SC-120514][SQL]加 spark.sql.legacy.allowEmptySchemaWrite
  • [SPARK-41991] [SC-120406][SQL] CheckOverflowInTableInsert 應該接受 ExpressionProxy 做為子系
  • [SPARK-41232] [SC-120073][SQL][PYTHON]新增array_append函式
  • [SPARK-42041] [SC-120512][SPARK-42013][CONNECT][PYTHON]DataFrameReader 應該支援路徑清單
  • [SPARK-42071][SC-120533][CORE]向 KyroSerializer 註冊scala.math.Ordering$Reverse
  • [SPARK-41986] [SC-120429][SQL]在 SinglePartition 上介紹隨機顯示
  • [SPARK-42016] [SC-120428][CONNECT][PYTHON]啟用與巢狀數據行相關的測試
  • [SPARK-42042] [SC-120427][CONNECT][PYTHON] DataFrameReader 應該支援 StructType 架構
  • [SPARK-42031] [SC-120389][CORE][SQL]清除 remove 不需要覆寫的方法
  • [SPARK-41746] [SC-120463][SPARK-41838][SPARK-41837][SPARK-41835][SPARK-41836][SPARK-41847][CONNECT][PYTHON]建立 createDataFrame(rows/lists/tuples/dicts) 支援的巢狀類型
  • [SPARK-41437] [SC-117601][SQL][所有測試]請勿針對 v1 回寫後援優化輸入查詢兩次
  • [SPARK-41840] [SC-119719][CONNECT][PYTHON]新增遺漏的別名 groupby
  • [SPARK-41846] [SC-119717][CONNECT][PYTHON]啟用視窗函式的文件測試
  • [SPARK-41914] [SC-120094][SQL]FileFormatWriter 在存取 outputOrdering 之前具體化 AQE 方案
  • [SPARK-41805] [SC-119992][SQL]在 WindowSpecDefinition 中重複使用表達式
  • [SPARK-41977] [SC-120269][SPARK-41978][CONNECT]要接受 float 作為自變數的 SparkSession.range
  • [SPARK-42029] [SC-120336][CONNECT]新增 Guava Shading 規則以避免 connect-common 啟動失敗
  • [SPARK-41989] [SC-120334][PYTHON]避免從 pyspark.pandas 中斷記錄設定
  • [SPARK-42003] [SC-120331][SQL]減少 ResolveGroupByAll 中的重複程式代碼
  • [SPARK-41635] [SC-120313][SQL]依所有錯誤報告修正群組
  • [SPARK-41047] [SC-120291][SQL]改善四捨五入的檔
  • [SPARK-41822] [SC-120122][CONNECT]設定 Scala/JVM 用戶端的 gRPC 連線
  • [SPARK-41879] [SC-120264][CONNECT][PYTHON]建立 DataFrame.collect 支援的巢狀類型
  • [SPARK-41887][SC-120268][CONNECT][PYTHON]將接受清單類型參數設為DataFrame.hint
  • [SPARK-41964] [SC-120210][CONNECT][PYTHON]新增不支援的IO函式清單
  • [SPARK-41595] [SC-120097][SQL]支援FROM子句中的產生器函式爆炸/explode_outer
  • [SPARK-41957] [SC-120121][CONNECT][PYTHON]啟用 doctest DataFrame.hint
  • [SPARK-41886] [SC-120141][CONNECT][PYTHON] DataFrame.intersect doctest 輸出有不同的順序
  • [SPARK-41442] [SC-117795][SQL][所有測試]只有在合併有效的計量時，才更新 SQLMetric 值
  • [SPARK-41944] [SC-120046][CONNECT]在本機遠端模式開啟時傳遞設定
  • [SPARK-41708] [SC-119838][SQL]將 v1write 資訊提取至 WriteFiles
  • [SPARK-41780] [SC-120000][SQL]應該擲回INVALID_PARAMETER_VALUE。當參數 regexp 無效時模式
  • [SPARK-41889] [SC-119975][SQL]將根本原因附加至 invalidPatternError 和重構錯誤類別INVALID_PARAMETER_VALUE
  • [SPARK-41860] [SC-120028][SQL]將 AvroScanBuilder 和 JsonScanBuilder 案例類別設為
  • [SPARK-41945] [SC-120010][CONNECT][PYTHON]Python：使用 pyarrow 連接用戶端遺失的數據行數據。Table.to_pylist
  • [SPARK-41690] [SC-119102][SC-119087][SQL][CONNECT]無從驗證編碼器
  • [SPARK-41354] [SC-119995][CONNECT][PYTHON]實作 RepartitionByExpression
  • [SPARK-41581] [SC-119997][SQL]更新 _LEGACY_ERROR_TEMP_1230 為 INTERNAL_ERROR
  • [SPARK-41928] [SC-119972][CONNECT][PYTHON]為新增不支持的清單 functions
  • [SPARK-41933] [SC-119980][CONNECT]提供自動啟動伺服器的本機模式
  • [SPARK-41899] [SC-119971][CONNECT][PYTHON] createDataFrame' 應該尊重使用者提供的 DDL 架構
  • [SPARK-41936][SC-119978][CONNECT][PYTHON]withColumns重複使用 withMetadata Proto
  • [SPARK-41898] [SC-119931][CONNECT][PYTHON]Window.rowsBetween、Window.rangeBetween 參數類型檢查與 pyspark 的同位
  • [SPARK-41939][SC-119977][CONNECT][PYTHON]新增函式不支持的清單catalog
  • [SPARK-41924] [SC-119946][CONNECT][PYTHON]讓 StructType 支援元數據並實作 DataFrame.withMetadata
  • [SPARK-41934] [SC-119967][CONNECT][PYTHON]為新增不支援的函式清單 session
  • [SPARK-41875] [SC-119969][CONNECT][PYTHON]為 新增測試案例 Dataset.to()
  • [SPARK-41824] [SC-119970][CONNECT][PYTHON]使用 doctest 來說明連線
  • [SPARK-41880] [SC-119959][CONNECT][PYTHON]讓函式 from_json 接受非常值架構
  • [SPARK-41927] [SC-119952][CONNECT][PYTHON]為新增不支持的清單 GroupedData
  • [SPARK-41929] [SC-119949][CONNECT][PYTHON]新增函式 array_compact
  • [SPARK-41827] [SC-119841][CONNECT][PYTHON]建立 GroupBy 接受數據行清單
  • [SPARK-41925][SC-119905][SQL]默認為啟用spark.sql.orc.enableNestedColumnVectorizedReader
  • [SPARK-41831] [SC-119853][CONNECT][PYTHON]建立 DataFrame.select 接受數據行清單
  • [SPARK-41455] [SC-119858][CONNECT][PYTHON]讓 DataFrame.collect 捨棄時區資訊
  • [SPARK-41923] [SC-119861][CONNECT][PYTHON]將 新增 DataFrame.writeTo 至不支持的清單
  • [SPARK-41912] [SC-119837][SQL]子查詢不應該驗證 CTE
  • [SPARK-41828] [SC-119832][CONNECT][PYTHON][12.X]讓 createDataFrame 支援空白數據框架
  • [SPARK-41905] [SC-119848][CONNECT]支援在配量中作為字串的名稱
  • [SPARK-41869] [SC-119845][CONNECT]拒絕dropDuplicates中的單一字串
  • [SPARK-41830] [SC-119840][CONNECT][PYTHON]讓 接受 DataFrame.sample 與 PySpark 相同的參數
  • [SPARK-41849] [SC-119835][CONNECT]實作 DataFrameReader.text
  • [SPARK-41861] [SC-119834][SQL]讓 v2 ScanBuilders 組建（） 傳回具類型的掃描
  • [SPARK-41825] [SC-119710][CONNECT][PYTHON]啟用與相關的 doctests DataFrame.show
  • [SPARK-41855] [SC-119804][SC-119410][SPARK-41814][SPARK-41851][SPARK-41852][CONNECT][PYTHON][12.X]正確將句柄設為 createDataFrame None/NaN
  • [SPARK-41833] [SC-119685][SPARK-41881][SPARK-41815][CONNECT][PYTHON]將句柄設為 DataFrame.collect None/NaN/Array/Binary porperly
  • [SPARK-39318] [SC-119713][SQL]移除 tpch-plan-stability WithStats 黃金檔案
  • [SPARK-41791] [SC-119745]新增檔案來源元數據數據行類型
  • [SPARK-41790] [SC-119729][SQL]正確設定 TRANSFORM 讀取器和寫入器的格式
  • [SPARK-41829] [SC-119725][CONNECT][PYTHON]在和 中 Sort 新增遺漏的排序參數 sortWithinPartitions
  • [SPARK-41576] [SC-119718][SQL]將名稱指派給_LEGACY_ERROR_TEMP_2051
  • [SPARK-41821] [SC-119716][CONNECT][PYTHON]修正 DataFrame.describe 的文件測試
  • [SPARK-41871] [SC-119714][CONNECT]DataFrame 提示參數可以是 str、float 或 int
  • [SPARK-41720] [SC-119076][SQL]將 UnresolvedFunc 重新命名為 UnresolvedFunctionName
  • [SPARK-41573] [SC-119567][SQL]將名稱指派給_LEGACY_ERROR_TEMP_2136
  • [SPARK-41862] [SC-119492][SQL]修正 Orc 讀取器中與預設值相關的正確性錯誤
  • [SPARK-41582] [SC-119482][SC-118701][CORE][SQL]重複使用 INVALID_TYPED_LITERAL 而非 _LEGACY_ERROR_TEMP_0022

維護更新

請參閱 Databricks Runtime 12.2 維護更新。

系統環境

  • 作業系統：Ubuntu 20.04.5 LTS
  • Java：Zulu 8.68.0.21-CA-linux64
  • Scala：2.12.15
  • Python：3.9.19
  • R: 4.2.2
  • Delta Lake：2.2.0

已安裝的 Python 程式庫

程式庫 版本 程式庫 版本 程式庫 版本
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 asttokens 2.0.5
attrs 21.4.0 backcall 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 black 22.3.0 bleach 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
click 8.0.4 密碼編譯 3.4.8 cycler 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
decorator 5.1.1 defusedxml 0.7.1 distlib 0.3.6
docstring-to-markdown 0.11 entrypoints 0.4 executing 0.8.3
facets-overview 1.0.0 fastjsonschema 2.16.2 filelock 3.9.0
fonttools 4.25.0 idna 3.3 ipykernel 6.15.3
ipython 8.5.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.1.1 jsonschema 4.4.0 jupyter-client 6.1.12
jupyter_core 4.11.2 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.2 MarkupSafe 2.0.1 matplotlib 3.5.1
matplotlib-inline 0.1.2 mccabe 0.7.0 mistune 0.8.4
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.3.0 nest-asyncio 1.5.5 nodeenv 1.7.0
筆記本 6.4.8 numpy 1.21.5 packaging 21.3
pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.9.0 patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Pillow 9.0.1 pip 21.2.4
platformdirs 2.6.2 plotly 5.6.0 pluggy 1.0.0
prometheus-client 0.13.1 prompt-toolkit 3.0.20 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 7.0.0 pycparser 2.21
pyflakes 2.5.0 Pygments 2.11.2 PyGObject 3.36.0
pyodbc 4.0.32 pyparsing 3.0.4 pyright 1.1.283
pyrsistent 0.18.0 python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.6.0 pytz 2021.3 pyzmq 22.3.0
requests 2.27.1 requests-unixsocket 0.2.0 繩子 0.22.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 61.2.0
six 1.16.0 soupsieve 2.3.1 ssh-import-id 5.10
stack-data 0.2.0 statsmodels 0.13.2 tenacity 8.0.1
terminado 0.13.1 testpath 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornado 6.1
traitlets 5.1.1 typing_extensions 4.1.1 ujson 5.1.0
unattended-upgrades 0.1 urllib3 1.26.9 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.4
wheel 0.37.0 widgetsnbextension 3.6.1 yapf 0.31.0

已安裝的 R 程式庫

R 連結庫會從 2022-11-11 上的 Microsoft CRAN 快照集安裝。

程式庫 版本 程式庫 版本 程式庫 版本
箭號 10.0.0 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.4 bit64 4.0.5 blob 1.2.3
boot 1.3-28 brew 1.0-8 brio 1.1.3
broom 1.0.1 bslib 0.4.1 cachem 1.0.6
callr 3.7.3 caret 6.0-93 cellranger 1.1.0
chron 2.3-58 class 7.3-21 cli 3.4.1
clipr 0.8.0 clock 0.6.1 叢集 2.1.4
codetools 0.2-19 colorspace 2.0-3 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 credentials 1.3.2 curl 4.3.3
data.table 1.14.4 datasets 4.2.2 DBI 1.1.3
dbplyr 2.2.1 遞減 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.30 downlit 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
省略符號 0.3.2 evaluate 0.18 fansi 1.0.3
farver 2.1.1 fastmap 1.1.0 fontawesome 0.4.0
forcats 0.5.2 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.29.0
future.apply 1.10.0 gargle 1.2.1 泛型 0.1.3
gert 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 globals 0.16.1
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.0 graphics 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0.9 hms 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 knitr 1.40
labeling 0.4.2 later 1.3.0 lattice 0.20-45
Lava 1.7.0 生命週期 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 markdown 1.3
MASS 7.3-58.2 矩陣 1.5-1 memoise 2.0.1
方法 4.2.2 mgcv 1.8-41 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.9
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 parallel 4.2.2
parallelly 1.32.1 pillar 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 進度 1.2.2
progressr 0.11.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.1 recipes 1.0.3
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.18 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.2 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.2 spatial 7.3-11 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.8 stringr 1.4.1
survival 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 textshaping 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.1.1 timeDate 4021.106
tinytex 0.42 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.2.2 uuid 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 vroom 1.6.0 waldo 0.4.0
whisker 0.4 withr 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 zip 2.2.2

已安裝 Java 和 Scala 程式庫（Scala 2.12 叢集版本）

群組識別碼 成品識別碼 版本
ANTLR ANTLR 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-js-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.咖啡因 caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 核心 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger 分析工具 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.版
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.6.3
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlet 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 啟用 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake Snowflake DB 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro Avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents HttpClient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.3-databricks-0002
org.apache.parquet parquet-common 1.12.3-databricks-0002
org.apache.parquet parquet-encoding 1.12.3-databricks-0002
org.apache.parquet parquet-format-structure 1.12.3-databricks-0002
org.apache.parquet parquet-hadoop 1.12.3-databricks-0002
org.apache.parquet parquet-jackson 1.12.3-databricks-0002
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper ZooKeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.1.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap 墊片 0.9.25
org.rocksdb rocksdbjni 6.28.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark 未使用的 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1