共用方式為

Databricks Runtime 15.4 LTS

  • 發行項

下列版本資訊提供由 Apache Spark 3.5.0 提供之 Databricks Runtime 15.4 LTS 的相關信息。

Databricks 於 2024 年 8 月發行此版本。

注意

LTS 表示此版本受到長期支援。 請參閱 Databricks Runtime LTS 版本生命週期 (英文)。

提示

若要查看已達到終止支援 (EoS) 之 Databricks Runtime 版本的版本資訊，請參閱終止支援 Databricks Runtime 版本資訊。 EoS Databricks Runtime 版本已淘汰，且可能未更新。

行為變更

VARIANT使用 做為 Python UDF、UDAF 或 UDTF 的輸入或輸出類型會擲回例外狀況

[重大變更] 在 Databricks Runtime 15.3 和更新版本中，呼叫任何 Python 使用者定義函數 （UDF）、使用者定義聚合函數 （UDAF）， 或使用者定義數據表函式 （UDTF），其使用 VARIANT 類型做為自變數或傳回值會擲回例外狀況。 此變更是為了防止因為其中一個函式傳回的值無效而可能發生的問題。 若要深入了解 VARIANT 類型，請參閱使用 VARIANT 來儲存半結構化資料。

變更為用於檢視的預設結構描述繫結模式

檢視現在會透過使用結構描述補償搭配一般投射規則，因應基礎查詢中的結構描述變更。 這是與 BINDING 模式先前預設值不同的變更，在參考檢視時無法執行安全投射時會引發錯誤。

請參閱<CREATE VIEW> 和 <cast 函式>。

不允許使用未記載的 ! 語法， NOT 而不是布爾表達式外部

在此版本中，不再允許使用 ! 做為 NOT 外部布林運算式的同義字。 舉例來說，例如下列的陳述式：CREATE ... IF ! EXISTS, IS ！NULL、! NULL 資料欄或欄位內容 ! IN 以及 ！BETWEEN，必須取代為：CREATE ... IF NOT EXISTS、IS NOT NULL、NOT NULL 資料欄或欄位內容 NOT IN 和 NOT BETWEEN。

這項變更可確保一致性、符合 SQL 標準，並讓您的 SQL 更具可攜性。

布林值前綴運算子!（例如 !is_mgr 或!(true AND false)）不受這項變更影響。

不允許檢視中未記載的資料欄定義語法

Databricks 支援 CREATE VIEW，其中包含具名資料欄和資料欄註解。 先前已經允許資料欄類型、NOT NULL 限制式或 DEFAULT 的規格。 在此版本中，您無法再使用此語法。

這項變更可確保一致性、符合 SQL 標準，並且支援未來的增強功能。

Spark 和 Photon 中Base64譯碼的一致錯誤處理

此版本會變更 Photon 如何處理 Base64 譯碼錯誤，以符合這些錯誤的 Spark 處理方式。 在這些變更之前，Photon 和 Spark 程式代碼產生路徑有時無法引發剖析例外狀況，而 Spark 解譯的執行則正確引發 IllegalArgumentException 或 ConversionInvalidInputError。 此更新可確保 Photon 在 Base64 譯碼錯誤期間一致引發與 Spark 相同的例外狀況，以提供更可預測的可靠錯誤處理。

CHECK在無效的數據行上新增條件約束現在會傳回UNRESOLVED_COLUMN。WITH_SUGGESTION錯誤類別

為提供更實用的錯誤訊息，在 Databricks Runtime 15.3 和更新版本中，ALTER TABLE ADD CONSTRAINT 包含參考無效欄名稱的 CHECK 限制式的陳述式會傳回 UNRESOLVED_COLUMN.WITH_SUGGESTION 錯誤類別。 先前已傳回 INTERNAL_ERROR。

新功能和改進

UTF-8 驗證函式

此版本引進下列函式來驗證 UTF-8 字串：

  • is_valid_utf8 驗證字串是否為有效的 UTF-8 字串。
  • make_valid_utf8 使用替代字元將可能無效的 UTF-8 字串轉換成有效的 UTF-8 字串
  • 如果輸入不是有效的 UTF-8 字串，validate_utf8 會引發錯誤。
  • 如果輸入不是有效的 UTF-8 字串，try_validate_utf8 會傳回 NULL。

具 Scala UDF 的具類型數據集 API

此版本包含已新增對具有 Scala 使用者定義函式之具類型資料集 API 的支援（不包括使用者定義聚合函數）在已啟用 Unity 目錄的計算上使用共用存取模式。 請參閱 具類型的數據集 API。

使用 ALTER TABLE 啟用 UniForm Iceberg

您現在可以在現有的資料表上啟用 UniForm Iceberg，不需重寫資料檔。 請參閱<藉由變更現有的資料表啟用>。

try_url_decode 函式

此版本引進會解碼 URL 編碼字串的 try_url_decode 函式。 如果字串的格式不正確，函式會傳回 NULL 而不是引發錯誤。

選擇性地允許最佳化工具依賴未執行的外部索引鍵限制式

若要改善查詢效能，在 RELY 或是 FOREIGN KEY 資料表中，您現在可以指定有關 限制式的 關鍵字。

針對選擇性覆寫執行的平行作業

使用 replaceWhere 的選擇性覆寫現在可執行同時刪除資料以及插入新資料的作業，以改善查詢效能和叢集使用率。

已經改善使用選擇性覆寫變更資料摘要的效能

在具有變更資料摘要的資料表使用 replaceWhere 的選擇性覆寫，已經不再針對插入資料寫入個別的變更資料檔。 這些作業會使用存在於基礎 Parquet 資料檔中的隱藏 _change_type 欄以記錄變更，而不進行寫入放大。

已改善命令的 COPY INTO 查詢延遲

此版本包含可改善 COPY INTO 命令查詢延遲的變更。 本次改善是藉由讓 RocksDB 狀態儲存區以非同步方式載入狀態所實施。 藉由這項變更的協助，您應該會看到有大型狀態的查詢在開始時間方面有所改善，例如具有大量已內嵌檔案的查詢。

支援刪除檢查限制式資料表功能

您現在可以使用 checkConstraints從 Delta 數據表卸除ALTER TABLE table_name DROP FEATURE checkConstraints資料表功能。 請參閱 停用檢查條件約束。

單一使用者計算支援精細存取控制、具體化檢視和串流資料表 （公開預覽）

啟用無伺服器計算的工作區時，Databricks Runtime 15.4 LTS 會在單一用戶計算上新增微調訪問控制的支援。 當查詢存取下列任一物件時，Databricks Runtime 15.4 LTS 上的單一使用者計算資源會將查詢傳遞至無伺服器計算以執行數據篩選：

  • 在用戶沒有許可權的 SELECT 數據表上定義的檢視。
  • 動態檢視。
  • 已套用數據列篩選或數據行遮罩的數據表。
  • 具體化檢視和串流數據表。

執行 Databricks Runtime 15.3 和以下的單一用戶計算不支持這些查詢。

如需詳細資訊，請參閱 單一用戶計算的精細訪問控制。

擴充對 Java 和 Scala 連結庫的支援

從 Databricks Runtime 15.4 LTS 開始，當您使用 Unity 目錄時，所有與 Databricks Runtime 配套的 Java 和 Scala 連結庫都可以在所有計算存取模式中使用。 若要深入瞭解已啟用 Unity 目錄計算的語言支援，請參閱 Unity 目錄的計算存取模式限制。

擴充對 Scala 數據集作業的支援

在此版本中，使用共用存取模式的 Unity 目錄啟用計算資源支援下列 Scala Dataset 作業：map、mapPartitions、foreachPartition、 flatMapreduce 和 filter。

Scala 已在 Unity Catalog 共用計算正式發行

在此版本中，Scala 已正式推出於已啟用 Unity 目錄的共用存取模式計算上，包括對純量使用者定義函式 （UDF） 的支援。 不支援結構化串流、Hive UDF 和 Hive 使用者定義聚合函數。 如需完整的限制清單，請參閱 Unity 目錄的計算存取模式限制。

使用服務認證對外部雲端服務的 Unity 目錄控管存取權 （公開預覽）

服務認證可讓您使用 Azure 受控識別（MI） 和 Unity 目錄，透過雲端租使用者的服務進行簡單且安全的驗證。 請參閱 使用服務認證管理外部雲端服務的存取權。

錯誤修正

連結庫升級

  • 升級的 Python 連結庫：
    • 從 1.30.1 到 1.30.2 的 azure 核心
    • 從 2.29.0 到 2.31.0 的 google-auth
    • 從 2.16.0 到 2.17.0 的 google-cloud-storage
    • google-resumable-media 從 2.7.0 到 2.7.1
    • googleapis-common-protos，從 1.63.0 到 1.63.2
    • mlflow-skinny 從 2.11.3 到 2.11.4
    • 從 1.23.0 到 1.24.0 的 proto-plus
    • s3transfer 從 0.10.1 到 0.10.2
  • 升級的 R 程式庫：
  • 升級的 Java 程式庫：
    • com.databricks.databricks-sdk-java 從 0.17.1 到 0.27.0
    • com.ibm.icu.icu4j 從 72.1 到 75.1
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider，從 1.6.1-linux-x86_64 到 1.6.2-linux-x86_64

Apache Spark

Databricks Runtime 15.4 LTS 包含 Apache Spark 3.5.0。 此版本包含 Databricks Runtime 15.3 中包含的所有 Spark 修正和改善，以及下列對 Spark 所做的其他錯誤修正和改進：

  • [SPARK-48503] [DBRRM-1150][SC-172196][SQL]如果表達式系結至外部數據列，則允許在純量子查詢中對表達式進行分組
  • [SPARK-48834] [BEHAVE-79][SC-170972][SQL]在查詢編譯期間停用 Python 純量 UDF、UDDF、UDAF 的變數輸入/輸出
  • [SPARK-48441] [SC-170980][SQL][WARMFIX]修正非UTF8_BINARY定序的 StringTrim 行為
  • [SPARK-48440] [SC-170895][SQL][WARMFIX]修正非UTF8_BINARY定序的 StringTranslate 行為
  • [SPARK-48872] [SC-170866][PYTHON]減少_capture_call_site的額外負荷
  • [SPARK-48862][SC-170845][PYTHON][CONNECT]避免在未啟用 INFO 層級時呼叫_proto_to_string
  • [SPARK-48852] [SC-170837][CONNECT]修正 connect 中的字串修剪函式
  • [SPARK-48791] [SC-170658][CORE]使用 CopyOnWriteArrayList 修正累加器註冊額外負荷所造成的效能回歸
  • [SPARK-48118] [SQL]支援 SPARK_SQL_LEGACY_CREATE_HIVE_TABLE env 變數
  • [SPARK-48241] [SC-165811][SQL]具有 char/varchar 類型數據行的 CSV 剖析失敗
  • [SPARK-48168] [SC-166900][SQL]新增位移位運算子支援
  • [SPARK-48148] [SC-165630][CORE]當讀取為 STRING 時，不應該修改 JSON 物件
  • [SPARK-46625] [SC-170561]以Identifier子句作為參考的 CTE
  • [SPARK-48771] [SC-170546][SQL]加速 LogicalPlanIntegrity.validateExprIdUniqueness 大型查詢計劃
  • [SPARK-48831] [BEHAVE-76][SC-170554][CONNECT]讓預設數據行名稱與 cast Spark傳統相容
  • [SPARK-48623] [SC-170544][CORE]結構化記錄移轉[第 2 部分]
  • [SPARK-48296] [SC-166138][SQL]Codegen 支援 to_xml
  • [SPARK-48027] [SC-165154][SQL]適用於多層級聯結的 InjectRuntimeFilter 應該檢查子聯結類型
  • [SPARK-48686] [SC-170365][SQL]改善 ParserUtils.unescapeSQLString 的效能
  • [SPARK-48798][SC-170588][PYTHON]SparkSession 型分析簡介spark.profile.render
  • [SPARK-48048] [SC-169099]還原 “[SC-164846][CONNECT][SS] 已新增對 Scala 的用戶端接聽程序支援”
  • [SPARK-47910] [SC-168929][CORE] 在 DiskBlockObjectWriter closeResources 時關閉數據流，以避免記憶體流失
  • [SPARK-48816] [SC-170547][SQL]UnivocityParser 中間隔轉換器的速記
  • [SPARK-48589] [SC-170132][SQL][SS]將選項 snapshotStartBatchId 和 snapshotPartitionId 新增至狀態數據源
  • [SPARK-48280] [SC-170293][SQL]使用表達式步行改善定序測試介面區
  • [SPARK-48837] [SC-170540][ML] 在 CountVectorizer 中，每個轉換只能讀取二進位參數一次，而不是每個數據列一次
  • [SPARK-48803] [SC-170541][SQL]在 Orc（De）串行化程式中擲回內部錯誤，以配合 ParquetWriteSupport
  • [SPARK-48764] [SC-170129][PYTHON]從使用者堆疊篩選出IPython相關框架
  • [SPARK-48818][SC-170414][PYTHON]簡化函式percentile
  • [SPARK-48479] [SC-169079][SQL]支援在剖析器中建立純量和數據表 SQL UDF
  • [SPARK-48697] [SC-170122][LC-4703][SQL]新增定序感知字串篩選
  • [SPARK-48800] [SC-170409][CONNECT][SS]Deflake ClientStreamingQuerySuite
  • [SPARK-48738][SC-169814][SQL]正確，因為內建 func 別名的版本、random、、、position、mod、cardinalitycurrent_schema、usersession_user、char_lengthcharacter_length
  • [SPARK-48638] [SC-169575][CONNECT]新增 DataFrame 的 ExecutionInfo 支援
  • [SPARK-48064] [SC-164697][SQL]更新例程相關錯誤類別的錯誤訊息
  • [SPARK-48810] [CONNECT]會話停止（） API 應該是等冪的，如果伺服器已經關閉工作階段，則不會失敗
  • [SPARK-48650] [15.x][PYTHON]從 IPython Notebook 顯示正確的通話網站
  • [SPARK-48271] [SC-166076][SQL]將 RowEncoder 中的比對錯誤轉換成 UNSUPPORTED_DATA_TYPE_FOR_ENCODER
  • [SPARK-48709] [SC-169603][SQL]修正 DataSourceV2 CTAS 的 varchar 類型解析不符
  • [SPARK-48792] [SC-170335][SQL]修正 INSERT 的回歸，其中含有部分數據行清單至具有 char/varchar 的數據表
  • [SPARK-48767] [SC-170330][SQL]修正類型數據無效時的 variant 一些錯誤提示
  • [SPARK-48719][SC-170339][SQL]修正 當第一個參數為 null 時 ， 的RegrSlope計算錯誤RegrIntercept
  • [SPARK-48815] [SC-170334][CONNECT]停止聯機會話時更新環境
  • [SPARK-48646] [SC-169020][PYTHON]精簡 Python 數據源 API 檔字串和類型提示
  • [SPARK-48806] [SC-170310][SQL]url_decode失敗時傳遞實際例外狀況
  • [SPARK-47777] [SC-168818] 修正 python 串流數據源聯機測試
  • [SPARK-48732] [SC-169793][SQL]清除已淘汰的 API 使用方式，與 JdbcDialect.compileAggregate
  • [SPARK-48675] [SC-169538][SQL]修正具有定序數據行的快取數據表
  • [SPARK-48623] [SC-169034][CORE]結構化記錄移轉
  • [SPARK-48655] [SC-169542][SQL]SPJ：新增略過匯總查詢的隨機測試
  • [SPARK-48586] [SC-169808][SS]在 load 中建立 RocksDBFileManager 中的檔案對應深層複本，以移除 doMaintenance（） 中的鎖定擷取
  • [SPARK-48799] [Backport][15.x][SC-170283][SS]重構操作員元數據讀取/寫入和呼叫端的版本設定
  • [SPARK-48808] [SC-170309][SQL]修正透過Hive 1.2.1連接thriftserver且結果架構是空的 NPE
  • [SPARK-48715] [SC-170291][SQL]將 UTF8String 驗證整合到定序感知字串函式實作中
  • [SPARK-48747] [SC-170120][SQL]將程式代碼點反覆運算器新增至UTF8String
  • [SPARK-48748] [SC-170115][SQL]UTF8String 中的快取 numChars
  • [SPARK-48744] [SC-169817][Core]記錄項目應該只建構一次
  • [SPARK-46122][SC-164313][SQL]默認設定spark.sql.legacy.createHiveTableByDefault為false
  • [SPARK-48765] [SC-170119][DEPLOY]增強SPARK_IDENT_STRING的預設值評估
  • [SPARK-48759] [SC-170128][SQL]新增 CREATE TABLE AS SELECT 行為變更行為變更的移轉文件，因為 Spark 3.4
  • [SPARK-48598] [SC-169484][PYTHON][CONNECT]在數據框架作業中傳播快取的架構
  • [SPARK-48766][SC-170126][PYTHON]記錄和之間的extraction行為差異element_attry_element_at
  • [SPARK-48768] [SC-170124][PYTHON][CONNECT]不應該快取 explain
  • [SPARK-48770] [Backport][15.x][SC-170133][SS]變更為在驅動程式上讀取運算符元數據一次，以檢查我們是否可以找到用於會話視窗 agg 查詢的 numColsPrefixKey 資訊
  • [SPARK-48656] [SC-169529][CORE]在中執行長度檢查並擲回COLLECTION_SIZE_LIMIT_EXCEEDED錯誤 CartesianRDD.getPartitions
  • [SPARK-48597] [SC-168817][SQL]在邏輯計劃的文字表示法中引進isStreaming屬性的標記
  • [SPARK-48472] [SC-169044][SQL]使用定序字串啟用反映表達式
  • [SPARK-48699] [SC-169597][SQL]精簡定序 API
  • [SPARK-48682] [SC-169812][SQL][BEHAVE-58]在 InitCap 運算式中使用 ICU 進行UTF8_BINARY字串
  • [SPARK-48282] [SC-169813][SQL]改變UTF8_BINARY_LCASE定序的字串搜尋邏輯 （StringReplace， FindInSet）
  • [SPARK-47353] [SC-169599][SQL]啟用Mode表達式的定序支援
  • [SPARK-48320] [SPARK-48490]從 OSS Spark 同步處理最新的記錄特性和測試案例
  • [SPARK-48629] [SC-169479]將剩餘程式代碼遷移至結構化記錄架構
  • [SPARK-48681] [SC-169469][SQL][BEHAVE-58]在下方/上方運算式中使用ICU進行UTF8_BINARY字串
  • [SPARK-48573] [15.x][SC-169582][SQL]升級ICU版本
  • [SPARK-48687] [Backport][15.x][SS]新增變更以針對具狀態查詢執行狀態架構驗證和更新驅動程式
  • [SPARK-47579] [15.x][SC-167310][CORE][PART4]使用變數將logInfo遷移至結構化記錄架構
  • [SPARK-48008] [SC-167363][1/2] 在Spark Connect 中支援UDAF
  • [SPARK-48578] [SC-169505][SQL] 新增 UTF8 字串驗證相關函式
  • [SPARK-48670] [SC-169598][SQL]當指定無效定序名稱時，提供建議做為錯誤訊息的一部分
  • [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPA... …RK-48291] Java 端的結構化記錄架構
  • [SPARK-47599] [15.x][SC-166000][MLLIB]MLLib：將具有變數的logWarn遷移至結構化記錄架構
  • [SPARK-48706] [SC-169589][PYTHON]較高階函式的 Python UDF 不應該擲回內部錯誤
  • [SPARK-48498] [BEHAVE-38][SC-168060][SQL]一律在述詞中執行字元填補
  • [SPARK-48662] [SC-169533][SQL]修正 StructsToXml 運算式與定序
  • [SPARK-48482] [SC-167702][PYTHON][15.x] dropDuplicates 和 dropDuplicatesWIthinWatermark 應該接受可變長度自變數
  • [SPARK-48678] [SC-169463][CORE]SparkConf.get 的效能優化（ConfigEntry）
  • [SPARK-48576] [SQL]將UTF8_BINARY_LCASE重新命名為 UTF8_LCASE
  • [SPARK-47927] [SC-164123][SQL]： 修正 UDF 譯碼器中的 Null 屬性
  • [SPARK-47579] [SC-165297][CORE][PART1]使用變數將 logInfo 遷移至結構化記錄架構 （新增）
  • [SPARK-48695] [SC-169473][PYTHON] TimestampNTZType.fromInternal 不使用已被取代的方法
  • [SPARK-48431] [SC-167290][LC-4066][SQL]不要將定序數據行上的述詞轉送至檔案讀取器
  • [SPARK-47579] 將 “[SC-165297][CORE][PART1] 將 logInfo 與變數遷移至結構化記錄架構”
  • [SPARK-47585] [SC-164306][SQL]SQL 核心：使用變數將logInfo遷移至結構化記錄架構
  • [SPARK-48466] [SC-169042][SQL]在 AQE 中建立 EmptyRelation 的專用節點
  • [SPARK-47579] [SC-165297][CORE][PART1]使用變數將logInfo遷移至結構化記錄架構
  • [SPARK-48410] [SC-168320][SQL]修正 UTF8_BINARY_LCASE和ICU定序的InitCap表達式
  • [SPARK-48318] [SC-167709][SQL]開啟所有定序的哈希聯結支援 （複雜類型）
  • [SPARK-48435] [SC-168128][SQL]UNICODE 定序不應支援二進位相等
  • [SPARK-48555] [SC-169041][SQL][PYTHON][CONNECT]支援在 pyspark/scala 中使用資料行作為數個函式的參數
  • [SPARK-48591] [SC-169081][PYTHON]新增協助程式函式以簡化 Column.py
  • [SPARK-48574] [SC-169043][SQL]修正具有定序的 StructTypes 支援
  • [SPARK-48305] [SC-166390][SQL]新增 CurrentLike 表達式的定序支援
  • [SPARK-48342] [SC-168941][SQL]SQL 文稿剖析器簡介
  • [SPARK-48649] [SC-169024][SQL]新增 「ignoreInvalidPartitionPaths」 和 “spark.sql.files.ignoreInvalidPartitionPaths” 組態，以允許忽略無效的數據分割路徑
  • [SPARK-48000] [SC-167194][SQL]開啟所有定序的哈希聯結支援 （StringType）
  • [SPARK-48459] [SC-168947][CONNECT][PYTHON]在 Spark Connect 中實作 DataFrameQueryContext
  • [SPARK-48602] [SC-168692][SQL]使用 spark.sql.binaryOutputStyle 讓 csv 產生器支援不同的輸出樣式
  • [SPARK-48283] [SC-168129][SQL]修改UTF8_BINARY_LCASE的字串比較
  • [SPARK-48610] [SC-168830][SQL] 重構：使用輔助 idMap 而非OP_ID_TAG
  • [SPARK-48634] [SC-169021][PYTHON][CONNECT]避免在 ExecutePlanResponseReattachableIterator 上以靜態方式初始化線程集區
  • [SPARK-47911] [SC-164658][SQL]引進通用 BinaryFormatter，讓二進位輸出保持一致
  • [SPARK-48642] [SC-168889][CORE]False SparkOutOfMemoryError 造成漏油工作
  • [SPARK-48572] [SC-168844][SQL]修正 DateSub、DateAdd、WindowTime、TimeWindow 和 SessionWindow 表達式
  • [SPARK-48600] [SC-168841][SQL]修正 FrameLessOffsetWindowFunction 運算式隱含轉換
  • [SPARK-48644] [SC-168933][SQL]執行長度檢查，並在 Hex.hex 中擲回COLLECTION_SIZE_LIMIT_EXCEEDED錯誤
  • [SPARK-48587] [SC-168824][VARIANT]避免存取子 Variant 時的記憶體放大
  • [SPARK-48647][SC-168936][PYTHON][CONNECT]精簡 中的錯誤訊息YearMonthIntervalTypedf.collect
  • [SPARK-48307] [SC-167802][SQL]InlineCTE 應該在原始WithCTE節點中保留非內嵌關係
  • [SPARK-48596] [SC-168581][SQL]計算長十六進位字串的效能改進
  • [SPARK-48621] [SC-168726][SQL]修正優化器中已定序字串的簡化方式
  • [SPARK-47148] [SC-164179][SQL]避免在取消時具體化 AQE ExchangeQueryStageExec
  • [SPARK-48584] [SC-168579][SQL]unescapePathName 的 Perf 改進
  • [SPARK-48281] [SC-167260][SQL]改變UTF8_BINARY_LCASE定序的字串搜尋邏輯 （StringInStr， SubstringIndex）
  • [SPARK-48577] [SC-168826][SQL]無效的 UTF-8 位元組序列取代
  • [SPARK-48595] [SC-168580][CORE]清除已淘汰的 API 使用方式，與 commons-compress
  • [SPARK-48030] [SC-164303][SQL]SPJ：Cache rowOrdering 和 structType for InternalRowComparableWrapper
  • [SPARK-48004] [SC-164005][SQL]新增 v1 寫入的 WriteFilesExecBase 特性
  • [SPARK-48551] [SC-168438][SQL]escapePathName 的 Perf 改進
  • [SPARK-48565] [SC-168437][UI]修正UI中的線程傾印顯示
  • [SPARK-48364] [SC-166782][SQL]新增 AbstractMapType 類型轉換並修正 RaiseError 參數對應，以使用定序字串
  • [SPARK-48421] [SC-168689][SQL]SPJ：新增檔
  • [SPARK-48604] [SC-168698][SQL]取代已被 new ArrowType.Decimal(precision, scale) 取代的方法呼叫
  • [SPARK-46947] [SC-157561][CORE]延遲記憶體管理員初始化，直到載入驅動程式外掛程式外掛程式插件為止
  • [SPARK-48411] [SC-168576][SS][PYTHON]新增DropDuplicateWithinWatermark的 E2E 測試
  • [SPARK-48543] [SC-168697][SS]使用明確錯誤類別追蹤狀態數據列驗證失敗
  • [SPARK-48221] [SC-167143][SQL]改變UTF8_BINARY_LCASE定序的字串搜尋邏輯（Contains、StartsWith、EndsWith、StringLocate）
  • [SPARK-47415] [SC-168441][SQL]新增 Levenshtein 表達式的定序支援
  • [SPARK-48593] [SC-168719][PYTHON][CONNECT]修正 Lambda 函式的字串表示
  • [SPARK-48622] [SC-168710][SQL] 解析數據行名稱時取得 SQLConf 一次
  • [SPARK-48594] [SC-168685][PYTHON][CONNECT]將欄位重新命名 parent 為 child in ColumnAlias
  • [SPARK-48403] [SC-168319][SQL]修正UTF8_BINARY_LCASE和ICU定序的下層和上限表達式
  • [SPARK-48162] [SC-166062][SQL]新增 MISC 表達式的定序支援
  • [SPARK-48518] [SC-167718][CORE]讓 LZF 壓縮能夠平行執行
  • [SPARK-48474] [SC-167447][CORE]修正登入 SparkSubmitArguments 的類別名稱 & SparkSubmit
  • [SPARK-48012] [SC-168267][SQL]SPJ：支援單端隨機顯示之 Transfrom 表達式
  • [SPARK-48552] [SC-168212][SQL] 多行 CSV 架構推斷也應該擲回FAILED_READ_FILE
  • [SPARK-48560] [SC-168268][SS][PYTHON]將 StreamingQueryListener.spark 設定為可設定
  • [SPARK-48569] [SC-168321][SS][CONNECT]處理 query.name 中的邊緣案例
  • [SPARK-47260] [SC-167323][SQL]將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_3250
  • [SPARK-48564] [SC-168327][PYTHON][CONNECT]在集合作業中傳播快取的架構
  • [SPARK-48155] [SC-165910][SQL]AQEPropagateEmptyRelation 的聯結應該檢查是否只保留子系為 BroadcastQueryStageExec
  • [SPARK-48506] [SC-167720][CORE]壓縮編解碼器簡短名稱不區分大小寫，但事件記錄除外
  • [SPARK-48447] [SC-167607][SS]先檢查狀態存放區提供者類別，再叫用建構函式
  • [SPARK-47977] [SC-167650]DateTimeUtils.timestampDiff 和 DateTimeUtils.timestampAdd 不應該擲回INTERNAL_ERROR例外狀況
  • [SPARK-48513] [Backport][15.x][SC-168085][SS]新增狀態架構相容性和次要重構的錯誤類別
  • [SPARK-48413] [SC-167669][SQL]具有定序的 ALTER COLUMN
  • [SPARK-48561] [SC-168250][PS][CONNECT]擲 PandasNotImplementedError 回不支援的繪圖函式
  • [SPARK-48465] [SC-167531][SQL]避免無作業空白關聯傳播
  • [SPARK-48553] [SC-168166][PYTHON][CONNECT]快取更多屬性
  • [SPARK-48540] [SC-168069][CORE]避免常春藤輸出載入設定至 stdout
  • [SPARK-48535] [SC-168057][SS]如果已啟用數據流聯結設定的 Null，更新組態檔以指出資料遺失/損毀問題的可能性
  • [SPARK-48536] [SC-168059][PYTHON][CONNECT]在 applyInPandas 和 applyInArrow 中快取使用者指定的架構
  • [SPARK-47873] [SC-163473][SQL]使用一般字串類型將定序字串寫入Hive中繼存放區
  • [SPARK-48461] [SC-167442][SQL]將 NullPointerExceptions 取代為 AssertNotNull 運算式中的錯誤類別
  • [SPARK-47833] [SC-163191][SQL][CORE]提供 checkAndGlobPathIfNecessary AnalysisException 的呼叫端 stackstraceces
  • [SPARK-47898] [SC-163146][SQL]埠 HIVE-12270：將 DBTokenStore 支援新增至 HS2 委派令牌
  • [SPARK-47578] [SC-167497][R] 使用變數將 RPackageUtils 遷移至結構化記錄架構
  • [SPARK-47875] [SC-162935][CORE]刪除 spark.deploy.recoverySerializer
  • [SPARK-47552] [SC-160880][CORE]如果遺漏，請將 設定 spark.hadoop.fs.s3a.connection.establish.timeout 為 30s
  • [SPARK-47972] [SC-167692][SQL]限制定序的 CAST 運算式
  • [SPARK-48430] [SC-167489][SQL]修正對應包含定序字串時的地圖值擷取
  • [SPARK-47318] [SC-162712][CORE][3.5] 將 HKF round 新增至 AuthEngine 密鑰衍生，以遵循標準 KEX 做法
  • [SPARK-48503] [BEHAVE-29][ES-1135236][SQL]修正在未正確允許的非對等數據行上使用 group-by 的無效純量子查詢
  • [SPARK-48508] [SC-167695][CONNECT][PYTHON]在中快取使用者指定的架構 DataFrame.{to, mapInPandas, mapInArrow}
  • [SPARK-23015] [SC-167188][WINDOWS]修正 Windows 中的 Bug，其中在同一秒內啟動多個 Spark 實例會導致失敗
  • [SPARK-45891] [SC-167608]還原 “描述 Variant 的粉碎配置”
  • [SPARK-48391] [SC-167554][CORE]在 TaskMetrics 類別的AccumulatorInfos 方法中使用 addAll 而不是 add 函式
  • [SPARK-48496] [SC-167600][CORE]在 JavaUtils.timeStringAs 和 JavaUtils.byteStringAs 中使用靜態 regex 模式實例
  • [SPARK-48476] [SC-167488][SQL] 修正 null delmiter csv 的 NPE 錯誤訊息
  • [SPARK-48489] [SC-167598][SQL]從文字數據源讀取非法架構時，擲回更好的使用者面向錯誤
  • [SPARK-48471] [SC-167324][CORE]改善記錄伺服器的檔和使用指南
  • [SPARK-45891] [SC-167597]描述 Variant 的粉碎配置
  • [SPARK-47333] [SC-159043][SQL]使用 checkInputDataTypes 來檢查函式的參數類型 to_xml
  • [SPARK-47387] [SC-159310][SQL]拿掉一些未使用的錯誤類別
  • [SPARK-48265] [ES-1131440][SQL]推斷視窗群組限制批次應該執行常數折疊
  • [SPARK-47716] [SC-167444][SQL]避免 SQLQueryTestSuite 語意排序測試案例中的檢視名稱衝突
  • [SPARK-48159] [SC-167141][SQL]擴充對 datetime 運算式上定序字串的支援
  • [SPARK-48462] [SC-167271][SQL][測試]在測試中搭配SQLConf 使用：重構 HiveQuerySuite 和 HiveTableScanSuite
  • [SPARK-48392][SC-167195][CORE]提供時也會載入spark-defaults.conf--properties-file
  • [SPARK-48468] [SC-167417]在催化劑中新增LogicalQueryStage介面
  • [SPARK-47578] [SC-164988][CORE]手動備份 Spark PR #46309：使用變數將 logWarning 遷移至結構化記錄架構
  • [SPARK-48415] [SC-167321]還原 “[PYTHON] 重構 TypeName 以支持參數化數據類型”
  • [SPARK-46544] [SC-151361][SQL]使用數據表統計數據支援 v2 DESCRIBE TABLE EXTENDED
  • [SPARK-48325] [SC-166963][CORE]一律在 ExecutorRunner.killProcess 中指定訊息
  • [SPARK-46841] [SC-167139][SQL]新增ICU地區設定和定序規範的定序支援
  • [SPARK-47221] [SC-157870][SQL]使用 CsvParser 到 AbstractParser 的簽章
  • [SPARK-47246][SC-158138][SQL]InternalRow.fromSeq將取代new GenericInternalRow為 以儲存集合轉換
  • [SPARK-47597] [SC-163932][串流]Spark PR 的手動回送 #46192：串流：使用變數將 logInfo 遷移至結構化記錄架構
  • [SPARK-48415] [SC-167130][PYTHON]重構 TypeName 以支持參數化數據類型
  • [SPARK-48434] [SC-167132][PYTHON][CONNECT]使用 printSchema 快取的架構
  • [SPARK-48432] [ES-1097114][SQL]避免在 UnivocityParser 中取消箱整數
  • [SPARK-47463] [SC-162840][SQL]使用 V2Predicate 來包裝具有布爾值傳回類型的表達式
  • [SPARK-47781] [SC-162293][SQL]處理 JDBC 數據源的負小數位數
  • [SPARK-48394] [SC-166966][CORE]mapoutput unregister 上的 Cleanup mapIdToMapIndex
  • [SPARK-47072] [SC-156933][SQL]修正錯誤訊息中支援的間隔格式
  • [SPARK-47001] [SC-162487][SQL]優化工具中的下推驗證
  • [SPARK-48335] [SC-166387][PYTHON][CONNECT]與 _parse_datatype_string Spark Connect相容
  • [SPARK-48329][SC-166518][SQL]默認為啟用spark.sql.sources.v2.bucketing.pushPartValues.enabled
  • [SPARK-48412] [SC-166898][PYTHON]重構數據類型 json 剖析
  • [SPARK-48215] [SC-166781][SQL]在 date_format 表示式上擴充對定序字串的支援
  • [SPARK-45009] [SC-166873][SQL][待處理]在聯結條件中加入參考兩個聯結子查詢之述詞子查詢的譯碼錯誤類別和測試
  • [SPARK-47960] [SC-165295][SS][15.x]允許在 transformWithState 運算符之後鏈結其他具狀態運算符。
  • [SPARK-48340] [SC-166468][PYTHON]支援 TimestampNTZ 推斷架構遺漏prefer_timestamp_ntz
  • [SPARK-48157] [SC-165902][SQL]新增 CSV 表達式的定序支援
  • [SPARK-48158] [SC-165652][SQL]新增 XML 表達式的定序支援
  • [SPARK-48160] [SC-166064][SQL]新增 XPATH 表達式的定序支援
  • [SPARK-48229] [SC-165901][SQL]新增 inputFile 表達式的定序支援
  • [SPARK-48367] [SC-166487][CONNECT]修正 scalafmt 的 lint-scala 以偵測要正確格式化的檔案
  • [SPARK-47858] [SC-163095][SPARK-47852][PYTHON][SQL]重構 DataFrame 錯誤內容的結構
  • [SPARK-48370] [SC-166787][CONNECT]Scala Spark Connect 用戶端中的檢查點和localCheckpoint
  • [SPARK-48247] [SC-166028][PYTHON]推斷 MapType 架構時，請使用聽寫中的所有值
  • [SPARK-48395] [SC-166794][PYTHON]修正 StructType.treeString 參數化類型
  • [SPARK-48393] [SC-166784][PYTHON]將常數群組移至 pyspark.util
  • [SPARK-48372] [SC-166776][SPARK-45716][PYTHON]實現 StructType.treeString
  • [SPARK-48258] [SC-166467][PYTHON][CONNECT]Spark Connect 中的檢查點和 localCheckpoint

請參閱 Databricks Runtime 15.4 LTS 維護更新。

系統環境

  • 操作系統：Ubuntu 22.04.4 LTS
  • Java：Zulu 8.78.0.19-CA-linux64
  • Scala：2.12.18
  • Python：3.11.0
  • R：4.3.2
  • Delta Lake：3.2.0

已安裝的 Python 程式庫

程式庫 版本 程式庫 版本 程式庫 版本
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.2
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
click 8.0.4 cloudpickle 2.2.1 comm 0.1.2
contourpy 1.0.5 cryptography 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0.4 executing 0.8.3 facets-overview 1.1.1
filelock 3.13.4 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.31.0
google-cloud-core 2.4.1 google-cloud-storage 2.17.0 google-crc32c 1.5.0
google-resumable-media 2.7.1 googleapis-common-protos 1.63.2 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 packaging 23.2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.24.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6.0 pyzmq 23.2.0
requests 2.31.0 rsa 4.9 s3transfer 0.10.2
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 six 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.0 tenacity 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 unattended-upgrades 0.1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
wheel 0.38.4 zipp 3.11.0

已安裝的 R 程式庫

R 連結庫會從 Posit 封裝管理員 CRAN 快照集安裝。

程式庫 版本 程式庫 版本 程式庫 版本
箭號 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 boot 1.3-28
brew 1.0-10 brio 1.1.4 broom 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.2 clipr 0.8.0
clock 0.7.0 叢集 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compiler 4.3.2
config 0.3.2 衝突 1.2.0 cpp11 0.4.7
crayon 1.5.2 credentials 2.0.1 curl 5.2.0
data.table 1.15.0 datasets 4.3.2 DBI 1.2.1
dbplyr 2.4.0 遞減 1.4.3 devtools 2.4.5
圖表 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 省略符號 0.3.2 evaluate 0.23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 gargle 1.5.2
泛型 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 多汁 0.1.0
KernSmooth 2.23-21 knitr 1.45 labeling 0.4.3
later 1.3.2 lattice 0.21-8 Lava 1.7.3
生命週期 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
矩陣 1.5-4.1 memoise 2.0.1 方法 4.3.2
mgcv 1.8-42 mime 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 進度 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactable 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 rematch 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spatial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
survival 3.5-5 Swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0.49 tools 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

安裝 Java 和 Scala 函式庫 (Scala 2.12 叢群版本)

群組識別碼 成品識別碼 版本
ANTLR ANTLR 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-js-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.咖啡因 caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 原生
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system java 1.1 原生
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 原生
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1 原生
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger 分析工具 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.版
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber H3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.1.1
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlet 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 啟用 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro Avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents HttpClient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper ZooKeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap 墊片 0.9.45-databricks
org.rocksdb rocksdbjni 8.11.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest 相容 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.2-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1