Databricks Runtime 15.2
下列版本資訊提供由 Apache Spark 3.5.0 提供之 Databricks Runtime 15.2 的相關信息。
Databricks 於 2024 年 5 月發行此版本。
提示
若要查看已達到終止支援 (EoS) 之 Databricks Runtime 版本的版本資訊,請參閱終止支援 Databricks Runtime 版本資訊。 EoS Databricks Runtime 版本已淘汰,且可能未更新。
行為變更
清理 COPY INTO 元數據檔案
在寫入的數據表上執行 COPY INTO
,現在會清除與追蹤內嵌檔案相關聯的未參考元數據。 對的作業語意 COPY INTO
沒有任何影響。
Lakehouse Federation 已正式發行 (GA)
在 Databricks Runtime 15.2 和更新版本中, 下列資料庫類型的 Lakehouse 同盟 連接器已正式推出(GA):
- MySQL
- PostgreSQL
- Amazon Redshift
- Snowflake
- Microsoft SQL Server
- Azure Synapse (SQL 資料倉儲)
- Databricks
此版本也引入了下列改善:
支援 Snowflake 和 Microsoft SQL Server 連接器中的單一登入 (SSO) 驗證。
來自無伺服器計算環境的 SQL Server 連接器的 Azure Private Link 支援。 請參閱步驟 3:建立私人端點規則。
對於其他下推 (字串、數學及其他函式) 的支援。
已改善不同查詢圖形的下推成功率。
其他下推偵錯功能:
-
EXPLAIN FORMATTED
輸出會顯示下推查詢文字。 - 查詢設定檔 UI 會顯示下推查詢文字、聯合節點識別碼和 JDBC 查詢執行次數 (詳細資訊模式)。 請參閱<檢視系統產生的同盟查詢>。
-
BY POSITION
用於搭配無標頭 CSV 檔案的數據 COPY INTO
行對應
在 Databricks Runtime 15.2 和更新版本中,您可以 BY POSITION
搭配 使用關鍵詞(或替代語法 ( col_name [ , <col_name> ... ] )
),將無標頭 CSV 檔案簡化 COPY INTO
源數據行以目標數據表數據行對應。 請參閱 參數。
當 Spark 工作失敗併發生 Resubmitted
錯誤時減少記憶體耗用量
在 Databricks Runtime 15.2 和更新版本中,當工作失敗併發生錯誤時,Spark TaskInfo.accumulables()
方法的傳回值是空的 Resubmitted
。 先前,方法會傳回先前成功工作嘗試的值。 此行為變更會影響下列取用者:
- 使用類別的
EventLoggingListener
Spark工作。 - 自定義Spark接聽程式。
若要還原為先前的行為,請將 spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled
設定為 false
。
已停用檢視調適性查詢執行計劃版本
為了減少記憶體耗用量,現在 Spark UI 中預設會停用調適型查詢執行 (AQE) 計劃版本。 若要在 Spark UI 中啟用檢視 AQE 方案版本,請將 設定 spark.databricks.sql.aqe.showPlanChangesInUI.enabled
為 true
。
保留查詢的限制會降低,以減少Spark UI記憶體使用量
在 Databricks Runtime 15.2 和更新版本中,若要減少 Azure Databricks 計算中 Spark UI 所耗用的記憶體,UI 中可見查詢數目的限制從 1000 降低到 100。 若要變更限制,請使用 spark.sql.ui.retainedExecutions
Spark組態來設定新的值。
DESCRIBE HISTORY
現在會顯示用於使用液體叢集資料表的叢集資料欄
當您執行 DESCRIBE HISTORY
查詢時,operationParameters
欄預設會顯示用於 clusterBy
和 CREATE OR REPLACE
作業的 OPTIMIZE
欄位。 對於使用液體叢集的 Delta 資料表,clusterBy
欄位會填入資料表的叢集欄。 如果資料表不使用液體叢集,則欄位會是空的。
新功能和改進
主要和外鍵的支援為 GA
對於 Databricks Runtime 中主索引鍵和外部索引鍵的支援已正式發行。 GA 版本包含下列使用主索引鍵和外部索引鍵所需權限的變更:
- 若要定義外部索引鍵,您必須對於包含外部索引鍵所參考的主索引鍵的資料表擁有
SELECT
權限。 您不需要擁有包含主索引鍵的資料表,但是過去則需要擁有。 - 使用
CASCADE
子句刪除主索引鍵不需要定義參考主要索引鍵的外部索引鍵的資料表權限。 過去您則需要擁有參考資料表。 - 刪除包含限制式的資料表現在需要與刪除不包含限制式的資料表擁有相同權限。
若要瞭解如何將主要和外部索引鍵與資料表或檢視搭配使用,請參閱 CONSTRAINT 子句、ADD CONSTRAINT 子句和 DROP CONSTRAINT 子句。
液體叢集是 GA
現在已使用 Databricks Runtime 15.2 和更新版本正式發行對液體叢集的支援。 請參閱<針對差異資料表使用液態叢集>。
類型擴大處於公開預覽狀態
您現在可以在 Delta Lake 支援的資料表上啟用類型擴展。 啟用類型擴展的資料表允許將資料欄類型變更為較寬的資料類型,而不需要重寫基礎資料檔。 請參閱類型擴展。
已新增至 SQL 合併語法的結構描述演進子句
您現在可以將 WITH SCHEMA EVOLUTION
子句新增至 SQL 合併陳述式,以便啟用作業的結構描述演進。 請參閱<合併的結構描述演進語法>。
PySpark 自定義數據源可在公開預覽中取得
您可以使用 Python (PySpark) DataSource API 來建立 PySpark DataSource,以便從自定義數據源讀取,並使用 Python 寫入 Apache Spark 中的自定義數據接收器。 請參閱 PySpark 自定義數據源
applyInPandas 和 mapInPandas 現在可在具有共用存取模式的 Unity 目錄計算上使用
作為 Databricks Runtime 14.3 LTS 維護版本的一部分, applyInPandas
現在 mapInPandas
在執行 Databricks Runtime 14.3 和更新版本的共用存取模式計算上支援 UDF 類型。
使用 dbutils.widgets.getAll() 取得筆記本中的所有小工具
用來dbutils.widgets.getAll()
取得筆記本中的所有小工具值。 將多個 Widget 值傳遞至 Spark SQL 查詢時,這特別有用。
Vacuum 詳細目錄支援
在 Delta 資料表上執行 VACUUM
命令時,您現在可以指定要考慮的檔案詳細目錄。 請參閱 <OSS Delta 文件>。
支援 Zstandard 壓縮函式
您現在可以使用 zst_compress、zstd_decompress 和 try_zstd_decompress 函式壓縮與解壓縮 BINARY
資料。
錯誤修正
SQL UI 中的查詢計劃現在已正確顯示 PhotonWriteStage
在 SQL UI 中顯示時,查詢計劃中的 write
命令會錯誤地將 PhotonWriteStage
顯示顯示為運算子。 在此版本中,UI 已更新成將 PhotonWriteStage
顯示為階段。 這只是 UI 變更,不會影響執行查詢的方式。
Ray 已更新以修正啟動Ray叢集的問題
此版本包含已修補的 Ray 版本,可修正重大變更,以防止 Ray 叢集從 databricks Runtime for 機器學習 開始。 這項變更可確保 Ray 功能與 15.2 之前的 Databricks Runtime 版本相同。
已更正和 DataFrame.sort()
函式的錯誤類別DataFrame.sortWithinPartitions()
此版本包含 PySpark DataFrame.sort()
和 DataFrame.sortWithinPartitions()
函式的更新,以確保 ZERO_INDEX
在傳遞為索引自變數時 0
擲回錯誤類別。 先前,已擲回錯誤類別 INDEX_NOT_POSITIVE
。
ipywidgets 從 8.0.4 降級為 7.7.2
若要修正將 ipywidgets 升級至 Databricks Runtime 15.0 中 8.0.4 所產生的錯誤,ipywidgets 已降級為 Databricks Runtime 15.2 中的 7.7.2。 這是先前 Databricks Runtime 版本中所包含的相同版本。
連結庫升級
- 升級的 Python 連結庫:
- 從 3.1.42 到 3.1.43 的 GitPython
- 從 2.17.1 到 2.18.0 的 google-api-core
- 從 2.28.1 到 2.29.0 的 google-auth
- 從 2.15.0 到 2.16.0 的 google-cloud-storage
- googleapis-common-protos,從 1.62.0 到 1.63.0
- ipywidgets 從 8.0.4 到 7.7.2
- mlflow-skinny from 2.11.1 to 2.11.3
- s3transfer 從 0.10.0 到 0.10.1
- 從 0.4.4 到 0.5.0 的 sqlparse
- 從 4.7.1 到 4.10.0 typing_extensions
- 升級的 R 程式庫:
- 升級的 Java 程式庫:
- com.amazonaws.aws-java-sdk-autoscaling 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-cloudformation,從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-cloudfront 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-cloudhsm,從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-cloudsearch 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-cloudtrail,從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-cloudwatch,從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-cloudwatchmetrics,從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-codedeploy,從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-cognitoidentity 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-cognitosync,從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-config,從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-core 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-datapipeline 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-directconnect 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-directory,從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-dynamodb 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-ec2,從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-ecs,從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-efs,從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-elasticache 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-elasticbeanstalk,從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-elasticloadbalancing from 1.12.390 to 1.12.610
- com.amazonaws.aws-java-sdk-elastictranscoder,從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-emr,從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-glacier from 1.12.390 to 1.12.610
- com.amazonaws.aws-java-sdk-glue 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-iam,從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-importexport 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-kinesis,從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-kms,從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-lambda,從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-logs 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-machinelearning 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-opsworks,從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-rds,從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-redshift 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-route53,從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-s3,從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-ses,從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-simpledb,從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-simpleworkflow 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-sns,從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-sqs,從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-ssm,從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-storagegateway 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-sts,從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-support,從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-workspaces from 1.12.390 到 1.12.610
- com.amazonaws.jmespath-java,從 1.12.390 到 1.12.610
Apache Spark
Databricks Runtime 15.2 包含 Apache Spark 3.5.0。 此版本包含 Databricks Runtime 15.1 (EoS) 中包含的所有 Spark 修正和改善,以及下列對 Spark 進行的其他錯誤修正和改進:
- [SPARK-47941] [SC-163568][SS][連線]將 ForeachBatch 背景工作初始化錯誤傳播給 PySpark 的使用者
- [SPARK-47412] [SC-163455][SQL]新增 LPad/RPad 的定序支援。
- [SPARK-47907] [SC-163408][SQL]將砰砰
-
[SPARK-46820] [SC-157093][PYTHON]藉由還原來修正錯誤訊息回歸
new_msg
- [SPARK-47602] [SPARK-47577][SPARK-47598][SPARK-47577]Core/MLLib/資源管理員:結構化記錄移轉
- [SPARK-47890] [SC-163324][CONNECT][PYTHON]將 Variant 函式新增至 Scala 和 Python。
-
[SPARK-47894] [SC-163086][CORE][WEBUI]將頁面新增
Environment
至主要UI - [SPARK-47805] [SC-163459][SS]實作 MapState 的 TTL
- [SPARK-47900] [SC-163326]修正隱含定序的檢查 (UTF8_BINARY) 定序
- [SPARK-47902] [SC-163316][SQL]讓計算目前時間* 運算式折疊
- [SPARK-47845] [SC-163315][SQL][PYTHON][CONNECT]支援 scala 和 python 分割函式中的數據行類型
- [SPARK-47754] [SC-162144][SQL]Postgres:支持讀取多維度陣列
- [SPARK-47416] [SC-163001][SQL]將新的函式新增至 CollationBenchmark #90339
- [SPARK-47839] [SC-163075][SQL]修正 RewriteWithExpression 中的匯總錯誤
- [SPARK-47821] [SC-162967][SQL]實作is_variant_null表達式
-
[SPARK-47883] [SC-163184][SQL]使用 RowQueue 進行
CollectTailExec.doExecute
延遲 - [SPARK-47390] [SC-163306][SQL]PostgresDialect 會區分 TIMESTAMP 與 TIMESTAMP_TZ
-
[SPARK-47924] [SC-163282][CORE]將 DEBUG 記錄新增至
DiskStore.moveFileToBlock
- [SPARK-47897] [SC-163183][SQL][3.5] 修正 Scala 2.12 中的 ExpressionSet 效能回歸
- [SPARK-47565] [SC-161786][PYTHON]PySpark 背景工作集區當機復原
- [SPARK-47885] [SC-162989][PYTHON][CONNECT]讓 pyspark.resource 與 pyspark-connect 相容
-
[SPARK-47887][SC-163122][CONNECT]從移除未使用的匯入
spark/connect/common.proto
spark/connect/relations.proto
- [SPARK-47751] [SC-161991][PYTHON][CONNECT]讓pyspark.worker_utils與 pyspark-connect 相容
- [SPARK-47691] [SC-161760][SQL]Postgres:在寫入端支援多維度陣列
- [SPARK-47617] [SC-162513][SQL]新增定序的 TPC-DS 測試基礎結構
- [SPARK-47356] [SC-162858][SQL]新增 ConcatWs 和 Elt 的支援(所有定序)
-
[SPARK-47543][SC-161234][CONNECT][PYTHON]從 Pandas DataFrame 推斷
dict
MapType
為允許建立 DataFrame - [SPARK-47863] [SC-162974][SQL]修正 startsWith 和 endsWith ICU 的定序感知實作
- [SPARK-47867] [SC-162966][SQL]支援 JSON 掃描中的變體。
- [SPARK-47366] [SC-162475][SQL][PYTHON]新增適用於 PySpark 的 VariantVal
- [SPARK-47803] [SC-162726][SQL]支援轉換成 variant。
- [SPARK-47769] [SC-162841][SQL]新增schema_of_variant_agg表達式。
- [SPARK-47420] [SC-162842][SQL]修正測試輸出
- [SPARK-47430] [SC-161178][SQL]支援 MapType 的 GROUP BY
- [SPARK-47357] [SC-162751][SQL]新增 Upper、Lower、InitCap 的支援 (所有定序)
- [SPARK-47788] [SC-162729][SS]確保串流具狀態作業的哈希分割相同
- [SPARK-47776] [SC-162291][SS]不允許在具狀態運算子的索引鍵架構中使用二進位不等定序
- [SPARK-47673] [SC-162824][SS]實作 ListState 的 TTL
- [SPARK-47818] [SC-162845][CONNECT]介紹 SparkConnectPlanner 中的計劃快取,以改善分析要求的效能
- [SPARK-47694] [SC-162783][CONNECT]在客戶端上設定訊息大小上限
- [SPARK-47274] 還原 “[SC-162479][PYTHON][SQL] 提供更多 usef...
- [SPARK-47616] [SC-161193][SQL]新增使用者檔以從 MySQL 對應 Spark SQL 數據類型
- [SPARK-47862] [SC-162837][PYTHON][CONNECT]修正 Proto 檔案的產生
- [SPARK-47849] [SC-162724][PYTHON][CONNECT]將發行腳本變更為發行 pyspark-connect
- [SPARK-47410] [SC-162518][SQL]重構 UTF8String 和 CollationFactory
- [SPARK-47807] [SC-162505][PYTHON][ML] 讓 pyspark.ml 與 pyspark-connect 相容
- [SPARK-47707] [SC-161768][SQL]MySQL 連接器/J 5.x JSON 類型的特殊處理
- [SPARK-47765] 還原 “[SC-162636][SQL] 新增 SET 定序以剖析...
- [SPARK-47081] [SC-162151][CONNECT][FOLLOW]改善進度處理程式的可用性
- [SPARK-47289] [SC-161877][SQL]允許擴充功能在說明計劃中記錄擴充資訊
- [SPARK-47274] [SC-162479][PYTHON][SQL]為 PySpark DataFrame API 錯誤提供更實用的內容
- [SPARK-47765] [SC-162636][SQL]將 SET COLLATION 新增至剖析器規則
-
[SPARK-47828] [SC-162722][CONNECT][PYTHON]
DataFrameWriterV2.overwrite
失敗且計劃無效 - [SPARK-47812] [SC-162696][CONNECT]支援 ForEachBatch 背景工作角色的 SparkSession 串行化
- [SPARK-47253] [SC-162698][CORE]允許 LiveEventBus 停止,而不會完全清空事件佇列
- [SPARK-47827] [SC-162625][PYTHON]遺漏已淘汰功能的警告
- [SPARK-47733] [SC-162628][SS]新增轉換的自定義計量WithState 運算子部分的查詢進度
- [SPARK-47784] [SC-162623][SS]將 TTLMode 和 TimeoutMode 合併成單一 TimeMode。
- [SPARK-47775] [SC-162319][SQL]支援變體規格中剩餘的純量類型。
- [SPARK-47736] [SC-162503][SQL]新增 AbstractArrayType 的支援
- [SPARK-47081] [SC-161758][CONNECT]支援查詢執行進度
- [SPARK-47682] [SC-162138][SQL]支援從 variant 轉換。
- [SPARK-47802] [SC-162478][SQL]將 () 從意義結構() 還原回意義 *
- [SPARK-47680] [SC-162318][SQL]新增variant_explode表達式。
-
[SPARK-47809] [SC-162511][SQL]
checkExceptionInExpression
應該檢查每個 Codegen 模式的錯誤 -
[SPARK-41811][SC-162470][PYTHON][CONNECT]使用實作
SQLStringFormatter
WithRelations
- [SPARK-47693] [SC-162326][SQL]為UTF8_BINARY_LCASE定序中使用的UTF8String 新增小寫比較優化
- [SPARK-47541] [SC-162006][SQL]複雜類型中的定序字串,支援反向作業、array_join、concat、map
- [SPARK-46812] [SC-161535][CONNECT][PYTHON]讓 mapInPandas / mapInArrow 支援 ResourceProfile
- [SPARK-47727] [SC-161982][PYTHON]將 SparkConf 設為 SparkSession 和 SparkContext 的根層級
- [SPARK-47406] [SC-159376][SQL]處理 MYSQLDialect 中的 TIMESTAMP 和 DATETIME
- [SPARK-47081] 還原 “[SC-161758][CONNECT] 支持查詢執行程式...
- [SPARK-47681] [SC-162043][SQL]新增schema_of_variant表達式。
- [SPARK-47783] [SC-162222]新增一些遺漏的 SQLSTATEs 以清除 YY000 以使用...
- [SPARK-47634] [SC-161558][SQL]新增停用地圖索引鍵正規化的舊版支援
- [SPARK-47746] [SC-162022]在 RocksDBStateEncoder 中實作以序數為基礎的範圍編碼
- [SPARK-47285] [SC-158340][SQL]AdaptiveSparkPlanExec 應該一律使用 context.session
- [SPARK-47643] [SC-161534][SS][PYTHON]新增 python 串流來源的 pyspark 測試
- [SPARK-47582] [SC-161943][SQL]使用變數將 Catalyst logInfo 遷移至結構化記錄架構
- [SPARK-47558] [SC-162007][SS]ValueState 的狀態 TTL 支援
- [SPARK-47358] [SC-160912][SQL][COLLATION]改善重複表達式支援以傳回正確的數據類型
- [SPARK-47504] [SC-162044][SQL]解決 StringTypeCollated 的 AbstractDataType simpleStrings
- [SPARK-47719] 還原 “[SC-161909][SQL] 變更 spark.sql.legacy.t...
- [SPARK-47657] [SC-162010][SQL]實作每個檔案來源的定序篩選下推支援
- [SPARK-47081] [SC-161758][CONNECT]支援查詢執行進度
- [SPARK-47744] [SC-161999]新增對範圍編碼器中負值位元組的支援
- [SPARK-47713] [SC-162009][SQL][CONNECT]修正自我聯結失敗
- [SPARK-47310] [SC-161930][SS]為狀態存放區值部分的多個值新增合併作業的微基準檢驗
- [SPARK-47700] [SC-161774][SQL]使用 treeNode 修正錯誤訊息的格式設定
- [SPARK-47752] [SC-161993][PS][CONNECT]讓 pyspark.pandas 與 pyspark-connect 相容
- [SPARK-47575] [SC-161402][SPARK-47576][SPARK-47654]在結構化記錄架構中實作logWarning/logInfo API
- [SPARK-47107] [SC-161201][SS][PYTHON]為 Python 串流數據源實作數據分割讀取器
- [SPARK-47553] [SC-161772][SS]新增轉換的 Java 支援WithState 運算子 API
- [SPARK-47719] [SC-161909][SQL]將 spark.sql.legacy.timeParserPolicy 默認變更為 CORRECTED
- [SPARK-47655] [SC-161761][SS]整合定時器與狀態 v2 的初始狀態處理
- [SPARK-47665] [SC-161550][SQL]使用SMALLINT將ShortType寫入 MYSQL
- [SPARK-47210] [SC-161777][SQL]新增隱含轉型而不具決定性的支援
- [SPARK-47653] [SC-161767][SS]新增負數值類型和範圍掃描密鑰編碼器的支援
- [SPARK-46743] [SC-160777][SQL]計算常數折迭后的 Bug
- [SPARK-47525] [SC-154568][SQL]支援地圖屬性上的子查詢相互關聯聯結
- [SPARK-46366] [SC-151277][SQL]在 BETWEEN 中使用 WITH 運算式以避免重複表達式
- [SPARK-47563] [SC-161183][SQL]在建立時新增地圖正規化
- [SPARK-42040] [SC-161171][SQL]SPJ:引進適用於 V2 輸入分割區的新 API 來報告數據分割統計數據
-
[SPARK-47679] [SC-161549][SQL]直接使用
HiveConf.getConfVars
或Hive conf 名稱 -
[SPARK-47685][SC-161566][SQL]還原 中類型的支援
Stream
Dataset#groupBy
- [SPARK-47646] [SC-161352][SQL]讓try_to_number針對格式不正確的輸入傳回NULL
- [SPARK-47366] [SC-161324][PYTHON]新增 pyspark 和數據框架parse_json別名
-
[SPARK-47491][SC-161176][CORE]先將 jar 新增
slf4j-api
至類別路徑,再新增至目錄的其他目錄之前jars
- [SPARK-47270] [SC-158741][SQL]Dataset.isEmpty 專案 CommandResults 本機
-
[SPARK-47364] [SC-158927][CORE]當外掛程式回復單向訊息時發出
PluginEndpoint
警告 - [SPARK-47280] [SC-158350][SQL]拿掉 ORACLE TIMESTAMP WITH TIMEZONE 的時區限制
- [SPARK-47551] [SC-161542][SQL]新增variant_get表達式。
-
[SPARK-47559] [SC-161255][SQL]Variant 的 Codegen 支援
parse_json
- [SPARK-47572] [SC-161351][SQL]強制視窗 partitionSpec 是可排序的。
- [SPARK-47546] [SC-161241][SQL]從 Parquet 讀取 Variant 時改善驗證
-
[SPARK-47543][SC-161234][CONNECT][PYTHON]從 Pandas DataFrame 推斷
dict
MapType
為允許建立 DataFrame - [SPARK-47485] [SC-161194][SQL][PYTHON][CONNECT]在數據框架 API 中使用定序建立數據行
-
[SPARK-47641] [SC-161376][SQL]改善和的
UnaryMinus
效能Abs
-
[SPARK-47631] [SC-161325][SQL]拿掉未使用
SQLConf.parquetOutputCommitterClass
的方法 -
[SPARK-47674][SC-161504][CORE]默認為啟用
spark.metrics.appStatusSource.enabled
- [SPARK-47273] [SC-161162][SS][PYTHON] 實作 Python 數據流寫入器介面。
- [SPARK-47637] [SC-161408][SQL]在更多地方使用 errorCapturingIdentifier
- [SPARK-47497] 還原“還原 ”[SC-160724][SQL] 讓to_csv支持陣列/結構/map/binary 作為漂亮的字符串輸出”
- [SPARK-47492] [SC-161316][SQL]在 lexer 中擴大空格符規則
- [SPARK-47664] [SC-161475][PYTHON][CONNECT]使用快取的架構驗證數據行名稱
- [SPARK-47638] [SC-161339][PS][CONNECT]略過 PS 中的數據行名稱驗證
- [SPARK-47363] [SC-161247][SS]狀態 API v2 沒有狀態讀取器實作的初始狀態。
- [SPARK-47447] [SC-160448][SQL]允許讀取 Parquet TimestampLTZ 作為 TimestampNTZ
-
[SPARK-47497] 還原 “[SC-160724][SQL] 將
to_csv
支持array/struct/map/binary
輸出為漂亮的字串” -
[SPARK-47434] [SC-160122][WEBUI]修正
statistics
中的連結StreamingQueryPage
- [SPARK-46761] [SC-159045][SQL]JSON 路徑中的引號字串應該支援 ? 「字元」
-
[SPARK-46915][SC-155729][SQL]簡化
UnaryMinus
Abs
和對齊錯誤類別 - [SPARK-47431] [SC-160919][SQL]新增工作階段層級預設定序
- [SPARK-47620] [SC-161242][PYTHON][CONNECT]新增協助程式函式以排序數據行
- [SPARK-47570] [SC-161165][SS]整合範圍掃描編碼器變更與定時器實作
-
[SPARK-47497] [SC-160724][SQL]將
to_csv
支援的輸出array/struct/map/binary
設定為漂亮的字串 -
[SPARK-47562] [SC-161166][CONNECT]因素常值處理不足
plan.py
- [SPARK-47509] [SC-160902][SQL]封鎖 Lambda 和較高順序函式中的子查詢表達式
-
[SPARK-47539] [SC-160750][SQL]將方法
castToString
的傳回值設為Any => UTF8String
- [SPARK-47372] [SC-160905][SS]新增範圍掃描金鑰狀態編碼器的支援,以搭配狀態存放區提供者使用
- [SPARK-47517] [SC-160642][CORE][SQL]偏好使用 Utils.bytesToString 來顯示大小
-
[SPARK-47243] [SC-158059][SS]更正的套件名稱
StateMetadataSource.scala
- [SPARK-47367] [SC-160913][PYTHON][CONNECT]使用 Spark Connect 支援 Python 數據源
-
[SPARK-47521][SC-160666][CORE]從外部記憶體讀取隨機數據期間使用
Utils.tryWithResource
- [SPARK-47474] [SC-160522][CORE]還原SPARK-47461並新增一些批注
- [SPARK-47560] [SC-160914][PYTHON][CONNECT]避免 RPC 使用快取架構來驗證資料行名稱
- [SPARK-47451] [SC-160749][SQL]支援to_json(variant)。
- [SPARK-47528] [SC-160727][SQL]將 UserDefinedType 支援新增至 DataTypeUtils.canWrite
- [SPARK-44708] 還原 “[SC-160734][PYTHON] 移轉test_reset_index assert_eq以使用 assertDataFrameEqual”
- [SPARK-47506] [SC-160740][SQL]新增對定序數據類型之所有檔案格式的支援
- [SPARK-47256] [SC-160784][SQL]_LEGACY_ERROR_TEMP_102[4-7] 將名稱指派給錯誤類別
- [SPARK-47495] [SC-160720][CORE]修正在 k8s 叢集模式下新增至 spark.jars 的主要資源 jar 兩次
- [SPARK-47398] [SC-160572][SQL]擷取 InMemoryTableScanExec 的特點,以允許擴充功能
- [SPARK-47479] [SC-160623][SQL]優化無法將數據寫入多個路徑錯誤記錄檔的關係
- [SPARK-47483] [SC-160629][SQL]在定序字串數位上新增匯總和聯結作業的支援
- [SPARK-47458] [SC-160237][CORE]修正計算屏障階段的最大並行工作的問題
-
[SPARK-47534][SC-160737][SQL]移至
o.a.s.variant
o.a.s.types.variant
- [SPARK-47396] [SC-159312][SQL]將 TIME WITHOUT TIME ZONE 的一般對應新增至 TimestampNTZType
- [SPARK-44708] [SC-160734][PYTHON]移轉test_reset_index assert_eq以使用 assertDataFrameEqual
- [SPARK-47309] [SC-157733][SC-160398][SQL]XML:新增值標記的架構推斷測試
-
[SPARK-47007] [SC-160630][SQL]
MapSort
新增表達式 -
[SPARK-47523][SC-160645][SQL]將取代為取代
JsonParser#getCurrentName
JsonParser#currentName
- [SPARK-47440] [SC-160635][SQL]修正將不支持的語法推送至 MsSqlServer
- [SPARK-47512] [SC-160617][SS]與 RocksDB 狀態存放區實例鎖定擷取/發行搭配使用的標記作業類型
- [SPARK-47346] [SC-159425][PYTHON]建立 Python 規劃工具背景工作時可設定精靈模式
-
[SPARK-47446] [SC-160163][CORE]在之前發出
BlockManager
警告removeBlockInternal
- [SPARK-46526] [SC-156099][SQL]透過相互關聯的子查詢支援 LIMIT,其中述詞僅參考外部數據表
-
[SPARK-47461][SC-160297][CORE]從中移除私人函式
totalRunningTasksPerResourceProfile
ExecutorAllocationManager
- [SPARK-47422] [SC-160219][SQL]支援陣列作業中的定序字串
-
[SPARK-47500] [SC-160627][PYTHON][CONNECT]處理不足的因素數據行名稱
plan.py
-
[SPARK-47383] [SC-160144][CORE]支援
spark.shutdown.timeout
設定 - [SPARK-47342] [SC-159049]還原 “[SQL] 支援適用於 DB2 TIMESTAMP WITH TIME ZONE 的 TimestampNTZ”
-
[SPARK-47486] [SC-160491][CONNECT]拿掉未使用的私人
ArrowDeserializers.getString
方法 - [SPARK-47233] [SC-154486][CONNECT][SS][2/2] 用戶端串流查詢接聽程式的客戶端和伺服器邏輯
- [SPARK-47487] [SC-160534][SQL]簡化 AnsiTypeCoercion 中的程式碼
- [SPARK-47443] [SC-160459][SQL]定序的視窗匯總支援
- [SPARK-47296] [SC-160457][SQL][COLLATION]非二進制定序不支援的函式失敗
- [SPARK-47380] [SC-160164][CONNECT]確定伺服器端 SparkSession 相同
- [SPARK-47327] [SC-160069][SQL]將排序索引鍵並行測試移至 CollationFactorySuite
- [SPARK-47494] [SC-160495][Doc]新增移轉檔,以取得自Spark3.3以來 Parquet 時間戳推斷的行為變更
- [SPARK-47449] [SC-160372][SS]重構和分割清單/定時器單元測試
-
[SPARK-46473] [SC-155663][SQL]重複使用
getPartitionedFile
方法 - [SPARK-47423] [SC-160068][SQL]定序 - 使用定序設定字串的作業支援
- [SPARK-47439] [SC-160115][PYTHON]在 API 參考頁面中記載 Python 數據源 API
-
[SPARK-47457] [SC-160234][SQL]修正
IsolatedClientLoader.supportsHadoopShadedClient
以處理Hadoop 3.4+ - [SPARK-47366] [SC-159348][SQL]實作parse_json。
- [SPARK-46331] [SC-152982][SQL]從 DateTime 運算式和 version() 表示式子集移除 CodegenFallback
- [SPARK-47395] [SC-159404]將定序和定序新增至其他 API
-
[SPARK-47437] [SC-160117][PYTHON][CONNECT]更正的錯誤類別
DataFrame.sort*
- [SPARK-47174] [SC-154483][CONNECT][SS][1/2] 適用於用戶端串流查詢接聽程式的伺服器端 SparkConnectListenerBusListener
- [SPARK-47324] [SC-158720][SQL]新增 JDBC 巢狀類型的遺漏時間戳轉換
- [SPARK-46962] [SC-158834][SS][PYTHON]新增 Python 串流數據源 API 的介面,並實作 Python 背景工作角色以執行 Python 串流數據源
- [SPARK-45827] [SC-158498][SQL]將數據類型檢查移至 CreatableRelationProvider
- [SPARK-47342] [SC-158874][SQL]支援適用於 DB2 TIMESTAMP WITH TIME ZONE 的 TimestampNTZ
- [SPARK-47399] [SC-159378][SQL]在具有定序的表達式上停用產生的數據行
- [SPARK-47146] [SC-158247][CORE]執行排序合併聯結時可能發生線程流失
- [SPARK-46913] [SC-159149][SS]使用 transformWithState 運算符新增處理/事件時間型定時器的支援
-
[SPARK-47375] [SC-159063][SQL]在中新增時間戳對應的指導方針
JdbcDialect#getCatalystType
- [SPARK-47394] [SC-159282][SQL]支援 H2Dialect 的 TIMESTAMP WITH TIME ZONE
- [SPARK-45827] 還原 “[SC-158498][SQL] 將數據類型檢查移至 ...
- [SPARK-47208] [SC-159279][CORE]允許覆寫基底額外負荷記憶體
- [SPARK-42627] [SC-158021][SPARK-26494][SQL]支援 Oracle TIMESTAMP WITH LOCAL TIME ZONE
- [SPARK-47055] [SC-156916][PYTHON]升級 MyPy 1.8.0
- [SPARK-46906] [SC-157205][SS]新增串流之具狀態運算符變更的檢查
- [SPARK-47391] [SC-159283][SQL]拿掉 JDK 8 的測試案例因應措施
- [SPARK-47272] [SC-158960][SS]新增 State API v2 的 MapState 實作。
- [SPARK-47375] [SC-159278][Doc][FollowUp]修正 JDBC preferTimestampNTZ 選項檔中的錯誤
- [SPARK-42328] [SC-157363][SQL]從錯誤類別移除_LEGACY_ERROR_TEMP_1175
- [SPARK-47375] [SC-159261][Doc][FollowUp]更正 JDBC 檔中的 preferTimestampNTZ 選項描述
- [SPARK-47344] [SC-159146]將INVALID_IDENTIFIER錯誤擴充至未加上批注的識別碼中攔截 『-』,並修正 「IS ! NULL“ 等。
- [SPARK-47340] [SC-159039][SQL]將 StringType typename 中的 「collate」 變更為小寫
- [SPARK-47087] [SC-157077][SQL]使用組態值檢查中的錯誤類別引發 Spark 的例外狀況
- [SPARK-47327] [SC-158824][SQL]修正ICU定序器中的線程安全性問題
- [SPARK-47082] [SC-157058][SQL]修正超出界限的錯誤條件
- [SPARK-47331] [SC-158719][SS]根據任意狀態 API v2 的 SQL 編碼器,使用案例類別/基本類型/POJO 進行串行化。
- [SPARK-47250] [SC-158840][SS]為 RocksDB 狀態提供者和使用資料行系列新增其他驗證和 NERF 變更
- [SPARK-47328] [SC-158745][SQL]將UCS_BASIC定序重新命名為 UTF8_BINARY
-
[SPARK-47207] [SC-157845][CORE]支援
spark.driver.timeout
和DriverTimeoutPlugin
- [SPARK-47370] [SC-158956][Doc]新增移轉檔:Parquet 檔案上的 TimestampNTZ 類型推斷
- [SPARK-47309] [SC-158827][SQL][XML] 新增架構推斷單元測試
-
[SPARK-47295][SC-158850][SQL]已新增 和
startsWith
函式的endsWith
ICU StringSearch -
[SPARK-47343] [SC-158851][SQL]修正當變數值為立即執行的 Null 字串時
sqlString
,修正 NPE -
[SPARK-46293] [SC-150117][CONNECT][PYTHON]使用
protobuf
可轉移的相依性 -
[SPARK-46795] [SC-154143][SQL]將取代
UnsupportedOperationException
為SparkUnsupportedOperationException
insql/core
- [SPARK-46087] [SC-149023][PYTHON]在文件和開發需求中同步處理 PySpark 相依性
- [SPARK-47169] [SC-158848][SQL]停用定序數據行上的貯體
- [SPARK-42332] [SC-153996][SQL]將要求變更為 ComplexTypeMergingExpression 中的 SparkException
- [SPARK-45827] [SC-158498][SQL]將數據類型檢查移至 CreatableRelationProvider
- [SPARK-47341] [SC-158825][連線]將命令取代為 SparkConnectClientSuite 中幾個測試中的關聯
- [SPARK-43255] [SC-158026][SQL]以內部錯誤取代錯誤類別_LEGACY_ERROR_TEMP_2020
- [SPARK-47248] [SC-158494][SQL][COLLATION]改善的字串函式支援:包含
-
[SPARK-47334] [SC-158716][SQL]重複使用
withColumnRenamed
的實作withColumnsRenamed
- [SPARK-46442] [SC-153168][SQL]DS V2 支援下推PERCENTILE_CONT和PERCENTILE_DISC
- [SPARK-47313] [SC-158747][SQL]已新增 scala。QueryExecution.toInternalError 內的 MatchError 處理
- [SPARK-45827] [SC-158732][SQL]新增 Java 的 Variant 單一類型
- [SPARK-47337] [SC-158743][SQL][DOCKER]將 DB2 Docker 映射版本升級至 11.5.8.0
- [SPARK-47302] [SC-158609][SQL]將關鍵詞定序為標識碼
-
[SPARK-46817][SC-154196][CORE]藉由新增
spark-daemon.sh
命令來修正decommission
使用量 -
[SPARK-46739] [SC-153553][SQL]新增錯誤類別
UNSUPPORTED_CALL
-
[SPARK-47102] [SC-158253][SQL]
COLLATION_ENABLED
新增組態旗標 - [SPARK-46774] [SC-153925][SQL][AVRO]在 Avro 寫入作業中使用 mapreduce.output.fileoutputformat.compress,而不是取代已被取代的 mapred.output.compress
- [SPARK-45245] [SC-146961][PYTHON][CONNECT]PythonWorkerFactory:背景工作角色未連線時逾時。
- [SPARK-46835] [SC-158355][SQL][定序]聯結非二進制定序的支援
- [SPARK-47131] [SC-158154][SQL][COLLATION]字串函式支援:包含、startswith、endwith
- [SPARK-46077] [SC-157839][SQL]請考慮 JdbcDialect.compileValue 中 TimestampNTZConverter 所產生的類型。
- [SPARK-47311] [SC-158465][SQL][PYTHON]隱藏 PySpark 不在 Python 路徑中的 Python 例外狀況
- [SPARK-47319] [SC-158599][SQL]改善missingInput計算
- [SPARK-47316] [SC-158606][SQL]修正 Postgres 陣列中的 TimestampNTZ
- [SPARK-47268] [SC-158158][SQL][定序]支援使用定序重新分割
- [SPARK-47191] [SC-157831][SQL]避免在取消快取數據表/檢視時不必要的關聯查閱
- [SPARK-47168] [SC-158257][SQL]使用非預設定序字串時,停用 parquet 篩選下推
-
[SPARK-47236] [SC-158015][CORE]修正
deleteRecursivelyUsingJavaIO
以略過非現有檔案輸入 - [SPARK-47238] [SC-158466][SQL]在 WSCG 中將產生的程式代碼設為廣播變數,以減少執行程式記憶體使用量
- [SPARK-47249] [SC-158133][CONNECT]修正不論其實際狀態為何,所有連線執行都視為已放棄的錯誤
- [SPARK-47202] [SC-157828][PYTHON]使用 tzinfo 修正錯字中斷日期時間
- [SPARK-46834] [SC-158139][SQL][定序]匯總的支援
- [SPARK-47277] [SC-158351][3.5] PySpark util 函式 assertDataFrameEqual 不應該支援串流 DF
- [SPARK-47155] [SC-158473][PYTHON]修正錯誤類別問題
- [SPARK-47245] [SC-158163][SQL]改善INVALID_PARTITION_COLUMN_DATA_TYPE的錯誤碼
-
[SPARK-39771] [SC-158425][CORE]在建立太多隨機區塊時,在中
Dependency
新增警告訊息。 - [SPARK-47277] [SC-158329]PySpark util 函式 assertDataFrameEqual 不應支援串流 DF
- [SPARK-47293] [SC-158356][CORE]使用sparkSchema建置 batchSchema,而不是逐一附加
- [SPARK-46732] [SC-153517][CONNECT]讓子查詢/廣播線程與 Connect 的成品管理搭配運作
- [SPARK-44746] [SC-158332][PYTHON]為接受輸入數據表的函式新增更多 Python UDTF 檔
- [SPARK-47120] [SC-157517][SQL]Null 比較從 Parquet 篩選中的 NPE 產生的子查詢向下推入數據篩選
-
[SPARK-47251][SC-158291][PYTHON]封鎖命令自變數中的
args
sql
無效類型 -
[SPARK-47251]還原 “[SC-158121][PYTHON] 封鎖命令自變數中的
args
sql
無效類型” - [SPARK-47015] [SC-157900][SQL]停用定序數據行上的數據分割
-
[SPARK-46846][SC-154308][CORE]明確進行
WorkerResourceInfo
擴充Serializable
- [SPARK-46641] [SC-156314][SS]新增 maxBytesPerTrigger 閾值
-
[SPARK-47244] [SC-158122][CONNECT]
SparkConnectPlanner
讓內部函式成為私用函式 -
[SPARK-47266] [SC-158146][CONNECT]讓傳
ProtoUtils.abbreviate
回與輸入相同的類型 - [SPARK-46961] [SC-158183][SS]使用 ProcessorContext 儲存和擷取句柄
- [SPARK-46862] [SC-154548][SQL]在多行模式中停用 CSV 資料行剪除
-
[SPARK-46950] [SC-155803][CORE][SQL]對齊
not available codec
錯誤類別 -
[SPARK-46368][SC-153236][CORE]REST 提交 API 中的支援
readyz
- [SPARK-46806] [SC-154108][PYTHON]當自變數類型錯誤時,改善spark.table的錯誤訊息
- [SPARK-47211] [SC-158008][CONNECT][PYTHON]修正忽略的 PySpark Connect 字串定序
-
[SPARK-46552] [SC-151366][SQL]將取代
UnsupportedOperationException
為SparkUnsupportedOperationException
incatalyst
- [SPARK-47147] [SC-157842][PYTHON][SQL]修正 PySpark 定序字串轉換錯誤
- [SPARK-47144] [SC-157826][CONNECT][SQL][PYTHON]藉由新增 collateId protobuf 字段來修正 Spark Connect 定序錯誤
- [SPARK-46575] [SC-153200][SQL][HIVE]Make HiveThriftServer2.startWithContext DevelopApi retriable and fix flakiness of ThriftServerWithSparkContextInHttpSuite
- [SPARK-46696] [SC-153832][CORE]在 ResourceProfileManager 中,函數調用應該發生在變數宣告之後
- [SPARK-47214] [SC-157862][Python]為 'analyze' 方法建立 UDTF API,以區分常數 NULL 自變數和其他類型的自變數
- [SPARK-46766] [SC-153909][SQL][AVRO]AVRO 數據源的 ZSTD 緩衝池支援
- [SPARK-47192] [SC-157819]轉換某些_LEGACY_ERROR_TEMP_0035錯誤
- [SPARK-46928] [SC-157341][SS]在任意狀態 API v2 中新增 ListState 的支援。
-
[SPARK-46881] [SC-154612][CORE]支援
spark.deploy.workerSelectionPolicy
-
[SPARK-46800] [SC-154107][CORE]支援
spark.deploy.spreadOutDrivers
- [SPARK-45484] [SC-146014][SQL]修正使用不正確 parquet 壓縮編解碼器 lz4raw 的錯誤
- [SPARK-46791] [SC-154018][SQL]支援 JavaTypeInference 中的 Java 集合
-
[SPARK-46332] [SC-150224][SQL]移
CatalogNotFoundException
轉至錯誤類別CATALOG_NOT_FOUND
- [SPARK-47164] [SC-157616][SQL]將預設值從較寬的類型範圍常值設為 v2 的行為與 v1 相同
-
[SPARK-46664] [SC-153181][CORE]改善
Master
以在零背景工作和應用程式的情況下快速復原 - [SPARK-46759] [SC-153839][SQL][AVRO]Codec xz 和 zstandard 支援 avro 檔案的壓縮層級
Databricks ODBC/JDBC 驅動程式支援
Databricks 支援在過去 2 年中發行的 ODBC/JDBC 驅動程式。 請下載最近發行的驅動程式和升級 (下載 ODBC,下載 JDBC)。
請參閱 Databricks Runtime 15.2 維護更新。
系統環境
- 操作系統:Ubuntu 22.04.4 LTS
- Java:Zulu 8.74.0.17-CA-linux64
- Scala:2.12.15
- Python:3.11.0
- R:4.3.2
- Delta Lake:3.2.0
已安裝的 Python 程式庫
程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
---|---|---|---|---|---|
asttokens | 2.0.5 | astunparse | 1.6.3 | azure-core | 1.30.1 |
azure-storage-blob | 12.19.1 | azure-storage-file-datalake | 12.14.0 | backcall | 0.2.0 |
black | 23.3.0 | blinker | 1.4 | boto3 | 1.34.39 |
botocore | 1.34.39 | cachetools | 5.3.3 | certifi | 2023.7.22 |
cffi | 1.15.1 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
click | 8.0.4 | cloudpickle | 2.2.1 | comm | 0.1.2 |
contourpy | 1.0.5 | cryptography | 41.0.3 | cycler | 0.11.0 |
Cython | 0.29.32 | databricks-sdk | 0.20.0 | dbus-python | 1.2.18 |
debugpy | 1.6.7 | decorator | 5.1.1 | distlib | 0.3.8 |
entrypoints | 0.4 | executing | 0.8.3 | facets-overview | 1.1.1 |
filelock | 3.13.1 | fonttools | 4.25.0 | gitdb | 4.0.11 |
GitPython | 3.1.43 | google-api-core | 2.18.0 | google-auth | 2.29.0 |
google-cloud-core | 2.4.1 | google-cloud-storage | 2.16.0 | google-crc32c | 1.5.0 |
google-resumable-media | 2.7.0 | googleapis-common-protos | 1.63.0 | grpcio | 1.60.0 |
grpcio-status | 1.60.0 | httplib2 | 0.20.2 | idna | 3.4 |
importlib-metadata | 6.0.0 | ipyflow-core | 0.0.198 | ipykernel | 6.25.1 |
ipython | 8.15.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
isodate | 0.6.1 | jedi | 0.18.1 | jeepney | 0.7.1 |
jmespath | 0.10.0 | joblib | 1.2.0 | jupyter_client | 7.4.9 |
jupyter_core | 5.3.0 | keyring | 23.5.0 | kiwisolver | 1.4.4 |
launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 | mlflow-skinny | 2.11.3 |
more-itertools | 8.10.0 | mypy-extensions | 0.4.3 | nest-asyncio | 1.5.6 |
numpy | 1.23.5 | oauthlib | 3.2.0 | packaging | 23.2 |
pandas | 1.5.3 | parso | 0.8.3 | pathspec | 0.10.3 |
patsy | 0.5.3 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
Pillow | 9.4.0 | pip | 23.2.1 | platformdirs | 3.10.0 |
plotly | 5.9.0 | prompt-toolkit | 3.0.36 | proto-plus | 1.23.0 |
protobuf | 4.24.1 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
ptyprocess | 0.7.0 | pure-eval | 0.2.2 | pyarrow | 14.0.1 |
pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pyccolo | 0.0.52 |
pycparser | 2.21 | pydantic | 1.10.6 | Pygments | 2.15.1 |
PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.38 |
pyparsing | 3.0.9 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.1 |
pytz | 2022.7 | PyYAML | 6.0 | pyzmq | 23.2.0 |
requests | 2.31.0 | rsa | 4.9 | s3transfer | 0.10.1 |
scikit-learn | 1.3.0 | scipy | 1.11.1 | seaborn | 0.12.2 |
SecretStorage | 3.3.1 | setuptools | 68.0.0 | six | 1.16.0 |
smmap | 5.0.1 | sqlparse | 0.5.0 | ssh-import-id | 5.11 |
stack-data | 0.2.0 | statsmodels | 0.14.0 | tenacity | 8.2.2 |
threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tornado | 6.3.2 |
traitlets | 5.7.1 | typing_extensions | 4.10.0 | tzdata | 2022.1 |
ujson | 5.4.0 | unattended-upgrades | 0.1 | urllib3 | 1.26.16 |
virtualenv | 20.24.2 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
wheel | 0.38.4 | zipp | 3.11.0 |
已安裝的 R 程式庫
R 連結庫會從 Posit 封裝管理員 CRAN 快照集安裝。
程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
---|---|---|---|---|---|
箭號 | 14.0.0.2 | askpass | 1.2.0 | assertthat | 0.2.1 |
backports | 1.4.1 | base | 4.3.2 | base64enc | 0.1-3 |
bigD | 0.2.0 | bit | 4.0.5 | bit64 | 4.0.5 |
bitops | 1.0-7 | blob | 1.2.4 | boot | 1.3-28 |
brew | 1.0-10 | brio | 1.1.4 | broom | 1.0.5 |
bslib | 0.6.1 | cachem | 1.0.8 | callr | 3.7.3 |
caret | 6.0-94 | cellranger | 1.1.0 | chron | 2.3-61 |
class | 7.3-22 | cli | 3.6.2 | clipr | 0.8.0 |
clock | 0.7.0 | 叢集 | 2.1.4 | codetools | 0.2-19 |
colorspace | 2.1-0 | commonmark | 1.9.1 | compiler | 4.3.2 |
config | 0.3.2 | 衝突 | 1.2.0 | cpp11 | 0.4.7 |
crayon | 1.5.2 | credentials | 2.0.1 | curl | 5.2.0 |
data.table | 1.15.0 | datasets | 4.3.2 | DBI | 1.2.1 |
dbplyr | 2.4.0 | 遞減 | 1.4.3 | devtools | 2.4.5 |
圖表 | 1.6.5 | diffobj | 0.3.5 | digest | 0.6.34 |
downlit | 0.4.3 | dplyr | 1.1.4 | dtplyr | 1.3.1 |
e1071 | 1.7-14 | 省略符號 | 0.3.2 | evaluate | 0.23 |
fansi | 1.0.6 | farver | 2.1.1 | fastmap | 1.1.1 |
fontawesome | 0.5.2 | forcats | 1.0.0 | foreach | 1.5.2 |
foreign | 0.8-85 | forge | 0.2.0 | fs | 1.6.3 |
future | 1.33.1 | future.apply | 1.11.1 | gargle | 1.5.2 |
泛型 | 0.1.3 | gert | 2.0.1 | ggplot2 | 3.4.4 |
gh | 1.4.0 | git2r | 0.33.0 | gitcreds | 0.1.2 |
glmnet | 4.1-8 | globals | 0.16.2 | glue | 1.7.0 |
googledrive | 2.1.1 | googlesheets4 | 1.1.1 | gower | 1.0.1 |
graphics | 4.3.2 | grDevices | 4.3.2 | grid | 4.3.2 |
gridExtra | 2.3 | gsubfn | 0.7 | gt | 0.10.1 |
gtable | 0.3.4 | hardhat | 1.3.1 | haven | 2.5.4 |
highr | 0.10 | hms | 1.1.3 | htmltools | 0.5.7 |
htmlwidgets | 1.6.4 | httpuv | 1.6.14 | httr | 1.4.7 |
httr2 | 1.0.0 | ids | 1.0.1 | ini | 0.3.1 |
ipred | 0.9-14 | isoband | 0.2.7 | iterators | 1.0.14 |
jquerylib | 0.1.4 | jsonlite | 1.8.8 | 多汁 | 0.1.0 |
KernSmooth | 2.23-21 | knitr | 1.45 | labeling | 0.4.3 |
later | 1.3.2 | lattice | 0.21-8 | Lava | 1.7.3 |
生命週期 | 1.0.4 | listenv | 0.9.1 | lubridate | 1.9.3 |
magrittr | 2.0.3 | markdown | 1.12 | MASS | 7.3-60 |
矩陣 | 1.5-4.1 | memoise | 2.0.1 | 方法 | 4.3.2 |
mgcv | 1.8-42 | mime | 0.12 | miniUI | 0.1.1.1 |
mlflow | 2.10.0 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
munsell | 0.5.0 | nlme | 3.1-163 | nnet | 7.3-19 |
numDeriv | 2016.8-1.1 | openssl | 2.1.1 | parallel | 4.3.2 |
parallelly | 1.36.0 | pillar | 1.9.0 | pkgbuild | 1.4.3 |
pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.4 |
plogr | 0.2.0 | plyr | 1.8.9 | praise | 1.0.0 |
prettyunits | 1.2.0 | pROC | 1.18.5 | processx | 3.8.3 |
prodlim | 2023.08.28 | profvis | 0.3.8 | 進度 | 1.2.3 |
progressr | 0.14.0 | promises | 1.2.1 | proto | 1.0.0 |
proxy | 0.4-27 | ps | 1.7.6 | purrr | 1.0.2 |
R6 | 2.5.1 | ragg | 1.2.7 | randomForest | 4.7-1.1 |
rappdirs | 0.3.3 | rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 |
Rcpp | 1.0.12 | RcppEigen | 0.3.3.9.4 | reactable | 0.4.4 |
reactR | 0.5.0 | readr | 2.1.5 | readxl | 1.4.3 |
recipes | 1.0.9 | rematch | 2.0.0 | rematch2 | 2.1.2 |
remotes | 2.4.2.1 | reprex | 2.1.0 | reshape2 | 1.4.4 |
rlang | 1.1.3 | rmarkdown | 2.25 | RODBC | 1.3-23 |
roxygen2 | 7.3.1 | rpart | 4.1.21 | rprojroot | 2.0.4 |
Rserve | 1.8-13 | RSQLite | 2.3.5 | rstudioapi | 0.15.0 |
rversions | 2.1.2 | rvest | 1.0.3 | sass | 0.4.8 |
scales | 1.3.0 | selectr | 0.4-2 | sessioninfo | 1.2.2 |
shape | 1.4.6 | shiny | 1.8.0 | sourcetools | 0.1.7-1 |
sparklyr | 1.8.4 | spatial | 7.3-15 | splines | 4.3.2 |
sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.3.2 |
stats4 | 4.3.2 | stringi | 1.8.3 | stringr | 1.5.1 |
survival | 3.5-5 | Swagger | 3.33.1 | sys | 3.4.2 |
systemfonts | 1.0.5 | tcltk | 4.3.2 | testthat | 3.2.1 |
textshaping | 0.3.7 | tibble | 3.2.1 | tidyr | 1.3.1 |
tidyselect | 1.2.0 | tidyverse | 2.0.0 | timechange | 0.3.0 |
timeDate | 4032.109 | tinytex | 0.49 | tools | 4.3.2 |
tzdb | 0.4.0 | urlchecker | 1.0.1 | usethis | 2.2.2 |
utf8 | 1.2.4 | utils | 4.3.2 | uuid | 1.2-0 |
V8 | 4.4.1 | vctrs | 0.6.5 | viridisLite | 0.4.2 |
vroom | 1.6.5 | waldo | 0.5.2 | whisker | 0.4.1 |
withr | 3.0.0 | xfun | 0.41 | xml2 | 1.3.6 |
xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.3.8 |
zeallot | 0.1.0 | zip | 2.3.1 |
安裝 Java 和 Scala 函式庫 (Scala 2.12 叢群版本)
群組識別碼 | 成品識別碼 | 版本 |
---|---|---|
ANTLR | ANTLR | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudformation | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudfront | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.610 |
com.amazonaws | aws-java-sdk-codedeploy | 1.12.610 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.610 |
com.amazonaws | aws-java-sdk-cognitosync | 1.12.610 |
com.amazonaws | aws-java-sdk-config | 1.12.610 |
com.amazonaws | aws-java-sdk-core | 1.12.610 |
com.amazonaws | aws-java-sdk-datapipeline | 1.12.610 |
com.amazonaws | aws-java-sdk-directconnect | 1.12.610 |
com.amazonaws | aws-java-sdk-directory | 1.12.610 |
com.amazonaws | aws-java-sdk-dynamodb | 1.12.610 |
com.amazonaws | aws-java-sdk-ec2 | 1.12.610 |
com.amazonaws | aws-java-sdk-ecs | 1.12.610 |
com.amazonaws | aws-java-sdk-efs | 1.12.610 |
com.amazonaws | aws-java-sdk-elasticache | 1.12.610 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.610 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.610 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.610 |
com.amazonaws | aws-java-sdk-emr | 1.12.610 |
com.amazonaws | aws-java-sdk-glacier | 1.12.610 |
com.amazonaws | aws-java-sdk-glue | 1.12.610 |
com.amazonaws | aws-java-sdk-iam | 1.12.610 |
com.amazonaws | aws-java-sdk-importexport | 1.12.610 |
com.amazonaws | aws-java-sdk-kinesis | 1.12.610 |
com.amazonaws | aws-java-sdk-kms | 1.12.610 |
com.amazonaws | aws-java-sdk-lambda | 1.12.610 |
com.amazonaws | aws-java-sdk-logs | 1.12.610 |
com.amazonaws | aws-java-sdk-machinelearning | 1.12.610 |
com.amazonaws | aws-java-sdk-opsworks | 1.12.610 |
com.amazonaws | aws-java-sdk-rds | 1.12.610 |
com.amazonaws | aws-java-sdk-redshift | 1.12.610 |
com.amazonaws | aws-java-sdk-route53 | 1.12.610 |
com.amazonaws | aws-java-sdk-s3 | 1.12.610 |
com.amazonaws | aws-java-sdk-ses | 1.12.610 |
com.amazonaws | aws-java-sdk-simpledb | 1.12.610 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.610 |
com.amazonaws | aws-java-sdk-sns | 1.12.610 |
com.amazonaws | aws-java-sdk-sqs | 1.12.610 |
com.amazonaws | aws-java-sdk-ssm | 1.12.610 |
com.amazonaws | aws-java-sdk-storagegateway | 1.12.610 |
com.amazonaws | aws-java-sdk-sts | 1.12.610 |
com.amazonaws | aws-java-sdk-support | 1.12.610 |
com.amazonaws | aws-java-sdk-js-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.12.610 |
com.amazonaws | jmespath-java | 1.12.610 |
com.clearspring.analytics | stream | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | databricks-sdk-java | 0.17.1 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.esotericsoftware | kryo-shaded | 4.0.2 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | classmate | 1.3.4 |
com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
com.fasterxml.jackson.core | jackson-core | 2.15.2 |
com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.16.0 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
com.github.ben-manes.咖啡因 | caffeine | 2.9.3 |
com.github.fommil | jniloader | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1 原生 |
com.github.fommil.netlib | native_system java | 1.1 |
com.github.fommil.netlib | native_system java | 1.1 原生 |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1 原生 |
com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1 原生 |
com.github.luben | zstd-jni | 1.5.5-4 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.10.1 |
com.google.crypto.tink | tink | 1.9.0 |
com.google.errorprone | error_prone_annotations | 2.10.0 |
com.google.flatbuffers | flatbuffers-java | 23.5.26 |
com.google.guava | guava | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.helger | 分析工具 | 1.1.1 |
com.ibm.icu | icu4j | 72.1 |
com.jcraft | jsch | 0.1.55 |
com.jolbox | bonecp | 0.8.0.版 |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
com.ning | compress-lzf | 1.1.2 |
com.sun.mail | javax.mail | 1.5.2 |
com.sun.xml.bind | jaxb-core | 2.2.11 |
com.sun.xml.bind | jaxb-impl | 2.2.11 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | chill-java | 0.10.0 |
com.twitter | chill_2.12 | 0.10.0 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | config | 1.4.3 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.uber | H3 | 3.7.3 |
com.univocity | univocity-parsers | 2.9.1 |
com.zaxxer | HikariCP | 4.0.3 |
commons-cli | commons-cli | 1.5.0 |
commons-codec | commons-codec | 1.16.0 |
commons-collections | commons-collections | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
commons-fileupload | commons-fileupload | 1.5 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.13.0 |
commons-lang | commons-lang | 2.6 |
commons-logging | commons-logging | 1.1.3 |
commons-pool | commons-pool | 1.5.4 |
dev.ludovic.netlib | arpack | 3.0.3 |
dev.ludovic.netlib | blas | 3.0.3 |
dev.ludovic.netlib | lapack | 3.0.3 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | aircompressor | 0.25 |
io.delta | delta-sharing-client_2.12 | 1.0.5 |
io.dropwizard.metrics | metrics-annotation | 4.2.19 |
io.dropwizard.metrics | metrics-core | 4.2.19 |
io.dropwizard.metrics | metrics-graphite | 4.2.19 |
io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
io.dropwizard.metrics | metrics-jmx | 4.2.19 |
io.dropwizard.metrics | metrics-json | 4.2.19 |
io.dropwizard.metrics | metrics-jvm | 4.2.19 |
io.dropwizard.metrics | metrics-servlet | 4.2.19 |
io.netty | netty-all | 4.1.96.Final |
io.netty | netty-buffer | 4.1.96.Final |
io.netty | netty-codec | 4.1.96.Final |
io.netty | netty-codec-http | 4.1.96.Final |
io.netty | netty-codec-http2 | 4.1.96.Final |
io.netty | netty-codec-socks | 4.1.96.Final |
io.netty | netty-common | 4.1.96.Final |
io.netty | netty-handler | 4.1.96.Final |
io.netty | netty-handler-proxy | 4.1.96.Final |
io.netty | netty-resolver | 4.1.96.Final |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
io.netty | netty-tcnative-classes | 2.0.61.Final |
io.netty | netty-transport | 4.1.96.Final |
io.netty | netty-transport-classes-epoll | 4.1.96.Final |
io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
io.netty | netty-transport-native-epoll | 4.1.96.Final |
io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
io.netty | netty-transport-native-unix-common | 4.1.96.Final |
io.prometheus | simpleclient | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | 收集器 | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | 啟用 | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1.1 |
javax.transaction | transaction-api | 1.1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolution | javolution | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.12.1 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | pickle | 1.3 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-csv | 2.2.0 |
net.snowflake | snowflake-ingest-sdk | 0.9.6 |
net.sourceforge.f2j | arpack_combined_all | 0.1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.9.3 |
org.antlr | stringtemplate | 3.2.1 |
org.apache.ant | ant | 1.10.11 |
org.apache.ant | ant-jsch | 1.10.11 |
org.apache.ant | ant-launcher | 1.10.11 |
org.apache.arrow | arrow-format | 15.0.0 |
org.apache.arrow | arrow-memory-core | 15.0.0 |
org.apache.arrow | arrow-memory-netty | 15.0.0 |
org.apache.arrow | arrow-vector | 15.0.0 |
org.apache.avro | Avro | 1.11.3 |
org.apache.avro | avro-ipc | 1.11.3 |
org.apache.avro | avro-mapred | 1.11.3 |
org.apache.commons | commons-collections4 | 4.4 |
org.apache.commons | commons-compress | 1.23.0 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | commons-text | 1.10.0 |
org.apache.curator | curator-client | 2.13.0 |
org.apache.curator | curator-framework | 2.13.0 |
org.apache.curator | curator-recipes | 2.13.0 |
org.apache.datasketches | datasketches-java | 3.1.0 |
org.apache.datasketches | datasketches-memory | 2.0.0 |
org.apache.derby | Derby | 10.14.2.0 |
org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | hive-cli | 2.3.9 |
org.apache.hive | hive-jdbc | 2.3.9 |
org.apache.hive | hive-llap-client | 2.3.9 |
org.apache.hive | hive-llap-common | 2.3.9 |
org.apache.hive | hive-serde | 2.3.9 |
org.apache.hive | hive-shims | 2.3.9 |
org.apache.hive | hive-storage-api | 2.8.1 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
org.apache.hive.shims | hive-shims-common | 2.3.9 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
org.apache.httpcomponents | HttpClient | 4.5.14 |
org.apache.httpcomponents | httpcore | 4.4.16 |
org.apache.ivy | ivy | 2.5.1 |
org.apache.logging.log4j | log4j-1.2-api | 2.22.1 |
org.apache.logging.log4j | log4j-api | 2.22.1 |
org.apache.logging.log4j | log4j-core | 2.22.1 |
org.apache.logging.log4j | log4j-layout-template-json | 2.22.1 |
org.apache.logging.log4j | log4j-slf4j2-impl | 2.22.1 |
org.apache.orc | orc-core | 1.9.2-shaded-protobuf |
org.apache.orc | orc-mapreduce | 1.9.2-shaded-protobuf |
org.apache.orc | orc-shims | 1.9.2 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
org.apache.xbean | xbean-asm9-shaded | 4.23 |
org.apache.yetus | audience-annotations | 0.13.0 |
org.apache.zookeeper | ZooKeeper | 3.6.3 |
org.apache.zookeeper | zookeeper-jute | 3.6.3 |
org.checkerframework | checker-qual | 3.31.0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.collections | eclipse-collections | 11.1.0 |
org.eclipse.collections | eclipse-collections-api | 11.1.0 |
org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | hk2-locator | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
org.glassfish.jersey.core | jersey-client | 2.40 |
org.glassfish.jersey.core | jersey-common | 2.40 |
org.glassfish.jersey.core | jersey-server | 2.40 |
org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
org.hibernate.validator | hibernate-validator | 6.1.7.Final |
org.ini4j | ini4j | 0.5.4 |
org.javassist | javassist | 3.29.2-GA |
org.jboss.logging | jboss-logging | 3.3.2.Final |
org.jdbi | jdbi | 2.63.1 |
org.jetbrains | annotations | 17.0.0 |
org.joda | joda-convert | 1.7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
org.json4s | json4s-core_2.12 | 3.7.0-M11 |
org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mlflow | mlflow-spark_2.12 | 2.9.1 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.6.1 |
org.roaringbitmap | RoaringBitmap | 0.9.45-databricks |
org.roaringbitmap | 墊片 | 0.9.45-databricks |
org.rocksdb | rocksdbjni | 8.3.2 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.15 |
org.scala-lang | scala-library_2.12 | 2.12.15 |
org.scala-lang | scala-reflect_2.12 | 2.12.15 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | test-interface | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.2.15 |
org.scalanlp | breeze-macros_2.12 | 2.1.0 |
org.scalanlp | breeze_2.12 | 2.1.0 |
org.scalatest | scalatest 相容 | 3.2.15 |
org.scalatest | scalatest-core_2.12 | 3.2.15 |
org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
org.scalatest | scalatest_2.12 | 3.2.15 |
org.slf4j | jcl-over-slf4j | 2.0.7 |
org.slf4j | jul-to-slf4j | 2.0.7 |
org.slf4j | slf4j-api | 2.0.7 |
org.slf4j | slf4j-simple | 1.7.25 |
org.threeten | threeten-extra | 1.7.1 |
org.tukaani | xz | 1.9 |
org.typelevel | algebra_2.12 | 2.0.1 |
org.typelevel | cats-kernel_2.12 | 2.1.1 |
org.typelevel | spire-macros_2.12 | 0.17.0 |
org.typelevel | spire-platform_2.12 | 0.17.0 |
org.typelevel | spire-util_2.12 | 0.17.0 |
org.typelevel | spire_2.12 | 0.17.0 |
org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
org.xerial | sqlite-jdbc | 3.42.0.0 |
org.xerial.snappy | snappy-java | 1.1.10.3 |
org.yaml | snakeyaml | 2.0 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1.5 |
software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |