次の方法で共有


Databricks Runtime 8.3 (EoS)

Note

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。

次のリリース ノートには、Apache Spark 3.1.1 で稼働する Databricks Runtime 8.3 と Databricks Runtime 8.3 Photon に関する情報が記載されています。 Databricks は、2021 年 6 月にこのバージョンをリリースしました。 Photonパブリック プレビュー段階にあります。

新機能と機能強化

Delta テーブルで生成された列 (パブリック プレビュー)

Delta Lake では、"生成された列" がサポートされるようになりました。これは、Delta テーブル内の他の列に対するユーザー指定の関数に基づいて値が自動的に生成される、特殊なタイプの列です。 これらの生成された列の値を生成するには、ほとんどすべての組み込み SQL 関数を使用できます。 たとえば、テーブルを日付でパーティション分割するために、タイムスタンプ列から日付列を自動的に生成できます。テーブルへ書き込みするとき必要なのは、タイムスタンプ列のデータを指定するだけです。 生成された列を含む Delta テーブルは、SQL、Scala、Java、または Python API を使用して作成できます。

詳細については、「Delta Lake で生成された列」を参照してください。

自動ローダーの機能と機能強化

自動ローダーでの CSV ファイルのスキーマ推論

自動ローダーでは CSV ファイルに対するスキーマの推論と展開がサポートされるようになりました。 自動ローダーでは、Apache Spark の既存の CSV パーサーに加えて次の機能が用意されています。

  • スキーマのマージ: 自動ローダーでは、ファイル間でスキーマが異なる (列の数や列の順序が異なる) CSV ファイルを取り込むことができます。
  • 復旧されたデータ列: 復旧されたデータ列を使用して、CSV ファイルに表示される可能性がある予期しないデータを復旧できます。 これには、予期されるデータ型で解釈できないデータ、ヘッダーで大文字と小文字が異なっているか null 値がある列、または予期されるスキーマの一部ではない追加の列などが含まれます。

詳細については、「自動ローダーでのスキーマの推論と展開の構成」を参照してください。

自動ローダー ストリームの起動時間の改善

自動ローダー ストリームでは、最初の起動時にストリームの初期バックフィルを非同期的に実行するようになりました。これにより、ストリームの起動時間が大幅に短縮されます。 これにより、特に数百万個あるいは数十億個のファイルを含むディレクトリからデータを取り込む必要がある場合に、運用データでコードをすばやく反復処理することができます。

また、再起動されるストリームのブートストラップ時間も改善されています。これは、厳密に 1 回のセマンティクスを提供するために自動ローダーで使用される RocksDB ファイルのダウンロードとアップロードが並列化されているためです。

自動ローダーでのディレクトリ リスト作成の高速化

自動ローダーのディレクトリ リスト作成の効率が大幅に向上しました。 このパフォーマンス向上の副作用として、処理する新しいデータが存在しない場合にストリームによってストレージ システムに対してより多くのリスト要求が生成されることがあり、これによって、リスト要求の料金が急増する可能性があります。 一般的なベスト プラクティスとして、Databricks では運用ストリーミング パイプラインに対して適切なトリガー間隔を設定することをお勧めします。 「構造化ストリーミングの運用に関する考慮事項」を参照してください。

自動ローダー チェックポイントのストレージ オーバーヘッドの削減

自動ローダー ストリームでは、チェックポイント ディレクトリのサイズが無期限に増大するのを回避し、ストレージ コストを削減するために、チェックポイント ディレクトリ内の古いファイルが非同期的に自動的にクリーンアップされるようになりました。

自動ローダーでは復旧されたデータ列にファイル パスが含められる (使用可能な場合)

復旧されたデータ列には、_file_ path という名前の列にある場合、復旧されたデータのファイル パスが自動的に提供されます。 これは、データ品質の問題の根本原因を追跡するのに役立ちます。 データ スキーマに _file_path という名前の列が含まれている場合、この列は含まれません。 必要に応じて、SQL 構成 spark.databricks.sql.rescuedDataColumn.filePath.name を使用して列の名前を変更できます。

自動ローダーではファイル通知モードで Azure Data Lake Storage Gen2 でのファイル名の変更がサポートされる

自動ローダーでは、ファイル通知モードで実行するときに、Azure Data Lake Storage Gen2 の BlobRenamed イベントがサポートされるようになりました。 ファイル通知を使用した名前の変更操作によって Azure Data Lake Storage Gen2 コンテナーにアップロードされたファイルを処理するには Databricks Runtime 8.3 を使用して、自動ローダーで新しいストリームを開始します。 ファイルが厳密に 1 回処理されるようにするには、ファイルの名前が変更されるソース ディレクトリが自動ローダーによって監視されないようにしてください。

新しいプログラムによる API を使用した Delta テーブルの作成 (パブリック プレビュー)

データフレーム API を使用せずにプログラムによって (Scala、Java、Python を使用して) 新しい Delta テーブルを作成できるようになりました。 新しい DeltaTableBuilder およびDeltaColumnBuilder の API を使用して、SQL の CREATE TABLE を使用して指定できるテーブルの詳細をすべて指定できます。

詳細については、「テーブルの作成」を参照してください。

SQL ANALYZE での Delta テーブル サイズの正しい計算

既存の分析ロジックでは、Delta テーブルのテーブル サイズが誤って計算され、間違ったサイズでカタログが更新されます。 この修正は、デルタ ログから Delta テーブルのサイズを取得することです。

RocksDBStateStore を使用するときの RocksDB パフォーマンスの詳細なメトリック

RocksDB を状態ストアとして使用するように構造化ストリーミング クエリを構成している場合、get/put 遅延、圧縮遅延、キャッシュ ヒットなどに関する詳細なメトリックを使用して、RocksDB のパフォーマンスの可視性を向上できるようになりました。 これらのメトリックは、ストリーミング クエリを監視するために StreamingQueryProgress および StreamingQueryListener API を通じて利用できます。

詳細については、「Azure Databricks で RocksDB 状態ストアを構成する」を参照してください。

自動で最適化された書き込み

パーティション分割された Delta テーブルへの最適化された書き込みが、サブクエリを含む更新および削除クエリに対して自動的に有効化されるようになりました。

結合の片側のみがバケット化されている場合にバケット化された結合が可能になる

新しい構成 spark.databricks.sql.minBucketsForBucketedJoin では、結合の片側のみがバケット化され、バケットの数がこの構成値を下回らない場合に、バケット化された結合が可能になります。 既定では、この構成値は既定のシャッフル パーティション数 (200) と同じです。

Spark UDF を定義するときのセキュリティの強化 (パブリック プレビュー)

ユーザー情報関数 current_user および is_member は、Python の spark.udf.register や SQL の create or replace temp function を含む一時関数でオーバーライドできなくなりました。

from_avro を使用したクエリのスキーマ レジストリへの要求数の削減

スキーマ レジストリをサポートする from_avro を使用したクエリでは、スキーマ レジストリ サービスに対して同数の要求が生成されなくなり、運用コストが削減されます。

ListResults を使用した R での複数の結果 (パブリック プレビュー)

Databricks R ノートブックでは、各セルで複数の結果がサポートされるようになりました。 以前は、ノートブック セルごとに 1 つの結果のみが表示されていました。 現在、R ノートブックの 1 つのセルの結果は、次の順序で表示されます。

  1. RShiny URL
  2. プロット
  3. displayHTML の出力
  4. テーブル
  5. stdout

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:
    • koalas が 1.7.0 から 1.8.0 にアップグレード。
    • pandas が 1.1.3 から 1.1.5 にアップグレード。
    • s3transfer が 0.3.4 から 0.3.6 にアップグレード。
  • アップグレードされた R ライブラリ:
    • SparkR が 3.1.1 から 3.1.2 にアップグレード。
  • アップグレードされた Java ライブラリ:
    • mariadb-java-client が 2.1.2 から 2.2.5 へ。
    • parquet-column が 1.10.1-databricks6 から 1.10.1-databricks9 へ
    • parquet-common が 1.10.1-databricks6 から 1.10.1-databricks9 へ
    • parquet-encoding が 1.10.1-databricks6 から 1.10.1-databricks9 へ
    • parquet-hadoop が 1.10.1-databricks6 から 1.10.1-databricks9 へ
    • parquet-jackson が 1.10.1-databricks6 から 1.10.1-databricks9 へ

Apache Spark

Databricks Runtime 8.3 には、Apache Spark 3.1.1 が含まれています。 このリリースには、Databricks Runtime 8.2 (EoS) に含まれるすべての Spark の修正プログラムおよび機能強化に加え、Spark に対して行われた以下のバグ修正と機能強化が含まれています。

  • [SPARK-34614] [SQL] ANSI モード: 文字列をブール値にキャストすると、解析エラーが発生した場合に例外をスローする必要がある
  • [SPARK-34246] [FOLLOWUP] `findTightestCommonT…の定義を変更する
  • [SPARK-35213] [SQL] チェーン化された withField 演算で、入れ子になった構造体の正しい順序を保持する
  • [SPARK-35096] [SQL] SchemaPruning は spark.sql.caseSensitive config に従う必要がある
  • [SPARK-35227] [BUILD] SparkSubmit の SPARK パッケージの競合回避モジュールを更新する
  • [SPARK-35224] [SQL] MutableProjectionSuite のバッファー オーバーフローを修正する
  • [SPARK-34245] [CORE] 完了状態を送信できなかった実行プログラムがマスターによって削除されることを確認
  • [SPARK-34856] [SQL] ANSI モード: 複合型を文字列型としてキャストできるようにした
  • [SPARK-34946] [SQL] 集計でサポートされていない相関スカラー サブクエリをブロックする
  • [SPARK-35014] フォールド可能な式を再書き込みしないように PhysicalAggregation パターンを修正する
  • [SPARK-34769] [SQL] AnsiTypeCoercion: 最も近い … を返す

システム環境

  • オペレーティング システム: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.52.0.23-CA-linux64 (ビルド 1.8.0_282-b08)
  • Scala: 2.12.10
  • Python: 3.8.8
  • R: R バージョン 4.0.4 (2021-02-15)
  • Delta Lake 1.0.0

インストールされている Python ライブラリ

ライブラリ Version ライブラリ Version ライブラリ Version
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2020.12.5 cffi 1.14.3 chardet 3.0.4
cryptography 3.1.1 cycler 0.10.0 Cython 0.29.21
decorator 4.4.2 distlib 0.3.1 docutils 0.15.2
entrypoints 0.3 facets-overview 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.19.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 0.17.0 jupyter-client 6.1.7 jupyter-core 4.6.3
kiwisolver 1.3.0 koalas 1.8.0 matplotlib 3.2.2
numpy 1.19.2 pandas 1.1.5 parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
pip 20.2.4 plotly 4.14.3 prompt-toolkit 3.0.8
protobuf 3.17.0 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2.20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.5 pyzmq 19.0.2
requests 2.24.0 retrying 1.3.3 s3transfer 0.3.6
scikit-learn 0.23.2 scipy 1.5.2 seaborn 0.10.0
setuptools 50.3.1 6 1.15.0 statsmodels 0.12.0
threadpoolctl 2.1.0 tornado 6.0.4 traitlets 5.0.5
urllib3 1.25.11 virtualenv 20.2.1 wcwidth 0.2.5
wheel 0.35.1

インストールされている R ライブラリ

R ライブラリは、2020 年 11 月 2 日の Microsoft CRAN スナップショットからインストールされています。

ライブラリ Version ライブラリ Version ライブラリ Version
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.0.4 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob (blob) 1.2.1
boot 1.3-27 brew 1.0-6 brio 1.1.0
broom 0.7.2 callr 3.5.1 キャレット 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-18
cli 2.2.0 clipr 0.7.1 cluster 2.1.1
codetools 0.2-18 colorspace 2.0-0 commonmark 1.7
compiler 4.0.4 config 0.3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 資格情報 1.3.0
crosstalk 1.1.0.1 curl 4.3 data.table 1.13.4
datasets 4.0.4 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
ellipsis 0.3.1 evaluate 0.14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 foreign 0.8-81 forge 0.2.0
fs 1.5.0 future 1.21.0 generics 0.1.0
gert 1.0.2 ggplot2 3.3.2 gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globals 0.14.0
glue 1.4.2 gower 0.2.2 graphics 4.0.4
grDevices 4.0.4 grid 4.0.4 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0.8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 knitr 1.30
labeling 0.4.2 later 1.1.0.1 lattice 0.20-41
lava 1.6.8.1 lazyeval 0.2.2 ライフサイクル 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-53.1 Matrix 1.3-2
memoise 1.1.0 methods 4.0.4 mgcv 1.8-33
mime 0.9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-15
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.0.4
parallelly 1.22.0 pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
progress 1.2.2 promises 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recipes 0.1.15
rematch 1.0.1 rematch2 2.1.2 remotes 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0.13
rversions 2.0.2 rvest 0.3.6 scales 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 shape 1.4.5
shiny 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.2 spatial 7.3-11 splines 4.0.4
sqldf 0.4-11 SQUAREM 2020.5 stats 4.0.4
stats4 4.0.4 stringi 1.5.3 stringr 1.4.0
survival 3.2-7 sys 3.4 tcltk 4.0.4
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0.28 tools 4.0.4
usethis 2.0.0 utf8 1.1.4 utils 4.0.4
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
waldo 0.2.3 whisker 0.4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ ID 成果物 ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics ストリーム (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx コレクタ 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-2.7 liball_deps_2.12
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet-encoding 1.10.1-databricks9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity velocity 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-continuation 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap shims 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark 未使用 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52