次の方法で共有


Databricks Runtime 7.5 (EoS)

Note

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。

Databricks は、2020 年 12 月にこのバージョンをリリースしました。

以下のリリース ノートには、Apache Spark 3.0 で稼働する Databricks Runtime 7.5 に関する情報が記載されています。

新機能

Delta Lake の機能と機能強化

このリリースでは、次の Delta Lake の機能と機能強化が提供されています。

非同期チェックポイント処理による、ストリーミング マイクロバッチ期間のスパイクの排除

Delta Lake では、既定で 10 回のコミットごとにチェックポイントが実行されます。 ストリーミング ワークロードでは、チェックポイント処理によって、10 回のコミットごとにマイクロバッチ期間にわずかなスパイクが発生する可能性があります。 非同期チェックポイント処理を使用すると、これらのスパイクが排除されます。

非同期チェックポイント処理は、Trigger Once 以外のすべてのストリーミング ワークロードに対して既定で有効になっています。 非同期チェックポイント処理では、ストリーミング ライターによる拡張チェックポイントの書き込みも行われます。そのため、拡張チェックポイントに明示的にオプトインする必要はありません。

非同期チェックポイント処理を無効にするには、SQL 構成 spark.databricks.delta.checkpoint.async.enabled false を設定します。

バッチ ワークロードは継続して同期的にチェックポイントを書き込むので、バッチ ワークロードに対して非同期チェックポイント処理を有効にすることはお勧めしません。

カタログへの最新テーブル情報の反映

Delta Lake では、スキーマやテーブルのプロパティなどの最新のテーブル情報が、Hive メタストアなどのカタログにベスト エフォート ベースで伝達されます。 このような情報は、カタログ化ツールを利用して Delta テーブルのスキーマを理解するのに役立ちます。

Delta Lake は内部的にこの情報に依存していませんが、それを最新の状態に保とうとします。 さらに、Delta Lake では、テーブル プロパティ delta.lastUpdateVersiondelta.lastCommitTimestamp を格納して、変更を最後にメタストアにプッシュしたコミットのバージョンとタイムスタンプを示します。 メタストアは、テーブルのスキーマまたはテーブル内のプロパティが一致しない場合にのみ更新されます。 したがって、前述のテーブル プロパティには、必ずしもテーブルの最新バージョンが反映されているとは限りません。

テーブル情報とメタストア情報が同期されていない場合は、DESCRIBE <table> などのコマンドを実行してメタストアを更新できます。

注意

Hive ではパーティションを変更する列は使用できませんが、Delta テーブルではパーティションを変更できます。そのため、Delta テーブルは Hive でパーティション分割されたテーブルとして表示されません。

MERGE INTO 操作での、入れ子になった列のスキーマ展開のサポート

入れ子になった列のスキーマの展開は、最上位レベルの列のセマンティクスと同じになります。 たとえば、新しい入れ子になった列を StructType 列に自動的に追加できます。 詳細については、マージでのスキーマの自動展開に関するページを参照してください。

MERGE INTO 操作での、最適化された書き込みの自動的な使用

最適化された書き込みによって、既定の MERGE INTO のパフォーマンスの大幅な向上が可能になります。パーティション分割されたテーブルに対する MERGE INTO では特にそうです。 最適化された書き込みを無効にするには、Spark 構成 spark.databricks.delta.optimizeWrite.enabledfalse に設定します。

MERGE INTO および UPDATE 操作での、入れ子になった構造体列の名前による解決

更新操作 UPDATEMERGE INTO コマンドで、入れ子になった構造体の列が名前で解決されるようになりました。 つまり、StructType 型の列を比較または代入する場合、入れ子になった列の順序は重要ではありません (最上位レベルの列の順序とまったく同じです)。 位置による解決に戻すには、Spark 構成 spark.databricks.delta.resolveMergeUpdateStructsByName.enabledfalse に設定します。

CLONE が GA になり、テーブル プロパティのオーバーライドが可能

CLONE コマンドが一般提供になりました。 「CREATE TABLE CLONE」を参照してください。 さらに、CLONE を使用するときに、テーブル プロパティのオーバーライドを指定できます。 例については、「Azure Databricks でテーブルを複製する」を参照してください。

RESTORE の GA

RESTORE コマンドが一般提供になりました。 RESTOREを参照してください。

Scala implicits による Spark 読み取りおよび書き込み API の簡略化

io.delta.implicits._ をインポートして、Spark 読み取りおよび書き込み API で delta メソッドを使用できます。

import io.delta.implicits._

spark.read.delta("/my/table/path")
df.write.delta("/my/table/path")
spark.readStream.delta("/my/table/path")
df.writeStream.delta("/my/table/path")

fetchParallelism コネクタ オプションによるストリーミング スループットの向上

AQS コネクタで、キュー サービスからメッセージをフェッチする並列処理を指定する新しいオプション fetchParallelism がサポートされました。

新しい自動ローダー メトリックによるストリーム進行状況の追跡

自動ローダーで、バックログに存在するファイルの数と、各バッチの後のバックログのサイズが報告されます。 これらのメトリックを使用して、ストリームの進行状況を追跡できます。 メトリックを表示する方法の詳細については、「自動ローダー」を参照してください。

機能強化

%pip および %conda マジック コマンドを使用したノートブック スコープ ライブラリのより広範なサポート

テーブル ACL または資格情報パススルーが有効になっている高コンカレンシー クラスターで、%pip および %conda マジック コマンドを使用して、ノートブック スコープのライブラリをインストールできるようになりました。

正確な Spark SQL DECIMAL 表示

Spark SQL DECIMAL データ型が、有効桁数とスケールを失わずにテーブルに表示されるようになりました。

ABFS 用 Hadoop 3.3 に基づく ADLS Gen 2 ストレージ コネクタ

ADLS Gen 2 ストレージ コネクタのアップグレードされたバージョンは、ABFS 用 Hadoop 3.3 に基づいています。 アップグレードされたコネクタには、安定性の向上が多数含まれています (Hadoop の安定性に関するページを参照)。また、SAS トークン認証のサポートが含まれています。

その他の修正

Spark Streaming 用 Databricks Kafka コネクタは削除されました。 Apache Spark コネクタを使用してください。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:
    • koalas が 1.3.0 から 1.4.0 にアップグレード。
  • インストールされているいくつかの R ライブラリがアップグレードされました。 「インストールされている R ライブラリ」を参照してください。
  • OpenJDK 8 ビルドが Zulu 8.50.0.51-CA-linux64 (ビルド 1.8.0_275-b01) にアップグレード。

Apache Spark

Databricks Runtime 7.5 には、Apache Spark 3.0.1 が含まれています。 このリリースには、Databricks Runtime 7.4 (EoS) に含まれている Spark の修正プログラムと改善すべてに加えて、Spark に対して行われた次のバグ修正と改善が含まれています。

  • [SPARK-33611] [UI] 書き換えられたプロキシ URL のクエリ パラメーターで 2 回エンコードしないようにする
  • [SPARK-33587] [CORE] 入れ子になった致命的なエラーで Executor をキルする (7.x)
  • [SPARK-33140] [SQL] 渡された SparkSession を使用しないコードを元に戻して SQLConf を取得する
  • [SPARK-33472] [SQL] RemoveRedundantSorts ルールの順序を調整する
  • [SPARK-33422] [DOC] 左側のメニュー項目の正しい表示を修正
  • [SPARK-27421] [SQL] パーティション列を削除するときの int 列と値クラス java.lang.String のフィルターを修正
  • [SPARK-33483] [INFRA][TESTS] rat の除外パターンを修正し、LICENSE を追加
  • [SPARK-33464] [INFRA] (不) 必要なキャッシュを追加または削除し、GitHub Actions yaml を再構築する
  • [SPARK-33407] [PYTHON][7.X] Python UDF からの例外メッセージの簡略化 (既定では無効)
  • [SPARK-33435] [SQL] DSv2: REFRESH TABLE はテーブルを参照するキャッシュを無効にする必要がある
  • [SPARK-33358] [SQL] コマンド プロセスが失敗した場合にコードを返す
  • [SPARK-33183] [DBCONNECT] RemoveRedundantSorts.scala を ALLOW_LIST.txt に追加
  • [SPARK-33290] [SQL] REFRESH TABLE はテーブル自体がキャッシュされない場合でもキャッシュを無効にする必要がある
  • [SPARK-33140] [SQL] 差分コンパイルを修正
  • [SPARK-33316] [SQL] スキーマ レジストリとユーザー指定の Null 許容 Avro スキーマを使用して from_avro と to_avro の単体テストを追加する
  • [SPARK-33404] [SQL] date_trunc 式の正しくない結果を修正
  • [SPARK-33339] [PYTHON] Pyspark アプリケーションが例外以外のエラーにより停止
  • [SPARK-33412] [SQL] OverwriteByExpression は、入力クエリではなくテーブルの関係に基づいて削除条件を解決する必要がある
  • [SPARK-33391] [SQL] CreateArray を使用する element_at が、1 から始まるインデックスを考慮していない。
  • [SPARK-33316] [SQL] Avro の書き込みで Null 非許容の Catalyst スキーマに対し、ユーザーが指定した Null 許容の Avro スキーマをサポート
  • [SPARK-33372] [SQL] InSet バケットの削除を修正
  • [SPARK-33371] [PYTHON] Python 3.9 setup.py とテストの更新
  • [SPARK-33140] [SQL] Rule[QueryPlan] のすべてのサブクラスで SQLConf と SparkSession を削除
  • [SPARK-33338] [SQL] リテラル マップを使用する GROUP BY が失敗しないこと
  • [SPARK-33306] [SQL] 日付を文字列にキャストするときにタイムゾーンが必要
  • [SPARK-33284] [WEB-UI] Storage UI ページで、テーブルを並べ替えるために任意のフィールドをクリックすると、ヘッダー コンテンツが失われる
  • [SPARK-33362] [SQL] skipSchemaResolution であってもクエリを解決する必要がある
  • [SPARK-32257] [SQL] SET または RESET コマンドの無効な使用に関する明示的なエラーを報告する
  • [SPARK-32406] [SQL] RESET 構文で単一の構成リセットをサポートする
  • [SPARK-32376] [SQL] unionByName の null 値入力動作を構造体列で機能させる
  • [SPARK-32308] [SQL] unionByName の名前による解決ロジックを API コードから分析フェーズに移動する
  • [SPARK-20044] [UI] パス プレフィックス Revert プロキシ URL を使用して、フロントエンド リバース プロキシの背後にある Spark UI をサポート
  • [SPARK-33268] [SQL][PYTHON] PythonUserDefinedType からの (または PythonUserDefinedType への) データのキャストに関するバグを修正
  • [SPARK-33292] [SQL] リテラル ArrayBasedMapData 文字列表現のあいまいさを解消する
  • [SPARK-33183] [SQL] オプティマイザー ルール EliminateSorts を修正し、冗長な並べ替えを削除するための物理ルールを追加
  • [SPARK-33272] [SQL] QueryPlan.transformUpWithNewOutput で属性マッピングを削除する
  • [SPARK-32090] [SQL] UserDefinedType.equal() を改善して対称型にする
  • [SPARK-33267] [SQL] 値の 1 つが Null を含む場合の 'In' フィルターでの NPE の問題を修正
  • [SPARK-33208] [SQL] SparkSession#sql のドキュメントを更新
  • [SPARK-33260] [SQL] sortOrder が Stream のときの SortExec の正しくない結果を修正
  • [SPARK-33230] [SQL] "spark.sql.sources.writeJobUUID" で一意のジョブ ID を取得する Hadoop コミッター
  • [SPARK-33197] [SQL] spark.sql.analyzer.maxIterations への変更が実行時に有効になるようにする
  • [SPARK-33228] [SQL] 同じ論理プランを持つビューを置き換えるときにデータをキャッシュ解除しない
  • [SPARK-32557] [CORE] 履歴サーバーでのエントリごとの例外のログ記録と処理
  • [SPARK-32436] [CORE] HighlyCompressedMapStatus.readExternal で numNonEmptyBlocks を初期化する
  • [SPARK-33131] [SQL] having 句を使用したグループ化セットで、修飾された列名を解決できないのを修正
  • [SPARK-32761] [SQL] 複数のフォールド可能な個別の式の集計を許可する
  • [SPARK-33094] [SQL] ORC 形式で Hadoop 構成を DS オプションから基になる HDFS ファイル システムに伝達する

メンテナンスの更新

Databricks Runtime 7.5 メンテナンス更新プログラムに関するページを参照してください。

システム環境

  • オペレーティング システム: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.50.0.51-CA-linux64 (ビルド 1.8.0_275-b01)
  • Scala: 2.12.10
  • Python: 3.7.5
  • R: R バージョン 3.6.3 (2020-02-29)
  • Delta Lake 0.7.0

インストールされている Python ライブラリ

ライブラリ Version ライブラリ Version ライブラリ Version
asn1crypto 1.3.0 backcall 0.1.0 boto3 1.12.0
botocore 1.15.0 certifi 2020.6.20 cffi 1.14.0
chardet 3.0.4 cryptography 2.8 cycler 0.10.0
Cython 0.29.15 decorator 4.4.1 docutils 0.15.2
entrypoints 0.3 idna 2.8 ipykernel 5.1.4
ipython 7.12.0 ipython-genutils 0.2.0 jedi 0.17.2
jmespath 0.10.0 joblib 0.14.1 jupyter-client 5.3.4
jupyter-core 4.6.1 kiwisolver 1.1.0 koalas 1.4.0
matplotlib 3.1.3 numpy 1.18.1 pandas 1.0.1
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 pip 20.0.2 prompt-toolkit 3.0.3
psycopg2 2.8.4 ptyprocess 0.6.0 pyarrow 1.0.1
pycparser 2.19 Pygments 2.5.2 PyGObject 3.26.1
pyOpenSSL 19.1.0 pyparsing 2.4.6 PySocks 1.7.1
python-apt 1.6.5+ubuntu0.3 python-dateutil 2.8.1 pytz 2019.3
pyzmq 18.1.1 requests 2.22.0 s3transfer 0.3.3
scikit-learn 0.22.1 scipy 1.4.1 seaborn 0.10.0
setuptools 45.2.0 6 1.14.0 ssh-import-id 5.7
statsmodels 0.11.0 tornado 6.0.3 traitlets 4.3.3
unattended-upgrades 0.1 urllib3 1.25.8 virtualenv 16.7.10
wcwidth 0.1.8 wheel 0.34.2

インストールされている R ライブラリ

R ライブラリは、2020 年 11 月 2 日の Microsoft CRAN スナップショットからインストールされています。

ライブラリ Version ライブラリ Version ライブラリ Version
askpass 1.1 assertthat 0.2.1 backports 1.1.10
base 3.6.3 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob (blob) 1.2.1
boot 1.3-25 brew 1.0-6 brio 1.1.0
broom 0.7.2 callr 3.5.1 キャレット 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-17
cli 2.1.0 clipr 0.7.1 cluster 2.1.0
codetools 0.2-18 colorspace 1.4-1 commonmark 1.7
compiler 3.6.3 config 0.3 covr 3.5.1
cpp11 0.2.3 crayon 1.3.4 crosstalk 1.1.0.1
curl 4.3 data.table 1.13.2 datasets 3.6.3
DBI 1.1.0 dbplyr 1.4.4 desc 1.2.0
devtools 2.3.2 diffobj 0.3.2 digest 0.6.27
dplyr 0.8.5 DT 0.16 ellipsis 0.3.1
evaluate 0.14 fansi 0.4.1 farver 2.0.3
fastmap 1.0.1 forcats 0.5.0 foreach 1.5.1
foreign 0.8-76 forge 0.2.0 fs 1.5.0
generics 0.1.0 ggplot2 3.3.2 gh 1.1.0
git2r 0.27.1 glmnet 3.0-2 globals 0.13.1
glue 1.4.2 gower 0.2.2 graphics 3.6.3
grDevices 3.6.3 grid 3.6.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0.8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.2 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.2 iterators 1.0.13
jsonlite 1.7.1 KernSmooth 2.23-18 knitr 1.30
labeling 0.4.2 later 1.1.0.1 lattice 0.20-41
lava 1.6.8 lazyeval 0.2.2 ライフサイクル 0.2.0
lubridate 1.7.9 magrittr 1.5 markdown 1.1
MASS 7.3-53 Matrix 1.2-18 memoise 1.1.0
methods 3.6.3 mgcv 1.8-33 mime 0.9
ModelMetrics 1.2.2.2 modelr 0.1.8 munsell 0.5.0
nlme 3.1-150 nnet 7.3-14 numDeriv 2016.8-1.1
openssl 1.4.3 parallel 3.6.3 pillar 1.4.6
pkgbuild 1.1.0 pkgconfig 2.0.3 pkgload 1.1.0
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 pROC 1.16.2 processx 3.4.4
prodlim 2019.11.13 progress 1.2.2 promises 1.1.1
proto 1.0.0 ps 1.4.0 purrr 0.3.4
r2d3 0.2.3 R6 2.5.0 randomForest 4.6-14
rappdirs 0.3.1 rcmdcheck 1.3.3 RColorBrewer 1.1-2
Rcpp 1.0.5 readr 1.4.0 readxl 1.3.1
recipes 0.1.14 rematch 1.0.1 rematch2 2.1.2
remotes 2.2.0 reprex 0.3.0 reshape2 1.4.4
rex 1.2.0 rjson 0.2.20 rlang 0.4.8
rmarkdown 2.5 RODBC 1.3-16 roxygen2 7.1.1
rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-7
RSQLite 2.2.1 rstudioapi 0.11 rversions 2.0.2
rvest 0.3.6 scales 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 shape 1.4.4 shiny 1.5.0
sourcetools 0.1.7 sparklyr 1.4.0 SparkR 3.0.0
spatial 7.3-11 splines 3.6.3 sqldf 0.4-11
SQUAREM 2020.5 stats 3.6.3 stats4 3.6.3
stringi 1.5.3 stringr 1.4.0 survival 3.2-7
sys 3.4 tcltk 3.6.3 TeachingDemos 2.10
testthat 3.0.0 tibble 3.0.4 tidyr 1.1.2
tidyselect 1.1.0 tidyverse 1.3.0 timeDate 3043.102
tinytex 0.27 tools 3.6.3 usethis 1.6.3
utf8 1.1.4 utils 3.6.3 uuid 0.1-4
vctrs 0.3.4 viridisLite 0.3.0 waldo 0.2.2
whisker 0.4 withr 2.3.0 xfun 0.19
xml2 1.3.2 xopen 1.0.0 xtable 1.8-4
yaml 2.2.1

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ ID 成果物 ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics ストリーム (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.4-3
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.0
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.47.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx コレクタ 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.7.1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.15.1
org.apache.arrow arrow-memory 0.15.1
org.apache.arrow arrow-vector 0.15.1
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.9
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.1
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.10
org.apache.orc orc-mapreduce 1.5.10
org.apache.orc orc-shims 1.5.10
org.apache.parquet parquet-column 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet parquet-encoding 1.10.1-databricks6
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity velocity 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.18.v20190429
org.eclipse.jetty jetty-continuation 9.4.18.v20190429
org.eclipse.jetty jetty-http 9.4.18.v20190429
org.eclipse.jetty jetty-io 9.4.18.v20190429
org.eclipse.jetty jetty-jndi 9.4.18.v20190429
org.eclipse.jetty jetty-plus 9.4.18.v20190429
org.eclipse.jetty jetty-proxy 9.4.18.v20190429
org.eclipse.jetty jetty-security 9.4.18.v20190429
org.eclipse.jetty jetty-server 9.4.18.v20190429
org.eclipse.jetty jetty-servlet 9.4.18.v20190429
org.eclipse.jetty jetty-servlets 9.4.18.v20190429
org.eclipse.jetty jetty-util 9.4.18.v20190429
org.eclipse.jetty jetty-webapp 9.4.18.v20190429
org.eclipse.jetty jetty-xml 9.4.18.v20190429
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.6.6
org.json4s json4s-core_2.12 3.6.6
org.json4s json4s-jackson_2.12 3.6.6
org.json4s json4s-scalap_2.12 3.6.6
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap shims 0.7.45
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark 未使用 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.5
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52