次の方法で共有


Databricks Runtime 4.2 (サポート期間終了)

Note

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。

Databricks は、2018 年 7 月にこのバージョンをリリースしました。

重要

このリリースは、2019 年 3 月 5 日に非推奨となりました。 Databricks Runtime の非推奨ポリシーとスケジュールの詳細については、「Databricks のサポート ライフサイクル」を参照してください。

次のリリース ノートには、Apache Spark で稼働する Databricks Runtime 4.2 に関する情報が記載されています。

Delta Lake

Databricks Runtime 4.2 では、Delta Lake に大幅な品質向上と機能が追加されています。 Databricks では、すべての Delta Lake のお客様が新しいランタイムにアップグレードすることを強くお勧めします。 このリリースはプライベート プレビューのままですが、今後の一般提供 (GA) リリースを想定したリリース候補です。

新機能

  • df.writeStream.table(...) を使用して、Hive メタストアに登録されている Delta テーブルにストリームを直接書き込めるようになりました。

機能強化

  • すべての Delta Lake コマンドとクエリで、パスを識別子として使用するテーブルの参照がサポートされるようになりました。

    delta.`<path-to-table>`
    

    以前は OPTIMIZE および VACUUM では、文字列リテラルの標準以外の使用が必要でした (つまり、'<path-to-table>')。

  • DESCRIBE HISTORY にはコミット ID が含まれるようになり、既定では新しい順に並べ替えられます。

バグの修正

  • パーティション述語に基づくフィルター処理は、述語の大文字小文字の区別がテーブルの大文字小文字の区別と異なる場合でも正しく動作するようになりました。
  • Delta テーブルのブール値の列に対して等値チェックを実行する (つまり、booleanValue = true) ときに見つからない列 AnalysisException を修正しました。
  • CREATE TABLE は、既存のテーブルへのポインターを作成するときにトランザクション ログを変更しなくなりました。 これにより、同時実行ストリームとの不要な競合が防止され、ユーザーがデータへの読み取りアクセス権のみを持つテーブルへのメタストア ポインターの作成が可能になります。
  • 大量のデータを含むストリームで display() を呼び出しても、ドライバーで OOM が発生しなくなりました。
  • AnalysisException は、空の結果を返すのではなく、基になる Delta Lake パスが削除された場合にスローされます。
  • 特定のプロトコル バージョン (例: appendOnly) を必要とする Delta Lake 構成は、該当するバージョンのテーブルにのみ適用できます。
  • Delta テーブルの状態を更新するときに、StackOverFlowError を回避するために長い系列が自動的に切り捨てられるようになりました。

構造化ストリーミング

新機能

  • Delta Lake と Kafka で、Trigger.Once が完全にサポートされるようになりました。 以前は、ソース オプションまたは既定値として指定されたレート制限 (例: maxOffsetsPerTrigger または maxFilesPerTrigger) では、使用可能なデータが部分的に実行されるだけになる場合がありました。 Trigger.Once を使用する場合、これらのオプションは無視されるようになり、現在使用可能なすべてのデータを処理できます。

  • Scala に新しいストリーミング foreachBatch() が追加されました。この場合、DataFrame 操作を使用してすべてのマイクロバッチの出力を処理する関数を定義できます。 これにより、以下の処理を行うことができます。

    • 既存のバッチ データ ソースを使用して、ストリーミング データ ソースがまだないシステムにマイクロバッチ出力を書き込む (たとえば、すべてのマイクロバッチ出力で Cassandra バッチ ライターを使用する)。
    • マイクロバッチ出力を複数の場所に書き込む。
    • ストリーミング DataFrames でまだサポートされていないマイクロバッチ出力に DataFrame とテーブル操作を適用する (たとえば、マイクロバッチ出力を Delta テーブルにアップサートする)。
  • from_json/to_json のように、ファイルだけではなく、DataFrame 内で Avro データの読み取りと書き込みを行う from_avro/to_avro 関数が追加されました。 詳細については、任意の場所での Avro データの読み取りと書き込みに関するページを参照してください。

  • Python でのストリーミング foreach() のサポートが追加されました (Scala で既に利用可能)。 詳細については、foreach と foreachBatch に関するドキュメントを参照してください。

機能強化

  • 入力ストリームにデータがない場合に、ステートフル操作 (mapGroupsWithState、ストリーム同士の結合、ストリーミングの集計、ストリーミングの dropDuplicates) を使用して、出力結果の生成や状態のクリーンアップを迅速化します。

バグの修正

  • ストリーム同士の結合の正確性のバグ SPARK-24588 を修正しました。この場合、前に明示的な再パーティションがある場合に報告される結合の結果が少なくなりました (例: df1.repartition("a", "b").join(df, "a"))。

その他の変更と機能強化

  • テーブルのアクセス制御が有効なクラスターに対する SQL 拒否コマンドのサポートが追加されました。 ユーザーは、以前に付与されたのと同じ方法で、特定のアクセス許可を拒否できるようになりました。 拒否されたアクセス許可は、付与されたアクセス許可より優先されます。 特定のオブジェクトの管理者と所有者は、引き続き常にアクションを実行できます。
  • ABFS ドライバーを使用する新しい Azure Data Lake Storage Gen2 データ ソース。 「Azure Data Lake Storage Gen2 と Blob Storage に接続する」を参照してください。
  • インストールされている Python ライブラリの一部をアップグレードしました。
    • pip: 10.0.0b2 から 10.0.1
    • setuptools: 39.0.1 から 39.2.0
    • tornado: 5.0.1 から 5.0.2
    • wheel: 0.31.0 から 0.31.1
  • インストールされているいくつかの R ライブラリがアップグレードされました。 「インストールされている R ライブラリ」を参照してください。
  • Parquet のサポートが強化されました
  • Apache ORC が 1.4.1 から 1.4.3 へアップグレードされました

Apache Spark

Databricks Runtime 4.2 には、Apache Spark 2.3.1 が含まれています。 このリリースには、Databricks Runtime 4.1 (サポート期間終了) に含まれるすべての修正と機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。

  • [SPARK-24588][SS] ストリーミング結合では子からの HashClusteredPartitioning を要求する必要がある
  • [SPARK-23931][SQL] function.scala @scala.annotation.varargsarrays_zip を作成する。
  • [SPARK-24633][SQL] arrays_zip で分割が必要な場合に codegen を修正する
  • [SPARK-24578][CORE] 返される nio バッファーのサブリージョン サイズの上限を設定する
  • [SPARK-24613][SQL] UDF を含むキャッシュを後続の依存キャッシュと一致させることができなかった
  • [SPARK-24583][SQL] InsertIntoDataSourceCommand の正しくないスキーマ型
  • [SPARK-24565][SS] 各マイクロバッチの出力行を DataFrame として公開する API を構造化ストリーミングに追加する
  • [SPARK-24396][SS] [PYSPARK] Python 用の構造化ストリーミング ForeachWriter を追加する
  • [SPARK-24216][SQL] Spark TypedAggregateExpression では、Scala で安全でない getSimpleName が使用される
  • [SPARK-24452][SQL] [CORE] Int の加算または乗算でオーバーフローする可能性を回避する
  • [SPARK-24187][R] [SQL] SparkR に array_join 関数を追加する
  • [SPARK-24525][SS] MemorySink 内の行数を制限するオプションを提供する
  • [SPARK-24331][SPARKR] [SQL] SparkR への arrays_overlap、array_repeat、map_entries の追加
  • [SPARK-23931][SQL] arrays_zip 関数を Spark SQL に追加する
  • [SPARK-24186][R] [SQL] R のコレクション関数に reverse および concat を変更する
  • [SPARK-24198][SPARKR] [SQL] SparkR への slice 関数の追加
  • [SPARK-23920][SQL] element に等しいすべての要素を配列から削除するために array_remove を追加する
  • [SPARK-24197][SPARKR] [SQL] SparkR への array_sort 関数の追加
  • [SPARK-24340][CORE] スタンドアロン クラスターで Executor 終了後、シャッフルされていないディスク ブロック マネージャー ファイルをクリーンアップする
  • [SPARK-23935][SQL] map_entries 関数を追加する
  • [SPARK-24500][SQL] ツリー変換中にストリームが具体化されることを確認する。
  • [SPARK-24495][SQL] 等しいキーの並べ替え時に EnsureRequirement が間違ったプランを返す
  • [SPARK-24506][UI] バインド後に追加されたタブに UI フィルターを追加する
  • [SPARK-24468][SQL] 10 進演算の有効桁数を調整するときに負のスケールを処理する
  • [SPARK-24313][SQL] 複合型に対するコレクション操作の解釈された評価を修正する
  • [SPARK-23922][SQL] arrays_overlap関数を追加する
  • [SPARK-24369][SQL] 同じ引数が設定されている複数の個別の集計の処理を訂正する
  • [SPARK-24455][CORE] TaskSchedulerImpl コメントの入力ミスを修正する
  • [SPARK-24397][PYSPARK] Python に TaskContext.getLocalProperty(key) を追加した
  • [SPARK-24117][SQL] getSizePerRow を統合した
  • [SPARK-24156][SS] データなしバッチの障害から回復するエラーを修正する
  • [SPARK-24414][UI] ステージの正しいタスク数を計算する。
  • [SPARK-23754][PYTHON] クライアント コードで StopIteration を再生成する
  • [SPARK-23991][DSTREAMS] allocateBlocksToBatch で WAL 書き込み失敗時のデータ損失を修正する
  • [SPARK-24373][SQL] RelationalGroupedDataset と KeyValueGroupedDataset の子に AnalysisBarrier を追加する
  • [SPARK-24392][PYTHON] pandas_udfに試験段階のラベルを付ける
  • [SPARK-24334] Arrow メモリ アロケーターの不完全なシャットダウンの原因となる ArrowPythonRunner の競合状態を修正する
  • [SPARK-19112][CORE] 欠落している shortCompressionCodecNames を構成に追加する。
  • [SPARK-24244][SPARK-24368][SQL] CSV パーサーに必要な列のみを渡す
  • [SPARK-24366][SQL] 型変換のエラー メッセージの改善
  • [SPARK-24371][SQL] Scala 用の DataFrame API に isInCollection を追加…
  • [SPARK-23925][SQL] array_repeat コレクション関数を追加する
  • [MINOR] toString と scaladoc でポート SSL 構成を追加する
  • [SPARK-24378][SQL] date_trunc 関数の不適切な例を修正する
  • [SPARK-24364][SS] ファイル パスが存在しない場合に InMemoryFileIndex が失敗しないようにする
  • [SPARK-24257][SQL] LongToUnsafeRowMap の新しいサイズの計算が間違っている可能性がある
  • [SPARK-24348][SQL] element_at" エラー修正
  • [SPARK-23930][SQL] slice 関数を追加する
  • [SPARK-23416][SS] ContinuousExecution の特定の stop メソッドを追加する。
  • [SPARK-23852][SQL] Parquet 1.8.3 にアップグレードする
  • [SPARK-24350][SQL] "array_position" 関数の ClassCastException を修正する
  • [SPARK-24321][SQL] 除算/剰余から基本特性に共通コードを抽出する
  • [SPARK-24309][CORE] AsyncEventQueue は割り込み時に停止する必要がある。
  • [SPARK-23850][SQL] SQL オプション編集用に別個の構成を追加する。
  • [SPARK-22371][CORE] アキュムレータがガベージ コレクションされるときに例外をスローするのではなく、None を返す。
  • [SPARK-24002][SQL] org.apache.parquet.io.api.Binary$ByteBufferBackedBinary.getBytes が原因でタスクをシリアル化できない
  • [SPARK-23921][SQL] array_sort 関数を追加する
  • [SPARK-23923][SQL] カーディナリティ関数を追加する
  • [SPARK-24159][SS] mapGroupswithState のストリーミングに対してデータなしマイクロ バッチを有効にする
  • [SPARK-24158][SS] ストリーミング結合に対してデータなしバッチを有効にする
  • [SPARK-24157][SS] ストリーミング集計と重複排除に対して MicroBatchExecution でデータなしバッチを有効にした
  • [SPARK-23799][SQL] FilterEstimation.evaluateInSet が STRING の間違った統計を生成する
  • [SPARK-17916][SQL] nullValue が設定されている場合に、空の文字列が null として解析される問題を修正。
  • [SPARK-23916][SQL] array_join 関数を追加する
  • [SPARK-23408][SS] Streaming*JoinSuite で連続する AddData アクションを同期する
  • [SPARK-23780][R] 新しい SparkR で googleVis ライブラリを使用できなかった
  • [SPARK-23821][SQL] コレクション関数: flatten
  • [SPARK-23627][SQL] データセットに isEmpty を指定する
  • [SPARK-24027][SQL] キーの StringType を指定した MapType を from_json によるルート型としてサポートする
  • [SPARK-24035][SQL] ピボット用の SQL 構文 - antlr 警告を修正
  • [SPARK-23736][SQL] 配列の列をサポートする concat 関数の拡張
  • [SPARK-24246][SQL] 使用可能な場合に原因を設定することで AnalysisException を改善する
  • [SPARK-24263][R] SparkR java チェックが openjdk で中断される
  • [SPARK-24262][PYTHON] UDF 型一致エラー メッセージの入力ミスを修正する
  • [SPARK-24067][STREAMING] [KAFKA] 連続しないオフセットを許可する
  • [SPARK-10878][CORE] 複数のクライアントが同時に成果物を解決する場合の競合状態を修正する
  • [SPARK-19181][CORE] flaky "SparkListenerSuite.local metrics" の修正
  • [SPARK-24068] スキーマ推論時に DataFrameReader のオプションをテキスト データソースに伝達する
  • [SPARK-24214][SS] StreamingRelationV2/StreamingExecutionRelation/ContinuousExecutionRelation の toJSON を修正する
  • [SPARK-23919][SPARK-23924][SPARK-24054][SQL] array_position/element_at 関数を追加する
  • [SPARK-23926][SQL] ArrayType 引数をサポートする reverse 関数の拡張
  • [SPARK-23809][SQL] getOrCreate によってアクティブな SparkSession が設定される必要がある
  • [SPARK-23094][SPARK-23723][SPARK-23724][SQL] json ファイルのカスタム エンコードをサポートする
  • [SPARK-24035][SQL] ピボット用の SQL 構文
  • [SPARK-24069][R] array_min / array_max 関数を追加する
  • [SPARK-23976][CORE] UTF8String.concat()/ByteArray.concat() で長さのオーバーフローを検出する
  • [SPARK-24188][CORE] "/version" API エンドポイントを復元する。
  • [SPARK-24128][SQL] 暗黙的な CROSS JOIN エラーで構成オプションをメンションする
  • [SPARK-23291][SQL] [R] Scala API を呼び出す場合、R の substr で開始位置を 1 つ減らしてはならない
  • [SPARK-23697][CORE] LegacyAccumulatorWrapper で isZero を正しく定義する必要がある
  • [SPARK-24168][SQL] WindowExec は Executor 側で SQLConf にアクセスしてはならない
  • [SPARK-24143] mapstatus を (blockId, size) ペアに変換するときに空のブロックをフィルター処理する
  • [SPARK-23917][SPARK-23918][SQL] array_max/array_min 関数を追加する
  • [SPARK-23905][SQL] UDF の曜日を追加する
  • [SPARK-16406][SQL] LogicalPlan.resolve のパフォーマンスを改善する
  • [SPARK-24013][SQL] ApproximatePercentile で不要な圧縮を削除する
  • [SPARK-23433][CORE] ゾンビ タスクの完了が遅れてすべてのタスクセットが更新される
  • [SPARK-24169][SQL] JsonToStructs は Executor 側で SQLConf にアクセスしてはならない
  • [SPARK-24133][SQL] バックポート [SPARK-24133] WritableColumnVectors のサイズ変更時に整数オーバーフローを確認する
  • [SPARK-24166][SQL] InMemoryTableScanExec は Executor 側で SQLConf にアクセスしてはならない
  • [SPARK-24133][SQL] WritableColumnVectors のサイズ変更時に整数オーバーフローを確認する
  • [SPARK-24085][SQL] スカラー サブクエリがパーティション式に存在する場合、クエリは UnsupportedOperationException を返す
  • [SPARK-24062][THRIFT SERVER] Thrift サーバーで SASL 暗号化を有効にできない問題を修正する
  • [SPARK-23004][SS] ストリーミング集計タスクで StateStore.commit が 1 回だけ呼び出されることを確認する
  • [SPARK-23188][SQL] ベクトル化された columar リーダー バッチ サイズを構成可能にする
  • [SPARK-23375][SPARK-23973][SQL] オプティマイザーで不要な並べ替えを排除する
  • [SPARK-23877][SQL] フィルター述語を使用してメタデータ専用クエリでパーティションを取り除く
  • [SPARK-24033][SQL] ウィンドウ フレーム specifiedwindowframe(RowFrame, -1, -1) の不一致を修正する
  • [SPARK-23340][SQL] Apache ORC を 1.4.3 にアップグレードする
  • 式コード生成の合理化によってトリガーされた可能性が高く、SPARK-23986 によって公開された null チェックの欠落問題を修正する。これは、生成されたソース コードが少し長くなり、問題のあるコード パス (Expression.reduceCodeSize() によるコード分割) をトリガーしたためである。
  • [SPARK-23989][SQL] シリアル化されていないシャッフルの前に Exchange でデータをコピーする必要がある
  • [SPARK-24021][CORE] BlacklistTracker の updateBlacklistForFetchFailure のバグを修正する
  • [SPARK-24014][PYSPARK] onStreamingStarted メソッドを StreamingListener に追加する
  • [SPARK-23963][SQL] テキスト ベースの Hive テーブルのクエリで多数の列を適切に処理する
  • [SPARK-23948] submitMissingTasks で mapstage のジョブ リスナーをトリガーする
  • [SPARK-23986][SQL] freshName が一意でない名前を生成できる
  • [SPARK-23835][SQL] タプルの引数の逆シリアル化に not-null チェックを追加する

メンテナンスの更新

Databricks Runtime 4.2 メンテナンス更新プログラムに関するページを参照してください。

システム環境

  • オペレーティング システム: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_162
  • Scala: 2.11.8
  • Python: Python 2 クラスターの場合は 2.7.12、Python 3 クラスターの場合は 3.5.2。
  • R: R バージョン 3.4.4 (2018-03-15)
  • GPU クラスター: 次の NVIDIA GPU ライブラリがインストールされます。
    • Tesla ドライバー 375.66
    • CUDA 9.0
    • cuDNN 7.0

インストールされている Python ライブラリ

ライブラリ Version ライブラリ Version ライブラリ Version
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
cryptography 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 futures 3.2.0 ggplot 0.6.8
html5lib 0.999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 10.0.1 ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
requests 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 scour 0.32 seaborn 0.7.1
setuptools 39.2.0 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 6 1.10.0 statsmodels 0.6.1
tornado 5.0.2 traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 wheel 0.31.1
wsgiref 0.1.2

インストールされている R ライブラリ

ライブラリ Version ライブラリ Version ライブラリ Version
abind 1.4-5 assertthat 0.2.0 backports 1.1.2
base 3.4.4 BH 1.66.0-1 bindr 0.1.1
bindrcpp 0.2.2 bit 1.1-12 bit64 0.9-7
bitops 1.0-6 blob (blob) 1.1.1 boot 1.3-20
brew 1.0-6 broom 0.4.4 car 3.0-0
carData 3.0-1 キャレット 6.0-79 cellranger 1.1.0
chron 2.3-52 class 7.3-14 cli 1.0.0
cluster 2.0.7-1 codetools 0.2-15 colorspace 1.3-2
commonmark 1.4 compiler 3.4.4 crayon 1.3.4
curl 3.2 CVST 0.2-1 data.table 1.10.4-3
datasets 3.4.4 DBI 0.8 ddalpha 1.3.1.1
DEoptimR 1.0 から 8 desc 1.1.1 devtools 1.13.5
dichromat 2.0-0 digest 0.6.15 dimRed 0.1.0
doMC 1.3.5 dplyr 0.7.4 DRR 0.0.3
forcats 0.3.0 foreach 1.4.4 foreign 0.8-70
gbm 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 glue 1.2.0 gower 0.1.2
graphics 3.4.4 grDevices 3.4.4 grid 3.4.4
gsubfn 0.7 gtable 0.2.0 h2o 3.16.0.2
haven 1.1.1 hms 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
iterators 1.0.9 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 labeling 0.3 lattice 0.20-35
lava 1.6.1 lazyeval 0.2.1 littler 0.3.3
lme4 1.1-17 lubridate 1.7.3 magrittr 1.5
mapproj 1.2.6 maps 3.3.0 maptools 0.9-2
MASS 7.3-50 Matrix 1.2-14 MatrixModels 0.4-1
memoise 1.1.0 methods 3.4.4 mgcv 1.8-24
mime 0.5 minqa 1.2.4 mnormt 1.5-5
ModelMetrics 1.1.0 munsell 0.4.3 mvtnorm 1.0-7
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.1 openxlsx 4.0.17
parallel 3.4.4 pbkrtest 0.4-7 pillar 1.2.1
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.2.0
plyr 1.8.4 praise 1.0.0 prettyunits 1.0.2
pROC 1.11.0 prodlim 1.6.1 proto 1.0.0
psych 1.8.3.3 purrr 0.2.4 quantreg 5.35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 randomForest 4.6-14 RColorBrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 readr 1.1.1 readxl 1.0.0
recipes 0.1.2 rematch 1.0.1 reshape2 1.4.3
rio 0.5.10 rlang 0.2.0 robustbase 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0.7 scales 0.5.0 sfsmisc 1.1-2
sp 1.2-7 SparkR 2.3.1 SparseM 1.77
spatial 7.3-11 splines 3.4.4 sqldf 0.4-11
SQUAREM 2017.10-1 statmod 1.4.30 stats 3.4.4
stats4 3.4.4 stringi 1.1.7 stringr 1.3.0
survival 2.42-3 tcltk 3.4.4 TeachingDemos 2.10
testthat 2.0.0 tibble 1.4.2 tidyr 0.8.0
tidyselect 0.2.4 timeDate 3043.102 tools 3.4.4
utf8 1.1.3 utils 3.4.4 viridisLite 0.3.0
whisker 0.3-2 withr 2.1.2 xml2 1.2.0

インストールされている Java および Scala ライブラリ (Scala 2.11 クラスター バージョン)

グループ ID 成果物 ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics ストリーム (stream) 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.4.1-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2.2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0.8
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx コレクタ 0.7
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-jdbc 3.6.3
net.snowflake spark-snowflake_2.11 2.3.2
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.8.0
org.apache.arrow arrow-memory 0.8.0
org.apache.arrow arrow-vector 0.8.0
org.apache.avro avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core-nohive 1.4.3
org.apache.orc orc-mapreduce-nohive 1.4.3
org.apache.parquet parquet-column 1.8.3-databricks2
org.apache.parquet parquet-common 1.8.3-databricks2
org.apache.parquet parquet-encoding 1.8.3-databricks2
org.apache.parquet parquet-format 2.3.1
org.apache.parquet parquet-hadoop 1.8.3-databricks2
org.apache.parquet parquet-jackson 1.8.3-databricks2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4.
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark 未使用 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52