Freigeben über


Databricks Runtime 7.5 (EoS)

Hinweis

Die Unterstützung für diese Databricks-Runtime-Version wurde beendet. Den End-of-Support-Termin finden Sie im Verlauf des Supportendes. Alle unterstützten Versionen von Databricks Runtime finden Sie unter Versionshinweise, Versionen und Kompatibilität von Databricks Runtime.

Diese Version wurde von Databricks im Dezember 2020 veröffentlicht.

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 7.5, unterstützt von Apache Spark 3.0.

Neue Funktionen

Delta Lake-Features und -Verbesserungen

In diesem Release sind die folgenden Delta Lake-Features und -Verbesserungen enthalten:

Asynchrone Prüfpunktausführung eliminiert Spitzen bei der Dauer des Mikrobatchstreamings

Delta Lake führt standardmäßig für alle 10 Commits Prüfpunkte aus. Bei Streamingworkloads kann die Prüfpunktausführung zu geringfügigen Spitzen bei der Mikrobatchdauer nach jeweils 10 Commits führen. Durch die asynchrone Prüfpunktausführung werden diese Spitzen beseitigt.

Die asynchrone Prüfpunktausführung ist standardmäßig für alle Streamingworkloads aktiviert, die nicht nur einmalig ausgelöst werden. Mit asynchroner Prüfpunktausführung schreiben Streamingwriter auch erweiterte Prüfpunkte, sodass Sie sich nicht explizit für erweiterte Prüfpunkte entscheiden müssen.

Um die asynchrone Prüfpunktausführung zu deaktivieren, legen Sie die SQL-Konfiguration spark.databricks.delta.checkpoint.async.enabled false fest.

Batchworkloads schreiben Prüfpunkte weiterhin synchron und wir empfehlen, die asynchrone Prüfpunktausführung für Batchworkloads nicht zu aktivieren.

Neueste Tabelleninformationen werden jetzt an die Kataloge weitergegeben

Delta Lake verteilt jetzt die neuesten Tabelleninformationen, z. B. Schema- und Tabelleneigenschaften, auf Kataloge wie den Hive-Metastore (und zwar so gut wie möglich). Solche Informationen können Ihnen helfen, Katalogisierungstools zu nutzen, um das Schema Ihrer Delta-Tabellen zu verstehen.

Delta Lake verlässt sich intern nicht auf diese Informationen, versucht aber, sie auf dem neuesten Stand zu halten. Darüber hinaus speichert Delta Lake die Tabelleneigenschaften delta.lastUpdateVersion und delta.lastCommitTimestamp, um die Version und den Zeitstempel des Commits anzugeben, der eine Änderung zuletzt per Push in den Metastore übertragen hat. Der Metastore wird nur aktualisiert, wenn das Schema der Tabelle oder die Eigenschaften in der Tabelle nicht übereinstimmen. Daher spiegeln die oben genannten Tabelleneigenschaften nicht unbedingt die neueste Version der Tabelle wider.

Wenn die Tabelleninformationen und die Informationen im Metastore nicht synchron sind, können Sie einen Befehl wie DESCRIBE <table> ausführen, um den Metastore zu aktualisieren.

Hinweis

Da Hive die sich ändernden Partitionsspalten nicht zulässt, aber Delta-Tabellen ihre Partitionierung ändern können, werden Delta-Tabellen in Hive nicht als partitioniert angezeigt.

MERGE INTO-Vorgang unterstützt jetzt die Schemaentwicklung von geschachtelten Spalten

Die Schemaentwicklung von geschachtelten Spalten weist jetzt die gleiche Semantik wie bei Spalten der obersten Ebene auf. Beispielsweise können einer StructType-Spalte automatisch neue geschachtelte Spalten hinzugefügt werden. Details finden Sie unter Automatische Schemaentwicklung bei der Zusammenführung.

MERGE INTO-Vorgang verwendet jetzt automatisch optimierte Schreibvorgänge

Optimierte Schreibvorgänge können standardmäßig eine wesentlich bessere Leistung für MERGE INTO bieten, insbesondere für MERGE INTO bei partitionierten Tabellen. Um optimierte Schreibvorgänge zu deaktivieren, legen Sie die Spark-Konfiguration spark.databricks.delta.optimizeWrite.enabled auf false fest.

MERGE INTO- und UPDATE-Vorgänge lösen jetzt geschachtelte Strukturspalten nach Name auf

Aktualisierungsvorgänge: Die Befehle UPDATE und MERGE INTO lösen jetzt geschachtelte Strukturspalten nach Name auf. Das heißt, beim Vergleichen oder Zuweisen von Spalten des Typs „StructType“ spielt die Reihenfolge der geschachtelten Spalten keine Rolle (genauso wie die Reihenfolge der Spalten der obersten Ebene). Legen Sie die Spark-Konfiguration spark.databricks.delta.resolveMergeUpdateStructsByName.enabled auf false fest, um die Auflösung nach Position wiederherzustellen.

CLONE ist GA, und Sie können jetzt Tabelleneigenschaften überschreiben

Der Befehl CLONE ist jetzt allgemein verfügbar. Weitere Informationen finden Sie unter CREATE TABLE CLONE. Darüber hinaus können Sie jetzt Außerkraftsetzungen von Tabelleneigenschaften angeben, wenn Sie CLONE verwenden. Beispiele finden Sie unter Klonen einer Tabelle in Azure Databricks.

RESTORE ist GA

Der Befehl RESTORE ist jetzt allgemein verfügbar. Weitere Informationen finden Sie unter RESTORE.

Implizite Scala-Funktionen vereinfachen die Lese- und Schreib-APIs von Spark

Sie können io.delta.implicits._ importieren, um die delta-Methode mit Spark-Lese- und -Schreib-APIs zu verwenden.

import io.delta.implicits._

spark.read.delta("/my/table/path")
df.write.delta("/my/table/path")
spark.readStream.delta("/my/table/path")
df.writeStream.delta("/my/table/path")

Verbessern des Streamingdurchsatzes mit der fetchParallelism-Connectoroption

Der AQS-Connector unterstützt jetzt eine neue Option fetchParallelism zum Angeben der Parallelität zum Abrufen von Nachrichten aus dem Warteschlangendienst.

Nachverfolgen des Streamfortschritts mit neuen Autoloader-Metriken

Autoloader meldet jetzt nach jedem Batch, wie viele Dateien sich im Backlog befinden und wie groß der Backlog ist. Sie können diese Metriken zum Nachverfolgen des Datenstromfortschritts verwenden. Weitere Informationen zum Anzeigen der Metriken finden Sie unter Autoloader.

Verbesserungen

Umfassendere Unterstützung für Bibliotheken im Notebookbereich mithilfe von %pip- und %conda-Magic-Befehlen

Sie können jetzt Bibliotheken im Notebookbereich mithilfe von %pip- und %conda-Magic-Befehlen auf Clustern mit hoher Parallelität installieren, bei denen entweder Tabellen-ACLs oder Passthrough für Anmeldeinformationen aktiviert sind.

Genaue Anzeige von Spark SQL DECIMAL

Der Datentyp Spark SQL DECIMAL wird jetzt in Tabellen ohne Verlust von Genauigkeit und Skalierung angezeigt.

ADLS Gen 2-Speicherconnector basierend auf Hadoop 3.3 für ABFS

Eine aktualisierte Version des ADLS Gen 2-Speicherconnectors basiert auf Hadoop 3.3 für ABFS. Der aktualisierte Connector enthält viele Stabilitätsverbesserungen (siehe Hadoop-Stabilität) und unterstützt die SAS-Tokenauthentifizierung.

Weitere Problembehebungen

Der Databricks Kafka-Connector für Spark-Streaming wurde entfernt. Verwenden Sie den Apache Spark-Connector.

Bibliotheksupgrades

  • Aktualisierte Python-Bibliotheken:
    • Upgrade von koalas von 1.3.0 auf 1.4.0.
  • Mehrere installierte R-Bibliotheken haben ein Upgrade erhalten. Weitere Informationen finden Sie unter Installierte R-Bibliotheken.
  • OpenJDK 8-Build aktualisiert auf Zulu 8.50.0.51-CA-linux64 (Build 1.8.0_275-b01).

Apache Spark

Databricks Runtime 7.5 enthält Apache Spark 3.0.1. Diese Version enthält alle Spark-Fixes und -Verbesserungen, die in Databricks Runtime 7.4 (EoS) enthalten sind, sowie die folgenden zusätzlichen Fehlerkorrekturen und Verbesserungen an Spark:

  • [SPARK-33611] [UI] Zweimalige Codierung für den Abfrageparameter der neu generierten Proxy-URL vermeiden
  • [SPARK-33587] [CORE] Executor bei geschachtelten schwerwiegenden Fehlern beenden (7.x)
  • [SPARK-33140] [SQL] Code wiederherstellen, der nicht die übergebene SparkSession verwendet, um SQLConf abzurufen
  • [SPARK-33472] [SQL] Reihenfolge der RemoveRedundantSorts-Regeln anpassen
  • [SPARK-33422] [DOC] Ordnungsgemäße Anzeige des linken Menüpunkts beheben
  • [SPARK-27421] [SQL] Filter für int-Spalte und Werteklasse java.lang.String beim Bereinigen der Partitionsspalte beheben
  • [SPARK-33483] [INFRA][TESTS] RAT-Ausschlussmuster beheben und Lizenz hinzufügen
  • [SPARK-33464] [INFRA] (Nicht) notwendigen Cache hinzufügen/entfernen und GitHub Actions YAML umstrukturieren
  • [SPARK-33407] [PYTHON][7.X] Ausnahmemeldung von Python UDFs vereinfachen (standardmäßig deaktiviert)
  • [SPARK-33435] [SQL] DSv2: REFRESH TABLE sollte Caches, die auf die Tabelle verweisen, für ungültig erklären
  • [SPARK-33358] [SQL] Rückgabecode, wenn ein Fehler beim Befehlsprozess aufgetreten ist
  • [SPARK-33183] [DBCONNECT] RemoveRedundantSorts.scala zu ALLOW_LIST.txt hinzufügen
  • [SPARK-33290] [SQL] REFRESH TABLE sollte den Cache für ungültig erklären, auch wenn die Tabelle selbst nicht zwischengespeichert wird
  • [SPARK-33140] [SQL] Delta-Kompilierung beheben
  • [SPARK-33316] [SQL] Unit-Tests für from_avro und to_avro mit Schemaregistrierung und vom Benutzer bereitgestelltem, Nullwerte zulassenden Avro-Schema hinzufügen
  • [SPARK-33404] [SQL] Falsche Ergebnisse im date_trunc-Ausdruck beheben
  • [SPARK-33339] [PYTHON] Pyspark-Anwendung hängt aufgrund eines Fehlers, der keine Ausnahme ist
  • [SPARK-33412] [SQL] OverwriteByExpression sollte seine Löschbedingung auf der Grundlage der Tabellenbeziehung und nicht der Eingabeabfrage auflösen
  • [SPARK-33391] [SQL] element_at mit CreateArray nicht einen auf 1 basierenden Index berücksichtigen
  • [SPARK-33316] [SQL] Unterstützung des vom Benutzer bereitgestellten Nullwerte zulassenden Avro-Schemas für das Non-Nullable-Catalyst-Schema beim Schreiben in Avro
  • [SPARK-33372] [SQL] InSet-Bucketbereinigung beheben
  • [SPARK-33371] [PYTHON] „setup.py“ und Tests für Python 3.9 aktualisieren
  • [SPARK-33140] [SQL] SQLConf und SparkSession in allen Unterklassen von Rule[QueryPlan] entfernen
  • [SPARK-33338] [SQL] Für GROUP BY sollte bei der Verwendung der Literalzuordnung kein Fehler auftreten
  • [SPARK-33306] [SQL] Zeitzone wird bei der Umwandlung von Datum in Zeichenfolge benötigt
  • [SPARK-33284] [WEB-UI] Wenn Sie auf der Seite für die Speicherbenutzeroberfläche auf ein beliebiges Feld klicken, um die Tabelle zu sortieren, geht der Headerinhalt verloren
  • [SPARK-33362] [SQL] skipSchemaResolution sollte weiterhin die Auflösung der Abfrage erfordern
  • [SPARK-32257] [SQL] Meldet explizite Fehler bei ungültiger Verwendung des SET/RESET-Befehls
  • [SPARK-32406] [SQL] Festlegen, dass die RESET-Syntax das Zurücksetzen einer einzelnen Konfiguration unterstützt
  • [SPARK-32376] [SQL] Festlegen, dass das unionByName-Verhalten beim Auffüllen mit Nullen mit struct-Spalten funktioniert
  • [SPARK-32308] [SQL] „Move by-name“-Auflösungslogik von unionByName vom API-Code in die Analysephase verschieben
  • [SPARK-20044] [UI] Unterstützung der Spark-Benutzeroberfläche hinter dem Front-End-Reverseproxy mithilfe einer Pfadpräfix-Revert-Proxy-URL
  • [SPARK-33268] [SQL][PYTHON] Fehler bei der Umwandlung von Daten von/nach PythonUserDefinedType beheben
  • [SPARK-33292] [SQL] ArrayBasedMapData-Literalzeichenfolge als eindeutig festlegen
  • [SPARK-33183] [SQL] Optimiererregel EliminateSorts beheben und eine physische Regel hinzufügen, um redundante Sortierungen zu entfernen
  • [SPARK-33272] [SQL] Attributzuordnung in QueryPlan.transformUpWithNewOutput bereinigen
  • [SPARK-32090] [SQL] UserDefinedType.equal() verbessern, damit es symmetrisch ist
  • [SPARK-33267] [SQL] NPE-Problem im „In“-Filter beheben, wenn einer der Werte NULL enthält
  • [SPARK-33208] [SQL] Dokument von SparkSession#sql aktualisieren
  • [SPARK-33260] [SQL] Falsche Ergebnisse von SortExec beheben, wenn sortOrder entsprechend „Stream“ ist
  • [SPARK-33230] [SQL] Hadoop-Committer zum Abrufen der eindeutigen Auftrags-ID in „spark.sql.sources.writeJobUUID“ verwenden
  • [SPARK-33197] [SQL] Änderungen an spark.sql.analyzer.maxIterations vornehmen, die zur Laufzeit wirksam werden
  • [SPARK-33228] [SQL] Daten nicht aus dem Zwischenspeicher entfernen, wenn eine Sicht mit demselben logischen Plan ersetzt wird
  • [SPARK-32557] [CORE] Protokollierung und Behalten der Ausnahme pro Eintrag im Verlaufsserver
  • [SPARK-32436] [CORE] „numNonEmptyBlocks“ in HighlyCompressedMapStatus.readExternal initialisieren
  • [SPARK-33131] [SQL] Korrektur von Gruppierungssätzen mit Have-Klausel kann qualifizierten Spaltennamen nicht auflösen
  • [SPARK-32761] [SQL] Aggregation mehrerer reduzierbarer unterschiedlicher Ausdrücke zulassen
  • [SPARK-33094] [SQL] Veranlassen, dass das ORC-Format die Hadoop-Konfiguration von DS-Optionen an das zugrunde liegende HDFS-Dateisystem verteilt

Wartungsupdates

Weitere Informationen finden Sie unter Databricks Runtime 7.5-Wartungsupdates.

Systemumgebung

  • Betriebssystem: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.50.0.51-CA-linux64 (Build 1.8.0_275-b01)
  • Scala: 2.12.10
  • Python: 3.7.5
  • R: R-Version 3.6.3 (2020-02-29)
  • Delta Lake 0.7.0

Installierte Python-Bibliotheken

Bibliothek Version Bibliothek Version Bibliothek Version
asn1crypto 1.3.0 backcall 0.1.0 boto3 1.12.0
botocore 1.15.0 certifi 2020.6.20 cffi 1.14.0
chardet 3.0.4 cryptography 2.8 cycler 0.10.0
Cython 0.29.15 decorator 4.4.1 docutils 0.15.2
entrypoints 0,3 idna 2.8 ipykernel 5.1.4
ipython 7.12.0 ipython-genutils 0.2.0 jedi 0.17.2
jmespath 0.10.0 joblib 0.14.1 jupyter-client 5.3.4
jupyter-core 4.6.1 kiwisolver 1.1.0 koalas 1.4.0
matplotlib 3.1.3 numpy 1.18.1 Pandas 1.0.1
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 pip 20.0.2 prompt-toolkit 3.0.3
psycopg2 2.8.4 ptyprocess 0.6.0 pyarrow 1.0.1
pycparser 2.19 Pygments 2.5.2 PyGObject 3.26.1
pyOpenSSL 19.1.0 pyparsing 2.4.6 PySocks 1.7.1
python-apt 1.6.5+ubuntu0.3 Python-dateutil 2.8.1 pytz 2019.3
pyzmq 18.1.1 requests 2.22.0 s3transfer 0.3.3
scikit-learn 0.22.1 scipy 1.4.1 seaborn 0.10.0
setuptools 45.2.0 sechs 1.14.0 ssh-import-id 5.7
statsmodels 0.11.0 tornado 6.0.3 traitlets 4.3.3
unattended-upgrades 0,1 urllib3 1.25.8 virtualenv 16.7.10
wcwidth 0.1.8 wheel 0.34.2

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Microsoft CRAN-Momentaufnahme vom 2.11.2020 installiert.

Bibliothek Version Bibliothek Version Bibliothek Version
askpass 1.1 assertthat 0.2.1 backports 1.1.10
base 3.6.3 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 Blob 1.2.1
boot 1.3-25 brew 1.0-6 brio 1.1.0
broom 0.7.2 callr 3.5.1 caret 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-17
cli 2.1.0 clipr 0.7.1 cluster 2.1.0
codetools 0.2-18 colorspace 1.4-1 commonmark 1.7
compiler 3.6.3 config 0,3 covr 3.5.1
cpp11 0.2.3 crayon 1.3.4 crosstalk 1.1.0.1
curl 4.3 data.table 1.13.2 datasets 3.6.3
DBI 1.1.0 dbplyr 1.4.4 desc 1.2.0
devtools 2.3.2 diffobj 0.3.2 digest 0.6.27
dplyr 0.8.5 DT 0.16 ellipsis 0.3.1
Evaluieren 0.14 fansi 0.4.1 farver 2.0.3
fastmap 1.0.1 forcats 0.5.0 foreach 1.5.1
foreign 0.8-76 forge 0.2.0 fs 1.5.0
generics 0.1.0 ggplot2 3.3.2 gh 1.1.0
git2r 0.27.1 glmnet 3.0-2 globals 0.13.1
glue 1.4.2 gower 0.2.2 Grafiken 3.6.3
grDevices 3.6.3 grid 3.6.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.2 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.2 iterators 1.0.13
jsonlite 1.7.1 KernSmooth 2.23-18 knitr 1.30
labeling 0.4.2 later 1.1.0.1 lattice 0.20-41
lava 1.6.8 lazyeval 0.2.2 Lebenszyklus 0.2.0
lubridate 1.7.9 magrittr 1.5 markdown 1.1
MASS 7.3-53 Matrix 1.2-18 memoise 1.1.0
methods 3.6.3 mgcv 1.8-33 mime 0.9
ModelMetrics 1.2.2.2 modelr 0.1.8 munsell 0.5.0
nlme 3.1-150 nnet 7.3-14 numDeriv 2016.8-1.1
openssl 1.4.3 parallel 3.6.3 pillar 1.4.6
pkgbuild 1.1.0 pkgconfig 2.0.3 pkgload 1.1.0
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 pROC 1.16.2 processx 3.4.4
prodlim 2019.11.13 Fortschritt 1.2.2 promises 1.1.1
proto 1.0.0 ps 1.4.0 purrr 0.3.4
r2d3 0.2.3 R6 2.5.0 randomForest 4.6-14
rappdirs 0.3.1 rcmdcheck 1.3.3 RColorBrewer 1.1-2
Rcpp 1.0.5 readr 1.4.0 readxl 1.3.1
recipes 0.1.14 rematch 1.0.1 rematch2 2.1.2
remotes 2.2.0 reprex 0.3.0 reshape2 1.4.4
rex 1.2.0 rjson 0.2.20 rlang 0.4.8
rmarkdown 2.5 RODBC 1.3-16 roxygen2 7.1.1
rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-7
RSQLite 2.2.1 rstudioapi 0,11 rversions 2.0.2
rvest 0.3.6 scales 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 shape 1.4.4 shiny 1.5.0
sourcetools 0.1.7 sparklyr 1.4.0 SparkR 3.0.0
spatial 7.3-11 splines 3.6.3 sqldf 0.4-11
SQUAREM 2020.5 stats 3.6.3 stats4 3.6.3
stringi 1.5.3 stringr 1.4.0 survival 3.2-7
sys 3.4 tcltk 3.6.3 TeachingDemos 2,10
testthat 3.0.0 tibble 3.0.4 tidyr 1.1.2
tidyselect 1.1.0 tidyverse 1.3.0 timeDate 3043.102
tinytex 0,27 tools 3.6.3 usethis 1.6.3
utf8 1.1.4 utils 3.6.3 uuid 0.1-4
vctrs 0.3.4 viridisLite 0.3.0 waldo 0.2.2
whisker 0,4 withr 2.3.0 xfun 0,19
xml2 1.3.2 xopen 1.0.0 xtable 1.8-4
yaml 2.2.1

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)

Gruppen-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Datenstrom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.4-3
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.0
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.47.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Sammlung 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.7.1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.15.1
org.apache.arrow arrow-memory 0.15.1
org.apache.arrow arrow-vector 0.15.1
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.9
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.1
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.10
org.apache.orc orc-mapreduce 1.5.10
org.apache.orc orc-shims 1.5.10
org.apache.parquet parquet-column 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet parquet-encoding 1.10.1-databricks6
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity velocity 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.18.v20190429
org.eclipse.jetty jetty-continuation 9.4.18.v20190429
org.eclipse.jetty jetty-http 9.4.18.v20190429
org.eclipse.jetty jetty-io 9.4.18.v20190429
org.eclipse.jetty jetty-jndi 9.4.18.v20190429
org.eclipse.jetty jetty-plus 9.4.18.v20190429
org.eclipse.jetty jetty-proxy 9.4.18.v20190429
org.eclipse.jetty jetty-security 9.4.18.v20190429
org.eclipse.jetty jetty-server 9.4.18.v20190429
org.eclipse.jetty jetty-servlet 9.4.18.v20190429
org.eclipse.jetty jetty-servlets 9.4.18.v20190429
org.eclipse.jetty jetty-util 9.4.18.v20190429
org.eclipse.jetty jetty-webapp 9.4.18.v20190429
org.eclipse.jetty jetty-xml 9.4.18.v20190429
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,30
org.glassfish.jersey.containers jersey-container-servlet-core 2,30
org.glassfish.jersey.core jersey-client 2,30
org.glassfish.jersey.core jersey-common 2,30
org.glassfish.jersey.core jersey-server 2,30
org.glassfish.jersey.inject jersey-hk2 2,30
org.glassfish.jersey.media jersey-media-jaxb 2,30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.6.6
org.json4s json4s-core_2.12 3.6.6
org.json4s json4s-jackson_2.12 3.6.6
org.json4s json4s-scalap_2.12 3.6.6
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap shims 0.7.45
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.5
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52