Compartir a través de

Databricks Runtime 7.3 LTS (EoS)

  • Artículo

Nota:

El soporte técnico con esta versión de Databricks Runtime ha finalizado. Para obtener la fecha de finalización del soporte técnico, consulte Historial de finalización del soporte técnico. Para ver todas las versiones de Databricks Runtime con soporte técnico, consulte las notas de la versión de Databricks Runtime versiones y compatibilidad.

Databricks publicó esta versión en septiembre de 2020. En octubre de 2020 se declaró el soporte técnico a largo plazo (LTS).

Las notas de la versión siguientes proporcionan información sobre Databricks Runtime 7.3 LTS, con tecnología Apache Spark 3.0.

Para obtener ayuda con la migración desde Databricks Runtime 6.x, consulte la Guía de migración de Databricks Runtime 7.x (EoS).

Nuevas características

Característica y mejoras de Delta Lake

En esta versión se proporcionan las siguientes características y mejoras de Delta Lake:

En esta sección

Las optimizaciones de rendimiento de Delta Lake reducen significativamente la sobrecarga

Esta versión permite una colección de optimizaciones que reducen la sobrecarga de las operaciones de Delta Lake de segundos a decenas de milisegundos. Para habilitar estas optimizaciones, debe actualizar a Databricks Runtime 7.3 LTS, o superior, todos los clústeres que escriben en la tabla Delta y la leen.

Para más información y advertencias, consulte Puntos de control mejorados para consultas de baja latencia.

Métricas de clonación ahora disponibles

Ahora se registran las métricas de la operación de clonación y se pueden ver al ejecutar DESCRIBE HISTORY. Para más información, consulte Revisión de los detalles de la tabla de Delta Lake con los detalles descritos.

Mejoras de MERGE INTO de Delta Lake

  • La combinación ahora admite cualquier número de cláusulas MATCHED y NOT MATCHED.
  • Las consultas de combinación que eliminan incondicionalmente filas coincidentes ya no producen errores en varias coincidencias.

Especificación de la posición inicial de Structured Streaming de Delta Lake

El conector de Structured Streaming para Delta Lake ahora admite las opciones startingVersion y startingTimestamp para especificar el punto inicial de la consulta de streaming sin procesar toda la tabla. Para obtener más información, consulte Especificación de la posición inicial.

Ejecución de consultas adaptables

La ejecución de consultas adaptables (AQE) es un marco de reoptimización de consultas que ajusta dinámicamente los planes de consulta durante la ejecución en función de las estadísticas de tiempo de ejecución recopiladas. AQE está habilitado de forma predeterminada en Databricks Runtime 7.3 LTS. Ahora puede probar todas las características de AQE. Para más información, consulte Ejecución de consultas adaptables.

Mejoras

Cargador automático

  • Ahora admite Azure Data Lake Storage Gen1 en el modo de enumeración de directorios
  • Si el formato de archivo es text o binaryFile ya no necesita proporcionar el esquema. Dado que los dos formatos de archivo tienen un esquema fijo, el cargador automático puede usar automáticamente un esquema fijo.

Nuevo control de la longitud de columna del conector de Azure Synapse Analytics

Ahora puede usar un nuevo parámetro maxbinlength para controlar la longitud de columna de columnas BinaryType. Este parámetro se traduce como VARBINARY(maxbinlength).

El valor predeterminado anterior (no configurable) era VARBINARY(MAX), lo que provocaba incidencias al crear tablas con columnas binarias y el esquema de indexación predeterminado. En concreto, se produciría un error en la creación de la tabla, ya que el índice de almacén de columnas predeterminado no admite MAX en las columnas de cadena y binarios.

Conversión simplificada de DataFrame de Pandas a Spark

Para habilitar las siguientes mejoras, establezca la configuración de Spark spark.databricks.execution.pandasZeroConfConversion.enabled:

  • createDataFrame(pandas_df) se ha optimizado en Azure Databricks.
  • Se muestra una advertencia si la conversión no se puede realizar de forma eficaz o no es posible.

Nuevo maxResultSize en la llamada a toPandas()

Un nuevo valor de configuración (spark.databricks.driver.localMaxResultSize) permite controlar maxResultSize una llamada df.toPandas(). El límite se cambia temporalmente a max(spark.driver.maxResultSize, spark.databricks.driver.localMaxResultSize). El valor predeterminado de configuración es el tamaño de memoria física dividido entre 4.

Se muestra una advertencia si el tamaño df.toPandas() del resultado es mayor que spark.driver.maxResultSize y menor que spark.databricks.driver.localMaxResultSize.

Esta configuración solo afecta a los DataFrames creados por una llamada df.toPandas().

Nota:

spark.databricks.driver.localMaxResultSize solo tiene efecto cuando es spark.databricks.execution.pandasZeroConfConversion.enabled true.

Depuración de las UDF de Pandas y PySpark

Cuando se produce un error en una UDF de Pandas o PySpark en un cuaderno de Azure Databricks, el mensaje de error ahora incluye el número de línea donde se produjo el error en el código e información sobre la causa principal.

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
    • Koalas se actualizó de 1.1.0 a 1.2.0.
    • Pyarrow se actualizó de 0.15.1 a 1.0.1
  • Se han actualizado varias bibliotecas de R instaladas. Consulte Bibliotecas de R instaladas.
  • La compilación de OpenJDK 8 ha cambiado de Ubuntu OpenJDK 8 a Zulu OpenJDK 8.

Apache Spark

Databricks Runtime 7.3 LTS incluye Apache Spark 3.0.1. En esta versión, se incluyen todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 7.2 (EoS), junto con las siguientes correcciones de errores y mejoras de Spark:

  • [SPARK-32302][SPARK-28169] [SQL] Delegación parcial de predicados disyuntivos mediante combinaciones o particiones
  • [SPARK-32337] [SQL] Visualización del plan inicial en la cadena de árbol del plan de AQE
  • [SPARK-30662] Devolución de los cambios de API para HasBlockSize
  • [SPARK-32620] [SQL] Restablecimiento de la métrica numPartitions cuando DPP está habilitado
  • [SPARK-32646] [SQL] La delegación de predicados ORC debe funcionar con análisis que no distinguen entre mayúsculas y minúsculas
  • [SPARK-32676] [ML] Corrección del almacenamiento en caché doble en KMeans/BiKMeans
  • [SPARK-32092] [ML][PYSPARK] Se ha quitado el código relacionado con foldCol
  • [SPARK-32594] [SQL] Invalidación de get() y uso de días julianos en DaysWritable
  • [SPARK-32608] [SQL] El valor de ROW FORMAT DELIMIT de transformación de script debe dar formato al valor
  • [SPARK-32092] [ML][PYSPARK] Corrección de parámetros que no se copian en CrossValidatorModel.copy(), read() y write()
  • [SPARK-32672] [SQL] Corrección de datos dañados en la compresión del conjunto de bits booleano
  • [SPARK-32663] [CORE] Impedir el cierre individual de TransportClients agrupados (que debe cerrarse a través del grupo)
  • [SPARK-32621] [SQL] La opción path puede causar problemas al inferir el esquema en orígenes de datos CSV/JSON
  • [SPARK-28863] [SQL] No volver a usar el plan físico
  • [SPARK-32608] [SQL] El valor de ROW FORMAT DELIMIT de transformación de script debe dar formato al valor
  • [SPARK-28863][SQL] Incorporación de AlreadyPlanned para evitar el reanálisis de V1FallbackWriters
  • [SPARK-32451] [R] Compatibilidad con Apache Arrow 1.0.0
  • [SPARK-32652] [SQL] ObjectSerializerPruning produce un error para RowEncoder
  • [SPARK-32518] [CORE] CoarseGrainedSchedulerBackend.maxNumConcurrentTasks debe tener en cuenta todos los tipos de recursos
  • [SPARK-32559] [SQL] Corrección de la lógica de recorte en UTF8String.toInt/toLong que no controlaba correctamente los caracteres no ASCII
  • [SPARK-32625] [SQL] Mensaje de error de registro al recurrir al modo de intérprete
  • [SPARK-32543] [R] Eliminación de arrow::as_tibble en SparkR
  • [SPARK-31703] [SQL] Float/double de Parquet RLE se leen incorrectamente en plataformas big endian
  • [SPARK-32586] [SQL] Corrección del mensaje de error NumberFormatException cuando ANSI está habilitado
  • [SPARK-32456] [SS] Comprobación de Distinct asumiendo que es agregado para Structured Streaming
  • [SPARK-32576] [SQL] Compatibilidad con el tipo PostgreSQL bpchar y la matriz de tipo char
  • [SPARK-32559] [SQL] Corrección de la lógica de recorte en UTF8String.toInt/toLong que no controlaba correctamente los caracteres no ASCII
  • [SPARK-32560] [SQL] Mejora del mensaje de excepción en InsertIntoHiveTable.processInsert
  • [SPARK-32546] [SQL] Obtención de nombres de tabla directamente desde tablas de Hive
  • [SPARK-32529] [CORE] Corrección del examen del registro de Historyserver anulado por el cambio de estado de la aplicación
  • [SPARK-32003] [CORE] Cuando se usa el servicio de orden aleatorio externo, anula el registro de las salidas del ejecutor cuando se produce un error de captura después de que se pierde el ejecutor
  • SPARK-32160] [CORE][PYSPARK] Cambio del nombre de la configuración para cambiar el permiso o rechazo de SparkContext en ejecutores
  • [SPARK-32160] [CORE][PYSPARK] incorporación de una configuración para cambiar el permiso o rechazo para crear SparkContext en ejecutores
  • [SPARK-32083] [SQL] AQE no debe usar particiones para SinglePartition
  • [SPARK-32509] [SQL] Omisión del filtro verdadero DPP no utilizado en la canonización
  • [SPARK-32332] [SQL] Compatibilidad con intercambios de columnas
  • [SPARK-32227] Corrección del error de regresión en load-spark-env.cmd con Spark 3.0.0
  • [SPARK-32478] [R][SQL] Mensaje de error para mostrar la discrepancia de esquema en gapply con vectorización Arrow
  • [SPARK-32030] [SQL] Admite cláusulas MATCHED y NOT MATCHED ilimitadas en MERGE INTO en el analizador de SQL
  • [SPARK-32175] [CORE] Corrección del orden entre la inicialización de ExecutorPlugin y el inicio del subproceso de latido
  • [SPARK-32283] [CORE] Kryo debe admitir varios registradores de usuarios
  • [SPARK-32424] [SQL] Corrección del cambio de datos silencioso para el análisis de marca de tiempo si se produce un desbordamiento
  • [SPARK-32430] [SQL] Extensión de SparkSessionExtensions para insertar reglas en la preparación de la fase de consulta de AQE
  • [SPARK-32310] [ML][PYSPARK] Paridad de valores predeterminados de parámetros de ML
  • [SPARK-32237][SQL] Resolución de una sugerencia en CTE
  • [SPARK-32280][SPARK-32372] [SQL] ResolveReferences.dedupRight solo debería volver a escribir atributos para los nodos antecesores del plan de conflictos
  • [SPARK-32364] [SQL] Agregar toMap para devolver originalMap y la documentación
  • [SPARK-32364] [SS] Uso de CaseInsensitiveMap para las opciones DataStreamReader/Writer
  • [SPARK-32377] [SQL] CaseInsensitiveMap debe ser determinista para su incorporación
  • [SPARK-32365] [SQL] Incorporación de una condición de límite para el índice negativo en regexp_extract
  • [SPARK-32368] [SQL] pathGlobFilter, recursiveFileLookup y basePath deben respetar la no distinción entre mayúsculas y minúsculas
  • [SPARK-32344] [SQL] La expresión que no se puede evaluar se establece en FIRST/LAST ignoreNullsExpr en agregados distintos
  • [SPARK-32234][SQL] Los comandos de Spark SQL producen errores al seleccionar las tablas ORC

Actualizaciones de mantenimiento

Consulte las actualizaciones de mantenimiento de Databricks Runtime 7.3 LTS.

Entorno del sistema

  • Sistema operativo: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.48.0.53-CA-linux64 (compilación 1.8.0_265-b11)
  • Scala: 2.12.10
  • Python: 3.7.5
  • R: Versión R 3.6.3 (29-02-2020)
  • Delta Lake 0.7.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
asn1crypto 1.3.0 backcall 0.1.0 boto3 1.12.0
botocore 1.15.0 certifi 2020.6.20 cffi 1.14.0
chardet 3.0.4 criptografía 2.8 cycler 0.10.0
Cython 0.29.15 decorator 4.4.1 docutils 0.15.2
entrypoints 0,3 idna 2.8 ipykernel 5.1.4
ipython 7.12.0 ipython-genutils 0.2.0 jedi 0.14.1
jmespath 0.10.0 joblib 0.14.1 jupyter-client 5.3.4
jupyter-core 4.6.1 kiwisolver 1.1.0 koalas 1.2.0
matplotlib 3.1.3 numpy 1.18.1 pandas 1.0.1
parso 0.5.2 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 pip 20.0.2 prompt-toolkit 3.0.3
psycopg2 2.8.4 ptyprocess 0.6.0 pyarrow 1.0.1
pycparser 2.19 Pygments 2.5.2 PyGObject 3.26.1
pyOpenSSL 19.1.0 pyparsing 2.4.6 PySocks 1.7.1
python-apt 1.6.5+ubuntu0.3 Python-dateutil 2.8.1 pytz 2019.3
pyzmq 18.1.1 Solicitudes 2.22.0 s3transfer 0.3.3
scikit-learn 0.22.1 scipy 1.4.1 seaborn 0.10.0
setuptools 45.2.0 six (seis) 1.14.0 ssh-import-id 5.7
statsmodels 0.11.0 tornado 6.0.3 traitlets 4.3.3
unattended-upgrades 0,1 urllib3 1.25.8 virtualenv 16.7.10
wcwidth 0.1.8 wheel 0.34.2

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN del 14-07-2020.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
askpass 1.1 assertthat 0.2.1 backports 1.1.8
base 3.6.3 base64enc 0.1-3 BH 1.72.0-3
bit 1.1-15.2 bit64 0.9-7 blob 1.2.1
boot 1.3-25 brew 1.0-6 broom 0.7.0
callr 3.4.3 caret 6.0-86 cellranger 1.1.0
chron 2.3-55 clase 7.3-17 cli 2.0.2
clipr 0.7.0 cluster 2.1.0 codetools 0.2-16
colorspace 1.4-1 commonmark 1.7 compiler 3.6.3
config 0,3 covr 3.5.0 crayon 1.3.4
diafonía 1.1.0.1 curl 4.3 data.table 1.12.8
conjuntos de datos 3.6.3 DBI 1.1.0 dbplyr 1.4.4
desc 1.2.0 devtools 2.3.0 digest 0.6.25
dplyr 0.8.5 DT 0.14 ellipsis 0.3.1
evaluate 0.14 fansi 0.4.1 farver 2.0.3
fastmap 1.0.1 forcats 0.5.0 foreach 1.5.0
foreign 0.8-76 forge 0.2.0 fs 1.4.2
generics 0.0.2 ggplot2 3.3.2 gh 1.1.0
git2r 0.27.1 glmnet 3.0-2 globals 0.12.5
glue 1.4.1 gower 0.2.2 elementos gráficos 3.6.3
grDevices 3.6.3 grid 3.6.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0.8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.1 httpuv 1.5.4 httr 1.4.1
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.2 iterators 1.0.12
jsonlite 1.7.0 KernSmooth 2.23-17 knitr 1.29
labeling 0,3 later 1.1.0.1 lattice 0.20-41
lava 1.6.7 lazyeval 0.2.2 ciclo de vida 0.2.0
lubridate 1.7.9 magrittr 1.5 markdown 1.1
MASS 7.3-52 Matriz 1.2-18 memoise 1.1.0
methods 3.6.3 mgcv 1.8-32 mime 0.9
ModelMetrics 1.2.2.2 modelr 0.1.8 munsell 0.5.0
nlme 3.1-149 nnet 7.3-14 numDeriv 2016.8-1.1
openssl 1.4.2 parallel 3.6.3 pillar 1.4.6
pkgbuild 1.1.0 pkgconfig 2.0.3 pkgload 1.1.0
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 pROC 1.16.2 processx 3.4.3
prodlim 2019.11.13 progreso 1.2.2 promises 1.1.1
proto 1.0.0 ps 1.3.3 purrr 0.3.4
r2d3 0.2.3 R6 2.4.1 randomForest 4.6-14
rappdirs 0.3.1 rcmdcheck 1.3.3 RColorBrewer 1.1-2
Rcpp 1.0.5 readr 1.3.1 readxl 1.3.1
recipes 0.1.13 rematch 1.0.1 rematch2 2.1.2
remotes 2.1.1 reprex 0.3.0 reshape2 1.4.4
rex 1.2.0 rjson 0.2.20 rlang 0.4.7
rmarkdown 2.3 RODBC 1.3-16 roxygen2 7.1.1
rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-7
RSQLite 2.2.0 rstudioapi 0,11 rversions 2.0.2
rvest 0.3.5 scales 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 shape 1.4.4 shiny 1.5.0
sourcetools 0.1.7 sparklyr 1.3.1 SparkR 3.0.0
spatial 7.3-11 splines 3.6.3 sqldf 0.4-11
SQUAREM 2020.3 stats 3.6.3 stats4 3.6.3
stringi 1.4.6 stringr 1.4.0 survival 3.1-12
sys 3.3 tcltk 3.6.3 TeachingDemos 2,10
testthat 2.3.2 tibble 3.0.3 tidyr 1.1.0
tidyselect 1.1.0 tidyverse 1.3.0 timeDate 3043.102
tinytex 0,24 tools 3.6.3 usethis 1.6.1
utf8 1.1.4 utils 3.6.3 uuid 0.1-4
vctrs 0.3.1 viridisLite 0.3.0 whisker 0,4
withr 2.2.0 xfun 0,15 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flujo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.4-3
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.8.3
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.47.Final
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.7.1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.15.1
org.apache.arrow arrow-memory 0.15.1
org.apache.arrow arrow-vector 0.15.1
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.9
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.1
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core 1.5.10
org.apache.orc orc-mapreduce 1.5.10
org.apache.orc orc-shims 1.5.10
org.apache.parquet parquet-column 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet parquet-encoding 1.10.1-databricks6
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity velocity 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.18.v20190429
org.eclipse.jetty jetty-continuation 9.4.18.v20190429
org.eclipse.jetty jetty-http 9.4.18.v20190429
org.eclipse.jetty jetty-io 9.4.18.v20190429
org.eclipse.jetty jetty-jndi 9.4.18.v20190429
org.eclipse.jetty jetty-plus 9.4.18.v20190429
org.eclipse.jetty jetty-proxy 9.4.18.v20190429
org.eclipse.jetty jetty-security 9.4.18.v20190429
org.eclipse.jetty jetty-server 9.4.18.v20190429
org.eclipse.jetty jetty-servlet 9.4.18.v20190429
org.eclipse.jetty jetty-servlets 9.4.18.v20190429
org.eclipse.jetty jetty-util 9.4.18.v20190429
org.eclipse.jetty jetty-webapp 9.4.18.v20190429
org.eclipse.jetty jetty-xml 9.4.18.v20190429
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,30
org.glassfish.jersey.containers jersey-container-servlet-core 2,30
org.glassfish.jersey.core jersey-client 2,30
org.glassfish.jersey.core jersey-common 2,30
org.glassfish.jersey.core jersey-server 2,30
org.glassfish.jersey.inject jersey-hk2 2,30
org.glassfish.jersey.media jersey-media-jaxb 2,30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.6.6
org.json4s json4s-core_2.12 3.6.6
org.json4s json4s-jackson_2.12 3.6.6
org.json4s json4s-scalap_2.12 3.6.6
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap shims 0.7.45
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,0
org.scalanlp breeze_2.12 1,0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.5
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52