Compartir a través de

Databricks Runtime 4.2 (EoS)

  • Artículo

Nota:

El soporte técnico con esta versión de Databricks Runtime ha finalizado. Para obtener la fecha de finalización del soporte técnico, consulte Historial de finalización del soporte técnico. Para ver todas las versiones de Databricks Runtime con soporte técnico, consulte las notas de la versión de Databricks Runtime versiones y compatibilidad.

Databricks publicó esta versión en julio de 2018.

Importante

Esta versión quedó en desuso el 5 de marzo de 2019. Para más información sobre la directiva y el programa de desuso de Databricks Runtime, consulte Ciclos de vida del soporte técnico de Databricks Runtime.

En las siguientes notas de la versión se proporciona información sobre Databricks Runtime 4.2, con tecnología de Apache Spark.

Delta Lake

Databricks Runtime 4.2, agrega importantes mejoras de calidad y funcionalidad a Delta Lake. Databricks recomienda encarecidamente que todos los clientes de Delta Lake actualicen al nuevo entorno de ejecución. Esta versión permanece en versión preliminar privada, pero representa una versión candidata en previsión de la próxima versión de disponibilidad general (GA).

Nuevas características

  • Las secuencias se pueden escribir directamente en una tabla Delta registrada en el metastore de Hive mediante df.writeStream.table(...).

Mejoras

  • Todos los comandos y consultas de Delta Lake ahora admiten la referencia a una tabla mediante su ruta de acceso como identificador:

    delta.`<path-to-table>`

    Anteriormente, OPTIMIZE y VACUUM requerían el uso no estándar de valores literales de cadena (es decir, '<path-to-table>').

  • DESCRIBE HISTORY ahora incluye el identificador de confirmación y se ordena del valor más reciente al más antiguo de forma predeterminada.

Corrección de errores

  • El filtrado basado en predicados de partición ahora funciona correctamente incluso cuando el caso de los predicados difiere del de la tabla.
  • Se ha corregido la columna AnalysisException que faltaba al realizar comprobaciones de igualdad en columnas booleanas de tablas Delta (es decir, booleanValue = true).
  • CREATE TABLE ya no modifica el registro de transacciones al crear un puntero en una tabla existente. Esto evita conflictos innecesarios con secuencias simultáneas y permite la creación de un puntero de metastore en tablas donde el usuario solo tiene acceso de lectura a los datos.
  • Llamar a display() en una secuencia que tenga grandes cantidades de datos ya no provoca OOM en el controlador.
  • AnalysisException ahora se produce cuando se elimina una ruta de acceso subyacente de Delta Lake, en lugar de devolver resultados vacíos.
  • Las configuraciones de Delta Lake que requieren una versión de protocolo específica (por ejemplo, appendOnly) solo se pueden aplicar a las tablas en una versión adecuada.
  • Al actualizar el estado de una tabla Delta, los linajes de datos largos ahora se truncan automáticamente para evitar un StackOverFlowError.

Structured Streaming

Nuevas características

  • Delta Lake y Kafka ahora son totalmente compatibles con Trigger.Once. Anteriormente, los límites de velocidad (por ejemplo maxOffsetsPerTriggero maxFilesPerTrigger) especificados como opciones de origen o valores predeterminados podían dar lugar a una ejecución parcial de los datos disponibles. Estas opciones ahora se omiten cuando se usa Trigger.Once, lo que permite procesar todos los datos disponibles actualmente.

  • Se ha agregado un nuevo streaming de tipo foreachBatch() en Scala, donde puede definir una función para procesar la salida de cada microlote mediante operaciones de DataFrame. Esta opción permite lo siguiente:

    • Usar orígenes de datos por lotes existentes para escribir salidas de microlotes en sistemas que aún no tienen un origen de datos de streaming (por ejemplo, use el escritor de lotes de Cassandra en cada salida de microlotes).
    • Escribir la salida de microlotes en varias ubicaciones.
    • Aplicar operaciones de DataFrame y de tabla en salidas de microlotes que aún no se admiten en DataFrames de streaming (por ejemplo, salidas de microlotes de upsert en una tabla Delta).

  • Se han agregado funciones from_avro/to_avro para leer y escribir datos de Avro en DataFrame en lugar de solo archivos, de forma similar a from_json/to_json. Consulte Lectura y escritura de datos de Avro en cualquier lugar para obtener más detalles.

  • Se ha agregado compatibilidad con el streaming foreach() en Python (ya está disponible en Scala). Consulte la documentación de foreach y foreachBatch para más información.

Mejoras

  • Generación más rápida de resultados de salida o limpieza de estado con operaciones con estado (mapGroupsWithState, combinación Stream-Stream, agregación de streaming, dropDuplicates de streaming) cuando no hay datos en el flujo de entrada.

Corrección de errores

  • Se ha corregido el error de corrección SPARK-24588 en la combinación Stream-Stream, que notificaba menos resultados cuando había una repartición explícita antes de ella (por ejemplo, df1.repartition("a", "b").join(df, "a")).

Otros cambios y mejoras

  • Se ha agregado compatibilidad con el comando SQL Deny para los clústeres habilitados para el control de acceso a tablas. Los usuarios ahora pueden denegar permisos específicos de la misma manera que los podían conceder antes. Un permiso denegado sustituirá a uno concedido. Los administradores y propietarios de un objeto determinado siempre podrán realizar acciones.
  • Nuevo origen de datos de Azure Data Lake Storage Gen2, que usa el controlador ABFS. Consulte Conectar a Azure Data Lake Storage Gen2 y Blob Storage
  • Se han actualizado algunas bibliotecas de Python instaladas:
    • pip: de 10.0.0b2 a 10.0.1
    • setuptools: de 39.0.1 a 39.2.0
    • tornado: de 5.0.1 a 5.0.2
    • wheel: de 0.31.0 a 0.31.1
  • Se han actualizado varias bibliotecas de R instaladas. Consulte Bibliotecas de R instaladas.
  • Compatibilidad mejorada con Parquet
  • Se ha actualizado Apache ORC de 1.4.1 a 1.4.3.

Spark de Apache

Databricks Runtime 4.2 incluye Apache Spark 2.3.1. Esta versión incluye todas las correcciones y mejoras que se han incorporado en Databricks Runtime 4.1 (EoS), junto con las siguientes correcciones de errores y mejoras de Spark:

  • [SPARK-24588][SS] La combinación de streaming debe exigir HashClusteredPartitioning a los elementos secundarios.
  • [SPARK-23931][SQL] Realización de arrays_zip en function.scala @scala.annotation.varargs.
  • [SPARK-24633][SQL] Corrección de codegen cuando se requiere la división para arrays_zip
  • [SPARK-24578][CORE] Limitación del tamaño de la subregión del búfer de tipo nio devuelto
  • [SPARK-24613][SQL] No se pudo hacer coincidir la caché con UDF con las cachés dependientes posteriores
  • [SPARK-24583][SQL] Tipo de esquema incorrecto en InsertIntoDataSourceCommand
  • [SPARK-24565][SS] Incorporación de API para en Structured Streaming para exponer las filas de salida de cada microlote como DataFrame
  • [SPARK-24396][SS][PYSPARK] Adición de ForeachWriter de Structured Streaming para Python
  • [SPARK-24216][SQL] Spark TypedAggregateExpression usa getSimpleName que no es seguro en Scala
  • [SPARK-24452][SQL][CORE] Protección frente a un posible desbordamiento en int add o multiple
  • [SPARK-24187][R][SQL] Adición de la función array_join a SparkR
  • [SPARK-24525][SS] Adición de una opción para limitar el número de filas en un elemento memorySink
  • [SPARK-24331][SPARKR][SQL] Adición de arrays_overlap, array_repeat, map_entries a SparkR
  • [SPARK-23931][SQL] Adición de la función arrays_zip a Spark SQL
  • [SPARK-24186][R][SQL] Cambio inverso y de tipo concat en funciones de colección en R
  • [SPARK-24198][SPARKR][SQL] Incorporación de la función slice a SparkR
  • [SPARK-23920][SQL] Incorporación de array_remove para quitar todos los elementos que son iguales a elementos de la matriz
  • [SPARK-24197][SPARKR][SQL] Incorporación de la función array_sort a SparkR
  • [SPARK-24340][CORE] Limpieza de archivos de administrador de bloques de disco no aleatorios después de que el ejecutor se cierre en un clúster independiente
  • [SPARK-23935][SQL] Adición de la función map_entries
  • [SPARK-24500][SQL] Asegúrese de que las secuencias se materializan durante las transformaciones de árbol.
  • [SPARK-24495][SQL] EnsureRequirement devuelve un plan incorrecto al reordenar claves iguales
  • [SPARK-24506][UI] Incorporación de filtros de interfaz de usuario a las pestañas agregadas después de realizar el enlace
  • [SPARK-24468][SQL] Control de la escala negativa al ajustar la precisión de las operaciones decimales
  • [SPARK-24313][SQL] Corrección de la evaluación interpretada de las operaciones de colección para tipos complejos
  • [SPARK-23922][SQL] Incorporación de la función arrays_overlap
  • [SPARK-24369][SQL] Control correcto de varias agregaciones distintas que tienen el mismo conjunto de argumentos
  • [SPARK-24455][CORE] Corrección de errores tipográficos en el comentario TaskSchedulerImpl
  • [SPARK-24397][PYSPARK] Se ha agregado TaskContext.getLocalProperty(key) en Python
  • [SPARK-24117][SQL] Se ha unificado el elemento getSizePerRow
  • [SPARK-24156][SS] Corrección de un error que se producía al recuperarse del error en un lote sin datos
  • [SPARK-24414][UI] Cálculo del número correcto de tareas para una fase.
  • [SPARK-23754][PYTHON] Regeneración de StopIteration en el código de cliente
  • [SPARK-23991][DSTREAMS] Corrección de la pérdida de datos cuando se produce un error en la escritura de WAL en allocateBlocksToBatch
  • [SPARK-24373][SQL] Adición de AnalysisBarrier al elemento secundario de RelationalGroupedDataset y KeyValueGroupedDataset
  • [SPARK-24392][PYTHON] Etiqueta pandas_udf experimental
  • [SPARK-24334] Corrección de la condición de carrera en la que ArrowPythonRunner provoca un apagado no limpio del asignador de memoria de Arrow
  • [SPARK-19112][CORE] Adición de los elementos shortCompressionCodecNames que faltan a la configuración.
  • [SPARK-24244][SPARK-24368][SQL] Operación para pasar solo las columnas necesarias al analizador CSV
  • [SPARK-24366][SQL] Mejora de los mensajes de error para la conversión de tipos
  • [SPARK-24371][SQL] Se ha agregado isInCollection en DataFrame API para Scala...
  • [SPARK-23925][SQL] Adición de la función de colección array_repeat
  • [MINOR] Adición de la configuración SSL del puerto en toString y scaladoc
  • [SPARK-24378][SQL] Corrección de ejemplos incorrectos de la función date_trunc
  • [SPARK-24364][SS] Opción para impedir que se produzca un error en InMemoryFileIndex si la ruta de acceso del archivo no existe
  • [SPARK-24257][SQL] LongToUnsafeRowMap calcula que el nuevo tamaño puede ser incorrecto
  • [SPARK-24348][SQL] Corrección del error element_at"
  • [SPARK-23930][SQL] Adición de la función slice
  • [SPARK-23416][SS] Adición de un método de parada específico para ContinuousExecution.
  • [SPARK-23852][SQL] Actualización a Parquet 1.8.3
  • [SPARK-24350][SQL] Correcciones de ClassCastException en la función "array_position"
  • [SPARK-24321][SQL] Extracción del código común de división/resto a un rasgo base
  • [SPARK-24309][CORE] AsyncEventQueue debe detenerse al interrumpirse.
  • [SPARK-23850][SQL] Adición de la configuración independiente para la redacción de opciones de SQL.
  • [SPARK-22371][CORE] Devolución del valor None en lugar de producir una excepción cuando se recopila un acumulador de elementos no utilizados.
  • [SPARK-24002][SQL] Tarea no serializable causada por org.apache.parquet.io.api.Binary$ByteBufferBackedBinary.getBytes
  • [SPARK-23921][SQL] Adición de la función array_sort
  • [SPARK-23923][SQL] Adición de la función cardinality
  • [SPARK-24159][SS] Habilitación de microlotes sin datos para el streaming de mapGroupswithState
  • [SPARK-24158][SS] Habilitación de microlotes sin datos para el streaming de joins
  • [SPARK-24157][SS] Se han habilitado lotes sin datos en MicroBatchExecution para la agregación y desduplicación de streaming
  • [SPARK-23799][SQL] FilterEstimation.evaluateInSet genera estadísticas incorrectas para STRING
  • [SPARK-17916][SQL] Corrección de la cadena vacía que se analizaba como NULL cuando se establecía nullValue.
  • [SPARK-23916][SQL] Adición de la función array_join
  • [SPARK-23408][SS] Sincronización de acciones sucesivas de AddData en Streaming*JoinSuite
  • [SPARK-23780][R] No se pudo usar la biblioteca googleVis con la nueva instancia de SparkR
  • [SPARK-23821][SQL] Función collection: flatten
  • [SPARK-23627][SQL] Opción para proporcionar isEmpty en el conjunto de datos
  • [SPARK-24027][SQL] Compatibilidad con MapType con StringType para las claves como tipo raíz from_json
  • [SPARK-24035][SQL] Sintaxis de SQL para Pivot: corrección de una advertencia de antlr
  • [SPARK-23736][SQL] Extensión de la función concat para admitir columnas de matriz
  • [SPARK-24246][SQL] Mejora de AnalysisException estableciendo la causa cuando está disponible
  • [SPARK-24263][R] La comprobación de Java de SparkR devuelve un error con openjdk
  • [SPARK-24262][PYTHON] Corrección de errores tipográficos en el mensaje de error de coincidencia de tipo UDF
  • [SPARK-24067][STREAMING][KAFKA] Opción para permitir desplazamientos no consecutivos
  • [SPARK-10878][CORE] Corrección de la condición de carrera cuando varios clientes resuelven artefactos al mismo tiempo
  • [SPARK-19181][CORE] Corrección de "métricas SparkListenerSuite.local" inestables
  • [SPARK-24068] Propagación de las opciones de DataFrameReader al origen de datos Text en la inferencia de esquemas
  • [SPARK-24214][SS] Corrección toJSON para StreamingRelationV2/StreamingExecutionRelation/ContinuousExecutionRelation
  • [SPARK-23919][SPARK-23924][SPARK-24054][SQL] Adición de array_position/element_at función
  • [SPARK-23926][SQL] Extensión de la función inversa para admitir argumentos ArrayType
  • [SPARK-23809][SQL] getOrCreate debe establecer la SparkSession activa
  • [SPARK-23094][SPARK-23723][SPARK-23724][SQL] Compatibilidad con la codificación personalizada para archivos JSON
  • [SPARK-24035][SQL] Sintaxis SQL dinámica para Pivot
  • [SPARK-24069][R] Adición de las funciones array_min y array_max
  • [SPARK-23976][CORE] Detección del desbordamiento de longitud en UTF8String.concat()/ByteArray.concat()
  • [SPARK-24188][CORE] Restauración del punto de conexión de API "/version".
  • [SPARK-24128][SQL] Mención de la opción de configuración en el error CROSS JOIN implícito
  • [SPARK-23291][SQL][R] El valor substr de R no debe reducir la posición inicial en 1 al llamar a Scala API
  • [SPARK-23697][CORE] LegacyAccumulatorWrapper debe definir isZero correctamente
  • [SPARK-24168][SQL] WindowExec no debe tener acceso a SQLConf en el lado ejecutor
  • [SPARK-24143]Filtrado de bloques vacíos al convertir mapstatus en un par (blockId, size)
  • [SPARK-23917][SPARK-23918][SQL] Adición de la función array_max/array_min
  • [SPARK-23905][SQL] Adición de un día de la semana UDF
  • [SPARK-16406][SQL] Mejora del rendimiento de LogicalPlan.resolve
  • [SPARK-24013][SQL] Opción para quitar la compresión innecesaria en ApproximatePercentile
  • [SPARK-23433][CORE] Las finalizaciones de tareas latentes de Spark actualizan todos los conjuntos de tareas
  • [SPARK-24169][SQL] JsonToStructs no debe tener acceso a SQLConf en el lado ejecutor
  • [SPARK-24133][SQL] Backport [SPARK-24133]Comprobación para ver si hay desbordamientos de enteros al cambiar el tamaño de WritableColumnVectors
  • [SPARK-24166][SQL] InMemoryTableScanExec no debe tener acceso a SQLConf en el lado del ejecutor
  • [SPARK-24133][SQL] Comprobación para ver si hay desbordamientos de enteros al cambiar el tamaño de WritableColumnVectors
  • [SPARK-24085][SQL] La consulta devuelve UnsupportedOperationException cuando la subconsulta escalar está presente en la expresión de partición
  • [SPARK-24062][THRIFT SERVER] Corrección del problema de cifrado SASL que no se puede habilitar en el servidor Thrift
  • [SPARK-23004][SS] Asegúrese de que se llama a StateStore.commit solo una vez en una tarea de agregación de streaming
  • [SPARK-23188][SQL] Opción para hacer que el tamaño del lote del lector de tipo columar vectorizado sea configurable
  • [SPARK-23375][SPARK-23973][SQL] Eliminación de un orden innecesario en el optimizador
  • [SPARK-23877][SQL] Uso de predicados de filtro para eliminar particiones en consultas que sean solo de metadatos
  • [SPARK-24033][SQL] Corrección de la falta de coincidencia del marco de ventana specifiedwindowframe(RowFrame, -1, -1)
  • [SPARK-23340][SQL] Actualización de Apache ORC a 1.4.3
  • Se ha corregido un problema de comprobación de valores NULL que probablemente se desencadene al generar código de expansión simplificada y que Spark-23986 expone, ya que ha hecho que el código fuente generado sea un poco más largo y debido a ello ha desencadenado la ruta de acceso del código problemática (división de código mediante Expression.reduceCodeSize()).
  • [SPARK-23989][SQL] El intercambio debe copiar datos antes de orden aleatorio no serializado
  • [SPARK-24021][CORE] Corrección del error en updateBlacklistForFetchFailure de BlacklistTracker
  • [SPARK-24014][PYSPARK] Adición del método onStreamingStarted a StreamingListener
  • [SPARK-23963][SQL] Control correcto de un gran número de columnas en la consulta en una tabla de Hive basada en texto
  • [SPARK-23948] Opción para desencadenar el agente de escucha del trabajo de mapstage en submitMissingTasks
  • [SPARK-23986][SQL] freshName puede generar nombres que no sean únicos
  • [SPARK-23835][SQL] Adición de la verificación no nula a la deserialización de argumentos de tuplas

Actualizaciones de mantenimiento

Consulte Actualizaciones de mantenimiento de Databricks Runtime 4.2.

Entorno del sistema

  • Sistema operativo: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_162
  • Scala: 2.11.8
  • Python: 2.7.12 para clústeres de Python 2 y 3.5.2 para clústeres de Python 3.
  • R: versión de R 3.4.4 (15-03-2018)
  • Clústeres de GPU: están instaladas las siguientes bibliotecas de GPU de NVIDIA:
    • Controlador Tesla 375.66
    • CUDA 9.0
    • cuDNN 7.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
criptografía 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 futuros 3.2.0 ggplot 0.6.8
html5lib 0,999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0,23 matplotlib 1.5.3
mpld3 0,2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 10.0.1 ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
Python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
Solicitudes 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 scour 0,32 seaborn 0.7.1
setuptools 39.2.0 simplejson 3.8.2 simples3 1,0
singledispatch 3.4.0.3 six (seis) 1.10.0 statsmodels 0.6.1
tornado 5.0.2 traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 wheel 0.31.1
wsgiref 0.1.2

Bibliotecas de R instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
abind 1.4-5 assertthat 0.2.0 backports 1.1.2
base 3.4.4 BH 1.66.0-1 bindr 0.1.1
bindrcpp 0.2.2 bit 1.1-12 bit64 0.9-7
bitops 1.0-6 blob 1.1.1 boot 1.3-20
brew 1.0-6 broom 0.4.4 automóvil 3.0-0
carData 3.0-1 caret 6.0-79 cellranger 1.1.0
chron 2.3-52 clase 7.3-14 cli 1.0.0
cluster 2.0.7-1 codetools 0.2-15 colorspace 1.3-2
commonmark 1.4 compiler 3.4.4 crayon 1.3.4
curl 3.2 CVST 0.2-1 data.table 1.10.4-3
conjuntos de datos 3.4.4 DBI 0.8 ddalpha 1.3.1.1
DEoptimR 1,0 - 8 desc 1.1.1 devtools 1.13.5
dichromat 2.0-0 digest 0.6.15 dimRed 0.1.0
doMC 1.3.5 dplyr 0.7.4 DRR 0.0.3
forcats 0.3.0 foreach 1.4.4 foreign 0.8-70
gbm 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 glue 1.2.0 gower 0.1.2
elementos gráficos 3.4.4 grDevices 3.4.4 grid 3.4.4
gsubfn 0.7 gtable 0.2.0 h2o 3.16.0.2
haven 1.1.1 hms 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
iterators 1.0.9 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 labeling 0,3 lattice 0.20-35
lava 1.6.1 lazyeval 0.2.1 littler 0.3.3
lme4 1.1-17 lubridate 1.7.3 magrittr 1.5
mapproj 1.2.6 maps 3.3.0 maptools 0.9-2
MASS 7.3-50 Matriz 1.2-14 MatrixModels 0.4-1
memoise 1.1.0 methods 3.4.4 mgcv 1.8-24
mime 0.5 minqa 1.2.4 mnormt 1.5-5
ModelMetrics 1.1.0 munsell 0.4.3 mvtnorm 1.0-7
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.1 openxlsx 4.0.17
parallel 3.4.4 pbkrtest 0.4-7 pillar 1.2.1
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.2.0
plyr 1.8.4 praise 1.0.0 prettyunits 1.0.2
pROC 1.11.0 prodlim 1.6.1 proto 1.0.0
psych 1.8.3.3 purrr 0.2.4 quantreg 5.35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 randomForest 4.6-14 RColorBrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 readr 1.1.1 readxl 1.0.0
recipes 0.1.2 rematch 1.0.1 reshape2 1.4.3
rio 0.5.10 rlang 0.2.0 robustbase 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0.7 scales 0.5.0 sfsmisc 1.1-2
sp 1.2-7 SparkR 2.3.1 SparseM 1.77
spatial 7.3-11 splines 3.4.4 sqldf 0.4-11
SQUAREM 2017.10-1 statmod 1.4.30 stats 3.4.4
stats4 3.4.4 stringi 1.1.7 stringr 1.3.0
survival 2.42-3 tcltk 3.4.4 TeachingDemos 2,10
testthat 2.0.0 tibble 1.4.2 tidyr 0.8.0
tidyselect 0.2.4 timeDate 3043.102 tools 3.4.4
utf8 1.1.3 utils 3.4.4 viridisLite 0.3.0
whisker 0.3-2 withr 2.1.2 xml2 1.2.0

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.11)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics flujo 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.4.1-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0,3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2.2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0.8
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx recopilador 0.7
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2,11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-jdbc 3.6.3
net.snowflake spark-snowflake_2.11 2.3.2
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4,7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.8.0
org.apache.arrow arrow-memory 0.8.0
org.apache.arrow arrow-vector 0.8.0
org.apache.avro avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3,5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core-nohive 1.4.3
org.apache.orc orc-mapreduce-nohive 1.4.3
org.apache.parquet parquet-column 1.8.3-databricks2
org.apache.parquet parquet-common 1.8.3-databricks2
org.apache.parquet parquet-encoding 1.8.3-databricks2
org.apache.parquet parquet-format 2.3.1
org.apache.parquet parquet-hadoop 1.8.3-databricks2
org.apache.parquet parquet-jackson 1.8.3-databricks2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4.
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0,2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark unused 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1,0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52