Partager via

Databricks Runtime 10.4 LTS

  • Article

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 10.4 LTS et Databricks Runtime 10.4 LTS Photon avec Apache Spark 3.2.1. Photon est en préversion publique. Databricks a publié cette version en mars 2022.

Remarque

LTS (Long Term Support) signifie que cette version bénéficie d’un support à long terme. Consultez Cycle de vie de la version de Databricks Runtime LTS.

Conseil

Pour afficher les notes de publication des versions de Databricks Runtime qui ont atteint la fin du support (EoS), consultez Fin de support des notes de publication des versions de Databricks Runtime. Les versions EoS de Databricks Runtime ont été supprimées et peuvent ne pas être mises à jour.

Améliorations et nouvelles fonctionnalités

Convertisseur de table Iceberg vers Delta (préversion publique)

La conversion vers Delta prend maintenant en charge la conversion d’une table Iceberg en une table Delta sur place. Pour cela, elle utilise des métadonnées et des manifestes de fichier natifs Iceberg. Consultez Convertir en Delta Lake.

Les restaurations de compactage automatique sont désormais activées par défaut

Cette version améliore le comportement des écritures Delta Lake qui sont validées lorsqu’il y a des transactions de compactage automatique simultanées. Avant cette version, ces écritures se ferment souvent, en raison de modifications simultanées apportées à une table. Les écritures vont maintenant être correctement exécutées même s’il existe des transactions de compactage automatique simultanées.

Fusion faible en mélange aléatoire est désormais activée par défaut

La commande MERGE INTO utilise désormais toujours la nouvelle implémentation de faible lecture aléatoire. Ce comportement améliore considérablement les performances de la commande MERGE INTO pour la plupart des charges de travail. Le paramètre de configuration précédemment utilisé pour activer cette fonctionnalité a été supprimé. Consultez Fusion faible et aléatoire sur Azure Databricks.

Les balises d’ordre d’insertion sont désormais conservées pour les opérations UPDATE et DELETE

Les commandes UPDATE et DELETE préservent à présent les informations de clustering existantes (y compris l’ordre de plan) des fichiers mis à jour ou supprimés. Ce comportement est une approche optimale qui ne s’applique pas aux cas où les fichiers sont si petits qu’ils sont combinés pendant la mise à jour ou la suppression.

HikariCP est désormais le pool de connexions metastore Hive par défaut

HikariCP apporte de nombreuses améliorations à la stabilité de l’accès au metastore Hive tout en maintenant moins de connexions par rapport à l’implémentation précédente du pool de connexions BoneCP. HikariCP est activé par défaut sur tout cluster Databricks Runtime qui utilise le metastore Hive Databricks (par exemple, lorsque spark.sql.hive.metastore.jars n’est pas défini). Vous pouvez également basculer explicitement vers d’autres implémentations de pool de connexions, par exemple BoneCP, en définissant spark.databricks.hive.metastore.client.pool.type.

Le connecteur Azure Synapse permet désormais de définir le nombre maximal de lignes de rejet autorisées.

Le connecteur Azure Synapse prend désormais en charge une option DataFrame maxErrors. Cette mise à jour vous permet de configurer le nombre maximal de lignes rejetées autorisées pendant les lectures et les écritures avant l’annulation de l’opération de chargement. Toutes les lignes rejetées sont ignorées. Par exemple, si deux enregistrements sur dix comportent des erreurs, seuls huit enregistrements sont traités.

Cette option est mappée directement à l’option REJECT_VALUE pour l’instruction CREATE EXTERNAL TABLE dans PolyBase et à l’option MAXERRORS pour la commande COPY du connecteur Azure Synapse.

Par défaut, la valeur maxErrors est définie sur 0 : tous les enregistrements sont censés être valides.

Le point de contrôle d’état asynchrone est désormais en disponibilité générale

Vous pouvez activer la création de point de contrôle d’état asynchrone dans les requêtes de streaming avec état à l’aide de mises à jour d’état conséquentes. Cela peut réduire la latence de micro-lot de bout en bout. Cette fonctionnalité est désormais en disponibilité générale. Consultez Point de contrôle d’état asynchrone pour les requêtes avec état.

Les valeurs par défaut des paramètres peuvent désormais être spécifiés pour les fonctions définies par l’utilisateur SQL

Lorsque vous créez une fonction définie par l’utilisateur SQL (SQL UDF), vous pouvez désormais spécifier des expressions par défaut pour les paramètres de cette SQL UDF. Vous pouvez ensuite appeler la SQL UDF sans fournir d’arguments pour ces paramètres, et Databricks renseigne les valeurs par défaut de ces paramètres. Consultez CRÉER UNE FONCTION (SQL et Python).

Nouvelles fonctions Spark SQL

Les fonctions Spark SQL suivantes sont désormais disponibles avec cette version :

  • try_multiply : Retourne multiplier multiplié par multiplicand, ou NULL en cas de dépassement.
  • try_subtract : Retourne la soustraction de expr2 à expr1, ou NULL en cas de dépassement.

Nouveau répertoire de travail pour les clusters à forte concurrence

Sur les clusters à forte concurrence avec le contrôle d’accès à la table ou l’activation du passage des informations d’identification, le répertoire de travail actuel des notebooks est désormais le répertoire d’accueil de l’utilisateur. Auparavant, le répertoire de travail était /databricks/driver.

La prise en charge des colonnes d’identité dans les tables Delta est désormais en disponibilité générale

Delta Lake prend désormais en charge les colonnes d’identité. Lorsque vous écrivez dans une table Delta qui définit une colonne d’identité et que vous ne fournissez pas de valeurs pour cette colonne, Delta affecte désormais automatiquement une valeur unique et statistiquement croissante ou décroissante. Consultez CREATE TABLE [USING].

Mises à niveau de la bibliothèque

  • Bibliothèques Python mises à niveau :
    • filelock de 3.4.2 à 3.6.0
  • Bibliothèques R mises à niveau :
    • brew de 1.0-6 à 1.0-7
    • broom de 0.7.11 à 0.7.12
    • cli de 3.1.0 vers 3.2.0
    • clipr de 0.7.1 vers 0.8.0
    • colorspace de 2.0-2 à 2.0-3
    • crayon de 1.4.2 à 1.5.0
    • dplyr de 1.0.7 à 1.0.8
    • dtplyr de 1.2.0 à 1.2.1
    • evaluate de 0.14 à 0.15
    • foreach de 1.5.1 à 1.5.2
    • future de 1.23.0 à 1.24.0
    • generics de 0.1.1 à 0.1.2
    • glue de 1.6.0 à 1.6.1
    • gower de 0.2.2 à 1.0.0
    • iterators de 1.0.13 à 1.0.14
    • jsonlite de 1.7.3 à 1.8.0
    • magrittr de 2.0.1 à 2.0.2
    • mgcv de 1.8-38 à 1.8-39
    • pillar de 1.6.4 à 1.7.0
    • randomForest de 4.6-14 à 4.7-1
    • readr de 2.1.1 à 2.1.2
    • recipes de 0.1.17 à 0.2.0
    • rlang de 0.4.12 à 1.0.1
    • rpart de 4.1-15 à 4.1.16
    • RSQLite de 2.2.9 à 2.2.10
    • sparklyr de -hadoop2 à 1.7.5
    • testthat de 3.1.1 à 3.1.2
    • tidyr de 1.1.4 à 1.2.0
    • tidyselect de 1.1.1 à 1.1.2
    • tinytex de 0.36 à 0.37
    • yaml de 2.2.1 à 2.3.5
  • Bibliothèques Java mises à niveau :
    • io.delta.delta-sharing-spark_2.12 de 0.3.0 à 0.4.0

Apache Spark

Databricks Runtime 10.4 LTS comprend Apache Spark 3.2.1. Cette version inclut tous les correctifs et améliorations Spark figurant dans Databricks Runtime 10.3 (EoS) ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

  • [SPARK-38322] [SQL] Support de l’étape de requête montrant les statistiques d’exécution en mode explication formatée
  • [SPARK-38162] [SQL] Optimisation d’un plan de lignes dans l’optimiseur normal et AQE
  • [SPARK-38229] [SQL] Interdiction de vérifier temp/external/ifNotExists avec visitReplaceTable lors de l’utilisation de l’analyseur
  • [Spark-34183] [SS] DataSource v2 : distribution et classement requis lors de l’exécution du micro-lot
  • [SPARK-37932] [SQL] Attente de la résolution des attributs manquants avant l’application de DeduplicateRelations
  • [SPARK-37904] [SQL] Amélioration de RebalancePartitions dans les règles de l’optimiseur
  • [SPARK-38236] [SQL] [3.2] [3.1] Vérifier si l’emplacement de la table est absolu par « new Path (locationUri). isAbsolute » dans create/alter table
  • [SPARK-38035] [SQL] Ajout de tests Docker pour le dialecte JDBC intégré
  • [SPARK-38042] [SQL] S’assurer que ScalaReflection.dataTypeFor fonctionne sur les types de tableau avec alias
  • [SPARK-38273] [SQL] Les itérateurs de decodeUnsafeRowsdoivent fermer les flux d’entrée sous-jacents
  • [SPARK-38311] [SQL] Correction de DynamicPartitionPruning/BucketedReadSuite/ExpressionInfoSuite en mode ANSI
  • [Spark-38305] [Core] Vérifier explicitement si la source existe dans unpack() avant d’appeler des méthodes FileUtil
  • [Spark-38275] [SS] Inclure l’utilisation de la mémoire de writeBatch en tant qu’utilisation de la mémoire totale du magasin RocksDB
  • [SPARK-38132] [SQL] Supprimer la règle NotPropagation
  • [SPARK-38286] [SQL] Les valeurs maxRows et maxRowsPerPartition de l’Union peuvent être dépassées
  • [SPARK-38306] [SQL] Correction de ExplainSuite, StatisticsCollectionSuite et StringFunctionsSuite en mode ANSI
  • [SPARK-38281] [SQL] [Tests] Correction d’AnalysisSuite en mode ANSI
  • [SPARK-38307] [SQL] [Tests] Correction de ExpressionTypeCheckingSuite et CollectionExpressionsSuite en mode ANSI
  • [SPARK-38300] [SQL] Utilisation ByteStreams.toByteArray pour simplifier fileToString et resourceToBytes dans catalyst.util
  • [SPARK-38304] [SQL] Elt () doit retourner la valeur null si l’index est null en mode ANSI
  • [Spark-38271] PoissonSampler peut générer plus de lignes que MaxRows
  • [Spark-38297] Transformer explicitement la valeur de retour de DataFrame.to_numpy dans POS.
  • [SPARK-38295] [SQL] [Tests] Correction d’ArithmeticExpressionSuite en mode ANSI
  • [SPARK-38290] [SQL] Correction de JsonSuite et de ParquetIOSuite en mode ANSI
  • [SPARK-38299] [SQL] Nettoyage de l’utilisation déconseillée de StringBuilder.newBuilder
  • [SPARK-38060] [SQL] Respecter allowNonNumericNumbers lors de l’analyse des valeurs NaN entre guillemets et d’infini dans le lecteur JSON
  • [SPARK-38276] [SQL] Ajout de plans TPCDS approuvés en mode ANSI
  • [SPARK-38206] [SS] Ignorer la nullité lors de la comparaison du type de données des clés de jointure lors de la jointure flux-flux
  • [SPARK-37290] [SQL] - Temps de planification exponentiel en cas de fonction non déterministe
  • [SPARK-38232] [SQL] L’explication formatée ne collecte pas les sous-requêtes sous l’étape de requête dans AQE
  • [SPARK-38283] [SQL] Tester l’analyse syntaxique de datetime non valide en mode ANSI
  • [SPARK-38140] [SQL] Les statistiques de colonne Desc (min, max) pour le type de timestamp ne sont pas cohérentes avec les valeurs en raison de la différence de fuseau horaire
  • [SPARK-38227] [SQL][SS] Appliquer la nullité stricte de la colonne imbriquée dans la fenêtre de temps / fenêtre de session
  • [SPARK-38221] [SQL] Itération rapide sur groupingExpressions lors du déplacement d’expressions de regroupement complexes hors d’un nœud Aggregate
  • [SPARK-38216] [SQL] Échec précoce si toutes les colonnes sont des colonnes partitionnées lors de la création d’une table Hive
  • [Spark-38214] [SS] Inutile de filtrer les fenêtres quand windowDuration est un multiple de slideDuration
  • [SPARK-38182] [SQL] Corriger NoSuchElementException si le filtre envoyé ne contient aucune référence
  • [SPARK-38159] [SQL] Ajouter un nouveau FileSourceMetadataAttribute pour les métadonnées du fichier caché
  • [SPARK-38123] [SQL] Utilisation unifiée de DataType en tant que targetType de QueryExecutionErrors#castingCauseOverflowError
  • [SPARK-38118] [SQL] Func(type de données incorrect) dans la clause HAVING doit générer une erreur d’incompatibilité des données
  • [SPARK-35173] [SQL] [PYTHON] Ajouter ke support d’ajout de colonnes multiples
  • [SPARK-38177] [SQL] Correction de l’erreur de transformExpressions dans l’optimiseur
  • [SPARK-38228] [SQL] L’affectation de la mémoire héritée ne devrait pas échouer en cas d’erreur en mode ANSI
  • [SPARK-38173] [SQL] La colonne citée ne peut pas être reconnue correctement lorsque quotedRegexColumnNa...
  • [SPARK-38130] [SQL] Suppression de la vérification des entrées ordonnées de array_sort
  • [SPARK-38199] [SQL] Suppression du dataType inutilisé indiqué dans la définition de IntervalColumnAccessor
  • [SPARK-38203] [SQL] Correction de SQLInsertTestSuite et de SchemaPruningSuite en mode ANSI
  • [SPARK-38163] [SQL] Préserver la classe d’erreurs de SparkThrowable durant la construction du générateur de fonctions
  • [SPARK-38157] [SQL] Définir explicitement ANSI à false dans le test timestampNTZ/timestamp.sql et SQLQueryTestSuite pour correspondre aux résultats de la version finale attendus
  • [Spark-38069] [SQL] [SS] Améliorer le calcul de la fenêtre de temps
  • [SPARK-38164] [SQL] Nouvelles fonctions SQL : try_subtract et try_multiply
  • [SPARK-38176] [SQL] Mode ANSI : autoriser la conversion implicite de chaînes en d’autres types simples
  • [SPARK-37498] [PYTHON] Ajouter eventually pour test_reuse_worker_of_parallelize_range
  • [SPARK-38198] [SQL][3.2] Correction de QueryExecution.debug#toFile qui utilise le maxFields passé lorsque explainMode est CodegenMode
  • [SPARK-38131] [SQL] Utiliser les classes d’erreur uniquement dans les exceptions destinées à l’utilisateur
  • [SPARK-37652] [SQL] Ajouter un test pour optimiser la jointure inclinée par le biais d’une union
  • [SPARK-37585] [SQL] Mettre à jour InputMetric dans DataSourceRDD avec TaskCompletionListener
  • [SPARK-38113] [SQL] Utiliser les classes d’erreur dans les erreurs d’exécution du pivotement
  • [SPARK-38178] [SS] Corriger la logique pour mesurer l’utilisation de la mémoire de RocksDB
  • [SPARK-37969] [SQL] HiveFileFormat doit vérifier le nom du champ
  • [SPARK-37652] Rétablir « [SQL] Ajouter un test pour optimiser la jointure inclinée par le biais d’une union »
  • [SPARK-38124] [SQL][SS] Introduire StatefulOpClusteredDistribution et appliquer à la jointure flux-flux
  • [SPARK-38030] [SQL] la canonicalisation ne doit pas supprimer la possibilité de valeur null du type de données AttributeReference
  • [SPARK-37907] [SQL] InvokeLike prend en charge ConstantFolding
  • [Spark-37891] [Core] Ajouter le contrôle scalastyle pour désactiver scala.concurrent.ExecutionContext.Implicits.global
  • [SPARK-38150] [SQL] Mettre à jour le commentaire de RelationConversions
  • [SPARK-37943] [SQL] Utiliser les classes d’erreur dans les erreurs de compilation du regroupement
  • [SPARK-37652] [SQL] Ajouter un test pour optimiser la jointure inclinée par le biais d’une union
  • [SPARK-38056] [Web UI][3.2] Correction du problème de la diffusion en continu structurée qui ne fonctionne pas dans le serveur d’historique en cas d’utilisation de LevelDB
  • [SPARK-38144] [CORE] Supprimer la configuration inutilisée spark.storage.safetyFraction
  • [SPARK-38120] [SQL] Correction de HiveExternalCatalog.listPartitions lorsque le nom de la colonne de partition est en majuscule et qu’il existe un point dans la valeur de la partition
  • [SPARK-38122] [Docs] Mettre à jour la clé d’application de DocSearch
  • [SPARK-37479] [SQL] Migrer DROP NAMESPACE pour utiliser la commande V2 par défaut
  • [SPARK-35703] [SQL] Contrainte assouplie pour la jointure de compartiments et suppression de HashClusteredDistribution
  • [SPARK-37983] [SQL] Retourner les indicateurs de performance du temps de génération d’agrégation à partir de l’agrégat de tri
  • [SPARK-37915] [SQL] Combiner des unions s’il existe un projet entre elles
  • [SPARK-38105] [SQL] Utiliser les classes d’erreur dans les erreurs d’analyse des jointures
  • [SPARK-38073] [PYTHON] Mettre à jour la fonction atexit pour éviter les problèmes liés à la liaison tardive
  • [SPARK-37941] [SQL] Utiliser les classes d’erreur dans les erreurs de compilation de forçage de type
  • [SPARK-37937] [SQL] Utiliser les classes d’erreur dans les erreurs d’analyse syntaxique de la jointure latérale
  • [SPARK-38100] [SQL] Supprimer la méthode privée inutilisée dans Decimal
  • [SPARK-37987] [SS] Corriger le test StreamingAggregationSuite.changing du schéma d’état lors du redémarrage de la requête
  • [SPARK-38003] [SQL] La règle LookupFunctions ne doit rechercher que les fonctions du registre des fonctions scalaires
  • [SPARK-38075] [SQL] Correction de hasNext dans l’itérateur de sortie de processus de HiveScriptTransformationExec
  • [SPARK-37965] [SQL] Suppression de la vérification du nom du champ lors de la lecture/écriture de données existantes dans Orc
  • [SPARK-37922] [SQL] Combiner en un seul forçage de type si nous pouvons en toute sécurité effectuer deux forçages de type (pour dbr-branch-10.x)
  • [SPARK-37675] [SPARK-37793] Empêcher l’écrasement des fichiers fusionnés par push shuffle une fois que la lecture aléatoire est finalisée
  • [SPARK-38011] [SQL] Supprimer la configuration dupliquée et inutile dans ParquetFileFormat
  • [SPARK-37929] [SQL] Prendre en charge le mode cascade pour l’API dropNamespace
  • [SPARK-37931] [SQL] Citer le nom de la colonne si nécessaire
  • [SPARK-37990] [SQL] Prendre en charge TimestampNTZ dans RowToColumnConverter
  • [SPARK-38001] [SQL] Remplacer les classes d’erreur liées aux fonctionnalités non prises en charge par UNSUPPORTED_FEATURE
  • [SPARK-37839] [SQL] DS v2 prend en charge la poussée de l’agrégat partielAVG
  • [SPARK-37878] [SQL] Migrer SHOW CREATE TABLE pour utiliser la commande v2 par défaut
  • [SPARK-37731] [SQL] Refactorisation et nettoyage de la fonction lookup dans l’analyseur
  • [SPARK-37979] [SQL] Basculer vers des classes d’erreurs plus génériques dans les fonctions AES
  • [SPARK-37867] [SQL] Compiler les fonctions d’agrégation du dialecte JDBC intégré
  • [SPARK-38028] [SQL] Exposer le vecteur flèche depuis ArrowColumnVector
  • [SPARK-30062] [SQL] Ajouter l’instruction IMMEDIATE à l’implémentation de la troncature du dialecte DB2
  • [SPARK-36649] [SQL] Support de Trigger.AvailableNow sur la source de données Kafka
  • [SPARK-38018] [SQL] Corriger ColumnVectorUtils.populate pour gérer correctement CalendarIntervalType
  • [SPARK-38023] [CORE] ExecutorMonitor.onExecutorRemoved doit gérer ExecutorDecommission comme étant terminé
  • [SPARK-38019] [CORE] Rendre ExecutorMonitor.timedOutExecutors déterministe
  • [SPARK-37957] [SQL] Passer correctement l’indicateur déterministe pour les fonctions scalaires V2
  • [SPARK-37985] [SQL] Correction d’un test défectueux pour SPARK-37578
  • [SPARK-37986] [SQL] Support de TimestampNTZ dans le tri de base
  • [SPARK-37967] [SQL] Literal.create supporte ObjectType
  • [SPARK-37827] [SQL] Placer les propriétés de table intégrées dans V1Table.properties pour s’adapter à la commande V2
  • [SPARK-37963] [SQL] Nécessité de mettre à jour l’URI de la Partition après avoir renommé la table dans InMemoryCatalog
  • [SPARK-35442] [SQL] Support de la propagation de la relation vide par agrégat/union
  • [SPARK-37933] [SQL] Modifier la méthode de parcours des règles de push V2ScanRelationPushDown
  • [SPARK-37917] [SQL] Repousser la limite 1 pour le côté droit de la jointure semi/anti si la condition de jonction est vide
  • [SPARK-37959] [ML] Correction de l’UT de la vérification de la norme dans KMeans et BiKMeans
  • [SPARK-37906] [SQL] spark-sql ne doit pas passer le dernier commentaire au backend
  • [SPARK-37627] [SQL] Ajouter une colonne triée dans BucketTransform

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 10.4 LTS.

Environnement du système

  • Système d’exploitation : Ubuntu 20.04.4 LTS
  • Java : Zulu 8.56.0.21-CA-linux64
  • Scala : 2.12.14
  • Python : 3.8.10
  • R : 4.1.2
  • Delta Lake : 1.1.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1,10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0.3
facets-overview 1.0.0 filelock 3.6.0 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 notebook 6.3.0 numpy 1.20.1
empaquetage 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
plotly 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2.20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requêtes 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 six 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 24/02/2022.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 objet BLOB 1.2.2 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 0.7.12
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
caret 6.0-90 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.2.0 clipr 0.8.0
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-3
commonmark 1.7 compiler 4.1.2 config 0.3.1
cpp11 0.4.2 crayon 1.5.0 credentials 1.3.2
curl 4.3.2 data.table 1.14.2 jeux de données 4.1.2
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.0
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
ellipsis 0.3.2 evaluate 0.15 fansi 1.0.2
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.24.0
future.apply 1.8.1 gargle 1.2.0 generics 0.1.2
gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
glue 1.6.1 googledrive 2.0.0 googlesheets4 1.0.0
gower 1.0.0 graphics 4.1.2 grDevices 4.1.2
grid 4.1.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 hardhat 0.2.0 haven 2.4.3
highr 0.9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
iterators 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 knitr 1,37 labeling 0.4.2
later 1.3.0 lattice 0.20-45 lava 1.6.10
cycle de vie 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 markdown 1.1 MASS 7.3-55
Matrice 1.4-0 memoise 2.0.1 methods 4.1.2
mgcv 1.8-39 mime 0,12 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-155
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 1.4.6
parallel 4.1.2 parallelly 1.30.0 pillar 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.2
prodlim 2019.11.13 progress 1.2.2 progressr 0.10.0
promises 1.2.0.1 proto 1.0.0 proxy 0.4-26
ps 1.6.0 purrr 0.3.4 r2d3 0.2.5
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
recipes 0.2.0 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.1 rmarkdown 2,11 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.10 rstudioapi 0,13
rversions 2.1.1 rvest 1.0.2 sass 0.4.0
scales 1.1.1 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 spatial 7.3-11
splines 4.1.2 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.2 stats4 4.1.2 stringi 1.7.6
stringr 1.4.0 survival 3.2-13 sys 3.4
tcltk 4.1.2 TeachingDemos 2,10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0.37
tools 4.1.2 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.2 uuid 1.0-3
vctrs 0.3.8 viridisLite 0.4.0 vroom 1.5.7
waldo 0.3.1 whisker 0,4 withr 2.4.3
xfun 0,29 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collecteur 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core jersey-common 2,34
org.glassfish.jersey.core jersey-server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1