Partager via

Databricks Runtime 15.0 (EoS)

  • Article

Remarque

La prise en charge de cette version databricks Runtime a pris fin. Pour connaître la date de fin de support, consultez l’historique de fin de support. Pour toutes les versions prises en charge de Databricks Runtime, consultez Notes de publication sur les versions et la compatibilité de Databricks Runtime.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 15.0 avec Apache Spark 3.5.0.

Databricks a publié cette version en mars 2024.

Dernières modifications

La fonction PySpark spark.sql() échoue désormais pour des types d’arguments non valides

Dans Databricks Runtime 15.0 et ultérieur, le paramètre args pour les paramètres nommés ou positionnels passés à la fonction spark.sql() doit être un dictionnaire ou une liste. Si un autre type d’objet est passé, l’erreur suivante est générée : PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>.

Le stockage des bibliothèques à la racine DBFS est déconseillé et désactivé par défaut

Pour améliorer la sécurité des bibliothèques dans un espace de travail Azure Databricks, le stockage des fichiers de bibliothèque dans la racine DBFS est déconseillé et désactivé par défaut à compter de Databricks Runtime 15.0. Databricks recommande de charger toutes les bibliothèques, notamment les bibliothèques Python, les fichiers JAR et les connecteurs Spark, dans des fichiers d’espace de travail ou des volumes Unity Catalog, ou d’utiliser des référentiels de packages de bibliothèques. Consultez Recommandations relatives au chargement de bibliothèques.

Pour réactiver le stockage des bibliothèques dans la racine DBFS, définissez le paramètre de configuration Spark suivant : spark.databricks.driver.dbfsLibraryInstallationAllowed true.

La version Python par défaut est mise à niveau de la version 3.10 vers la version 3.11

Avec Databricks Runtime 15.0, la version Python par défaut est la version 3.11.0. Pour obtenir la liste des bibliothèques Python mises à niveau, consultez Mises à niveau des bibliothèques.

JDK 11 est supprimé

Comme précédemment annoncé, JDK 11 est supprimé de Databricks Runtime 15.0 et ultérieur. Databricks recommande la mise à niveau vers JDK 17 lors de la mise à niveau vers Databricks Runtime 15.0 et ultérieur. Consultez le kit de développement logiciel (SDK) Databricks pour Java.

Le REPL Python se termine maintenant correctement.

Avec Databricks Runtime 15.0, le processus REPL PYTHON du notebook se termine désormais normalement à la sortie. Ceci fait que les hooks atexit sont respectés. Par exemple, dans un workflow avec plusieurs tâches de notebook Python, les hooks atexit inscrits dans la première tâche s’exécutent avant l’exécution de la deuxième tâche du notebook Python.

Améliorations et nouvelles fonctionnalités

La clause * (étoile) est désormais prise en charge dans la clause WHERE

Vous pouvez maintenant utiliser la clause étoile (*) dans la clause WHERE pour faire référence à toutes les colonnes de la liste SELECT. Par exemple : SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

La spark.sql.json.enablePartialResultsconfiguration est désormais activée par défaut.

La configuration Spark spark.sql.json.enablePartialResults est désormais activée par défaut, ce qui permet à l’analyseur JSON de gérer correctement les erreurs d’analyse pour les types complexes comme struct, map et array sans supprimer les champs restants. Cette modification résout un problème de cohérence pour les sources de données JSON avec le nettoyage des colonnes.

Les bibliothèques de cluster prennent désormais en charge les fichiers requirements.txt.

Vous pouvez désormais installer des bibliothèques de cluster en utilisant un fichier requirements.txt stocké dans un fichier d’espace de travail ou un volume Unity Catalog. Dans les clusters en mode d’accès Utilisateur unique et Partagé, le fichier requirements.txt peut référencer d’autres fichiers. Dans les clusters en mode d’accès Aucune isolation partagée, seuls les packages PyPI sont pris en charge. Consultez Bibliothèques de clusters.

L’interface CLI Databricks est désormais disponible dans le terminal web.

Vous pouvez désormais utiliser l’interface CLI Databricks à partir du terminal web dans le notebook. Le notebook doit être attaché à un cluster en mode d’accès Utilisateur unique ou Aucune isolation partagée. Pour plus d’informations, consultez Utiliser le terminal web et l’interface CLI Databricks.

Ajout de référentiels Python par défaut aux configurations de cluster

Dans Databricks Runtime 15.0 et ultérieur, vous pouvez configurer des paramètres globaux pip index-url et extra-index-url pour l’installation d’une bibliothèque au niveau du cluster et du notebook lors de la configuration d’un cluster ou de la définition d’une stratégie de cluster. Pour ce faire, définissez les variables d’environnement DATABRICKS_PIP_INDEX_URL et DATABRICKS_PIP_EXTRA_INDEX_URL.

Mises à niveau de la bibliothèque

  • Bibliothèques Python mises à niveau :
    • black de 22.6.0 vers 23.3.0
    • boto3 de 1.24.28 vers 1.34.39
    • botocore de 1.27.96 vers 1.34.39
    • certifi de 2022.12.7 vers 2023.7.22
    • cryptography de 39.0.1 vers 41.0.3
    • databricks-sdk de 0.1.6 à 0.20.0
    • distlib de 0.3.7 vers 0.3.8
    • googleapis-common-protos de 1.62.0 à 1.63.0
    • grpcio de 1.48.2 vers 1.60.0
    • grpcio-status de 1.48.1 vers 1.60.0
    • importlib-metadata de 4.6.4 vers 6.0.0
    • ipykernel de 6.25.0 vers 6.25.1
    • ipython de 8.14.0 vers 8.15.0
    • ipywidgets de 7.7.2 vers 8.0.4
    • jupyter_core de 5.2.0 vers 5.3.0
    • jupyterlab-widgets de 1.0.0 vers 3.0.5
    • matplotlib de 3.7.0 vers 3.7.2
    • pandas de 1.5.3 vers 2.0.3
    • pip de 22.3.1 vers 23.2.1
    • platformdirs de 2.5.2 vers 3.10.0
    • protobuf de 4.24.0 vers 4.24.1
    • pyarrow de 8.0.0 vers 14.0.1
    • Pygments de 2.11.2 vers 2.15.1
    • pyodbc de 4.0.32 vers 4.0.38
    • requests de 2.28.1 vers 2.31.0
    • s3transfer de 0.6.2 vers 0.10.0
    • scikit-learn de 1.1.1 vers 1.3.0
    • scipy de 1.10.0 vers 1.11.1
    • setuptools de 65.6.3 vers 68.0.0
    • statsmodels de 0.13.5 vers 0.14.0
    • tenacity de 8.1.0 vers 8.2.2
    • tornado de 6.1 vers 6.3.2
    • typing_extensions de 4.4.0 vers 4.7.1
    • urllib3 de 1.26.14 vers 1.26.16
    • virtualenv de 20.16.7 vers 20.24.2
    • widgetsnbextension de 3.6.1 vers 4.0.5
    • zipp de 1.0.0 vers 3.11.0
  • Bibliothèques R mises à niveau :
    • arrow de 12.0.1 vers 14.0.0.2
    • askpass de 1.1 vers 1.2.0
    • base de 4.3.1 vers 4.3.2
    • brew de 1.0-8 vers 1.0-10
    • brio de 1.1.3 vers 1.1.4
    • bslib de 0.5.0 vers 0.6.1
    • cli de 3.6.1 vers 3.6.2
    • commonmark de 1.9.0 vers 1.9.1
    • compiler de 4.3.1 vers 4.3.2
    • config de 0.3.1 vers 0.3.2
    • cpp11 de 0.4.4 vers 0.4.7
    • credentials de 1.3.2 vers 2.0.1
    • curl de 5.0.1 vers 5.2.0
    • data.table de 1.14.8 vers 1.15.0
    • datasets de 4.3.1 vers 4.3.2
    • DBI de 1.1.3 vers 1.2.1
    • dbplyr de 2.3.3 vers 2.4.0
    • desc de 1.4.2 vers 1.4.3
    • digest de 0.6.33 vers 0.6.34
    • dplyr de 1.1.2 vers 1.1.4
    • e1071 de 1.7-13 vers 1.7-14
    • evaluate de 0.21 vers 0.23
    • fansi de 1.0.4 vers 1.0.6
    • fontawesome de 0.5.1 vers 0.5.2
    • fs de 1.6.2 vers 1.6.3
    • future de 1.33.0 vers 1.33.1
    • future.apply de 1.11.0 vers 1.11.1
    • gargle de 1.5.1 vers 1.5.2
    • gert de 1.9.2 vers 2.0.1
    • ggplot2 de 3.4.2 vers 3.4.4
    • glmnet de 4.1-7 vers 4.1-8
    • glue de 1.6.2 vers 1.7.0
    • graphics de 4.3.1 vers 4.3.2
    • grDevices de 4.3.1 vers 4.3.2
    • grid de 4.3.1 vers 4.3.2
    • gtable de 0.3.3 vers 0.3.4
    • hardhat de 1.3.0 vers 1.3.1
    • haven de 2.5.3 vers 2.5.4
    • htmltools de 0.5.5 vers 0.5.7
    • htmlwidgets de 1.6.2 vers 1.6.4
    • httpuv de 1.6.11 vers 1.6.14
    • httr de 1.4.6 vers 1.4.7
    • httr2 de 0.2.3 vers 1.0.0
    • jsonlite de 1.8.7 vers 1.8.8
    • knitr de 1.43 vers 1.45
    • labeling de 0.4.2 vers 0.4.3
    • later de 1.3.1 vers 1.3.2
    • lava de 1.7.2.1 vers 1.7.3
    • lifecycle de 1.0.3 vers 1.0.4
    • listenv de 0.9.0 vers 0.9.1
    • lubridate de 1.9.2 vers 1.9.3
    • markdown de 1.7 vers 1.12
    • methods de 4.3.1 vers 4.3.2
    • openssl de 2.0.6 vers 2.1.1
    • parallel de 4.3.1 vers 4.3.2
    • pkgbuild de 1.4.2 vers 1.4.3
    • pkgload de 1.3.2.1 vers 1.3.4
    • plyr de 1.8.8 vers 1.8.9
    • prettyunits de 1.1.1 vers 1.2.0
    • pROC de 1.18.4 vers 1.18.5
    • processx de 3.8.2 vers 3.8.3
    • prodlim de 2023.03.31 vers 2023.08.28
    • progress de 1.2.2 vers 1.2.3
    • progressr de 0.13.0 vers 0.14.0
    • promises de 1.2.0.1 vers 1.2.1
    • ps de 1.7.5 vers 1.7.6
    • purrr de 1.0.1 vers 1.0.2
    • ragg de 1.2.5 vers 1.2.7
    • Rcpp de 1.0.11 vers 1.0.12
    • RcppEigen de 0.3.3.9.3 vers 0.3.3.9.4
    • readr de 2.1.4 vers 2.1.5
    • recipes de 1.0.6 vers 1.0.9
    • rematch de 1.0.1 vers 2.0.0
    • remotes de 2.4.2 vers 2.4.2.1
    • reprex de 2.0.2 vers 2.1.0
    • rlang de 1.1.1 vers 1.1.3
    • rmarkdown de 2.23 vers 2.25
    • RODBC de 1.3-20 vers 1.3-23
    • roxygen2 de 7.2.3 vers 7.3.1
    • rprojroot de 2.0.3 vers 2.0.4
    • Rserve de 1.8-11 vers 1.8-13
    • RSQLite de 2.3.1 vers 2.3.5
    • sass de 0.4.6 vers 0.4.8
    • scales de 1.2.1 vers 1.3.0
    • shiny de 1.7.4.1 vers 1.8.0
    • sparklyr de 1.8.1 vers 1.8.4
    • splines de 4.3.1 vers 4.3.2
    • stats de 4.3.1 vers 4.3.2
    • stats4 de 4.3.1 vers 4.3.2
    • stringi de 1.7.12 vers 1.8.3
    • stringr de 1.5.0 vers 1.5.1
    • systemfonts de 1.0.4 vers 1.0.5
    • tcltk de 4.3.1 vers 4.3.2
    • testthat de 3.1.10 vers 3.2.1
    • textshaping de 0.3.6 vers 0.3.7
    • tidyr de 1.3.0 vers 1.3.1
    • timechange de 0.2.0 vers 0.3.0
    • timeDate de 4022.108 vers 4032.109
    • tinytex de 0.45 vers 0.49
    • tools de 4.3.1 vers 4.3.2
    • utf8 de 1.2.3 vers 1.2.4
    • utils de 4.3.1 vers 4.3.2
    • uuid de 1.1-0 vers 1.2-0
    • vctrs de 0.6.3 vers 0.6.5
    • vroom de 1.6.3 vers 1.6.5
    • waldo de 0.5.1 vers 0.5.2
    • withr de 2.5.0 vers 3.0.0
    • xfun de 0.39 vers 0.41
    • xml2 de 1.3.5 vers 1.3.6
    • yaml de 2.3.7 vers 2.3.8
    • zip de 2.3.0 vers 2.3.1
  • Bibliothèques Java mises à niveau :
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.15.1 vers 2.16.0
    • com.google.flatbuffers.flatbuffers-java de 1.12.0 vers 23.5.26
    • com.typesafe.config de 1.2.1 vers 1.4.3
    • org.apache.ant.ant de 1.9.16 vers 1.10.11
    • org.apache.ant.ant-jsch de 1.9.16 vers 1.10.11
    • org.apache.ant.ant-launcher de 1.9.16 vers 1.10.11
    • org.apache.arrow.arrow-format de 12.0.1 vers 15.0.0
    • org.apache.arrow.arrow-memory-core de 12.0.1 vers 15.0.0
    • org.apache.arrow.arrow-memory-netty de 12.0.1 vers 15.0.0
    • org.apache.arrow.arrow-vector de 12.0.1 vers 15.0.0
    • org.apache.avro.avro de 1.11.2 vers 1.11.3
    • org.apache.avro.avro-ipc de 1.11.2 vers 1.11.3
    • org.apache.avro.avro-mapred de 1.11.2 vers 1.11.3
    • org.apache.logging.log4j.log4j-1.2-api de 2.20.0 vers 2.22.1
    • org.apache.logging.log4j.log4j-api de 2.20.0 vers 2.22.1
    • org.apache.logging.log4j.log4j-core de 2.20.0 vers 2.22.1
    • org.apache.logging.log4j.log4j-slf4j2-impl de 2.20.0 vers 2.22.1
    • org.postgresql.postgresql de 42.6.0 vers 42.6.1

Apache Spark

Databricks Runtime 15.0 inclut Apache Spark 3.5.0. Cette version inclut tous les correctifs et améliorations de Spark inclus dans Databricks Runtime 14.3 LTS, ainsi que les correctifs et améliorations supplémentaires suivants apportés à Spark :

  • [SPARK-45527] [DBRRM-805][ES-1073714] Revert « [SC-151626][CORE] Utiliser la fraction pour faire le calcul des ressources »
  • [SPARK-47102] [DBRRM-803][SC-158253][SQL] Ajouter l’indicateur de configuration COLLATION_ENABLED
  • [SPARK-46973] [SC-158140][DBRRM-777][SQL] Ignorer la recherche de table V2 lorsqu’une table est dans le cache de table V1
  • [SPARK-46808] [SC-154113][PYTHON] Affiner les classes d’erreur dans Python avec une fonction de tri automatique
  • [SPARK-47251] [SC-158291][PYTHON] Bloquer les types non valides de l’argument args pour la commande sql
  • [SPARK-47251] [SC-158121][PYTHON] Bloquer les types non valides de l’argument args pour la commande sql
  • [SPARK-47108] [SC-157204][CORE] Définir derby.connection.requireAuthentication sur false explicitement dans les interfaces CLI
  • [SPARK-45599] [SC-157537][CORE] Utiliser l’égalité d’objets dans OpenHashSet
  • [SPARK-47099] [SC-157352][SQL] Utiliser ordinalNumber pour définir uniformément la valeur de paramIndex pour la classe d’erreur UNEXPECTED_INPUT_TYPE
  • [SPARK-46558] [SC-151363][CONNECT] Extraire une fonction d’assistance pour éliminer le code en doublon qui récupère MessageParameters auprès de ErrorParams dans GrpcExceptionConverter
  • [SPARK-43117] [SC-156177][CONNECT] Faire en sorte que ProtoUtils.abbreviate prenne en charge les champs répétés
  • [SPARK-46342] [SC-150283][SQL] Remplacer IllegalStateException par SparkException.internalError dans SQL
  • [SPARK-47123] [SC-157412][CORE] JDBCRDD ne gère pas correctement les erreurs dans getQueryOutputSchema
  • [SPARK-47189] [SC-157667][SQL] Ajuster les noms et le texte des erreurs de colonne
  • [SPARK-45789] [SC-157101][SQL] Prendre en charge DESCRIBE TABLE pour les colonnes de clustering
  • [SPARK-43256] [SC-157699][SQL] Supprimer la classe d’erreur _LEGACY_ERROR_TEMP_2021
  • [SPARK-47201] [SC-157782][PYTHON][CONNECT] sameSemantics vérifie les types d’entrée
  • [SPARK-47183] [SC-157660][PYTHON] Corriger la classe d’erreur pour sameSemantics
  • [SPARK-47179] [SC-157663][SQL] Améliorer le message d’erreur de SparkThrowableSuite pour un meilleur débogage
  • [SPARK-46965] [SC-155791][CORE] Vérifier logType dans Utils.getLog
  • [SPARK-46832] [SC-156774][SQL] Introduction des expressions Collate et Collation
  • [SPARK-46946] [SC-155721][SQL] Prise en charge de la diffusion de plusieurs clés de filtrage dans DynamicPruning
  • [SPARK-47079] [VARIANT-22][SC-157598][PYTHON][SQL][CONNECT] Ajouter des informations sur le type Variant à PySpark
  • [SPARK-47101] [SC-157360][SQL] Autoriser l’utilisation de virgules dans les noms de colonnes de plus haut niveau et supprimer la vérification de la définition de type imbriqué dans HiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [SC-157571][SS][UI] Corriger une faute de frappe dans l’explication de l’interface utilisateur de la diffusion en continu
  • [SPARK-47113] [SC-157348][CORE] Rétablir la logique de la correction du point de terminaison S3A de SPARK-35878
  • [SPARK-47130] [SC-157462][CORE] Utiliser listStatus pour contourner les informations d’emplacement de blocage lors du nettoyage des journaux du pilote
  • [SPARK-43259] [SC-157368][SQL] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [SC-157355][SQL] TakeOrderedAndProjectExec doit initialiser la projection non sécurisée
  • [SPARK-47137] [SC-157463][PYTHON][CONNECT] Ajouter getAll à spark.conf pour la parité des fonctionnalités avec Scala
  • [SPARK-46924] [SC-154905][CORE] Corriger le bouton Load New dans l’interface utilisateur du journal Master/HistoryServer
  • [SPARK-47069] [SC-157370][PYTHON][CONNECT] Introduction de spark.profile.show/dump pour le profilage basé sur SparkSession
  • [SPARK-46812] [SC-157075][SQL][PYTHON] Faire en sorte que mapInPandas / mapInArrow prennent en charge ResourceProfile
  • [SPARK-46833] [SC-155866][SQL] Classements – Introduction de CollationFactory, qui fournit des règles de comparaison et de hachage pour les classements pris en charge
  • [SPARK-47057] [SC-157036][PYTHON] Réactiver le test des données MyPy
  • [SPARK-46934] [SC-157084][SQL] Aller-retour en lecture-écriture pour le type struct avec des caractères spéciaux avec HMS
  • [SPARK-46727] [SC-153472][SQL] Porter classifyException() dans les dialectes JDBC sur les classes d’erreur
  • [SPARK-46964] [SC-155740][SQL] Modifier la signature de l’erreur d’exécution de requête hllInvalidLgK pour prendre un entier comme 4e argument
  • [SPARK-46949] [SC-155719][SQL] Prendre en charge CHAR/VARCHAR via ResolveDefaultColumns
  • [SPARK-46972] [SC-155888][SQL] Corriger le remplacement asymétrique pour char/varchar dans V2SessionCatalog.createTable
  • [SPARK-47014] [SC-156778][PYTHON][CONNECT] Implémenter les méthodes dumpPerfProfiles et dumpMemoryProfiles de SparkSession
  • [SPARK-46689] [SC-156221][SPARK-46690][PYTHON][CONNECT] Prendre en charge le profilage v2 dans le groupe/cogroupe applyInPandas/applyInArrow
  • [SPARK-47040] [SC-156773][CONNECT] Autoriser le script du serveur Spark Connect à attendre
  • [SPARK-46688] [SC-156113][SPARK-46691][PYTHON][CONNECT] Prendre en charge le profilage v2 dans les fonctions définies par l’utilisateur Pandas agrégées
  • [SPARK-47004] [SC-156499][CONNECT] Ajout de tests supplémentaires à ClientStreamingQuerySuite pour augmenter la couverture des tests du client Scala
  • [SPARK-46994] [SC-156169][PYTHON] Refactoriser PythonWrite pour préparer la prise en charge de l’écriture de diffusion en continu de la source de données Python
  • [SPARK-46979] [SC-156587][SS] Ajouter la prise en charge de la spécification séparée de l’encodeur de clé et de valeur et également pour chaque famille de colonnes dans le fournisseur de magasin d’états RocksDB
  • [SPARK-46960] [SC-155940][SS] Test de plusieurs flux d’entrée avec l’opérateur TransformWithState
  • [SPARK-46966] [SC-156112][Python] Ajouter l’API UDTF pour la méthode « analyze» de façon à indiquer un sous-ensemble de colonnes de table d’entrée à sélectionner
  • [SPARK-46895] [SC-155950][CORE] Remplacer le minuteur par un exécuteur planifié à un seul thread
  • [SPARK-46967] [SC-155815][CORE][UI] Masquer Thread Dump et Heap Histogram des exécuteurs Dead dans l’interface utilisateur de Executors
  • [SPARK-46512] [SC-155826][CORE] Optimiser la lecture aléatoire quand le tri et la combinaison sont tous deux utilisés.
  • [SPARK-46958] [SC-155942][SQL] Ajouter un fuseau horaire manquant pour forcer les valeurs par défaut
  • [SPARK-46754] [SC-153830][SQL][AVRO] Corriger la résolution du code de compression dans les options de définition et d’écriture de table Avro
  • [SPARK-46728] [SC-154207][PYTHON] Vérifier correctement l’installation de Pandas
  • [SPARK-43403] [SC-154216][UI] Vérifier que l’ancien SparkUI dans HistoryServer a été détaché avant de charger le nouveau
  • [SPARK-39910] [SC-156203][SQL] Déléguer la qualification du chemin d’accès au système de fichiers lors du filtrage avec caractères génériques du chemin d’accès au fichier DataSource
  • [SPARK-47000] [SC-156123] Rétablir “[SC-156123][CORE] Utiliser getTotalMemorySize…
  • [SPARK-46819] [SC-154560][CORE] Déplacer les catégories d’erreurs et les états dans JSON
  • [SPARK-46997] [SC-156175][CORE] Activer spark.worker.cleanup.enabled par défaut
  • [SPARK-46865] [SC-156168][SS] Ajouter la prise en charge du traitement par lots pour l’opérateur TransformWithState
  • [SPARK-46987] [SC-156040][CONNECT] ProtoUtils.abbreviate – éviter l’opération setField inutile
  • [SPARK-46970] [SC-155816][CORE] Réécrire OpenHashSet#hasher avec pattern matching
  • [SPARK-46984] [SC-156024][PYTHON] Supprimer pyspark.copy_func
  • [SPARK-47000] [SC-156123][CORE] Utiliser getTotalMemorySize dans WorkerArguments
  • [SPARK-46980] [SC-155914][SQL][MINOR] Éviter d’utiliser des API internes dans les tests de bout en bout des dataframes
  • [SPARK-46931] Rétablir « [SC-155661][PS] Implémenter {Frame, Series}.to_hdf »
  • [SPARK-46618] [SC-153828][SQL] Améliorer les messages d’erreur pour l’erreur DATA_SOURCE_NOT_FOUND
  • [SPARK-46849] [SC-154586][SQL] Exécuter l’optimiseur sur les valeurs par défaut des colonnes de CREATE TABLE
  • [SPARK-46911] [SC-155724][SS] Ajouter l’opérateur deleteIfExists à StatefulProcessorHandleImpl
  • [SPARK-43273] [SQL] Prise en charge du codec de compression lz4raw pour Parquet
  • [SPARK-47002] [SC-156223][Python] Retourner un meilleur message d’erreur si le champ « orderBy » de la méthode « analyze » d’UDTF retourne accidentellement une liste de chaînes
  • [SPARK-46890] [SC-155802][SQL] Corriger le bogue d’analyse de CSV avec les valeurs par défaut d’existence et le nettoyage des colonnes
  • [SPARK-46977] [SC-155892][CORE] Une demande ayant échoué à obtenir un jeton auprès d’un NameNode ne doit pas ignorer les demandes de jeton suivantes
  • [SPARK-46608] [SC-151806][SQL] Restaurer la compatibilité descendante de JdbcDialect.classifyException
  • [SPARK-46908] [SC-155702][SQL] Prendre en charge la clause star (étoile) dans la clause WHERE
  • [SPARK-46908] [SC-155702][SQL] Prendre en charge la clause star (étoile) dans la clause WHERE
  • [SPARK-46852] [SC-155665][SS] Supprimer l’utilisation de l’encodeur de clé explicite et la passer implicitement à l’opérateur pour l’opérateur transformWithState
  • [SPARK-46864] [SC-155669][SS] Intégrer l’état arbitraire V2 sur le nouveau framework de classes d’erreur
  • [SPARK-45807] [SC-155706][SQL] Retourner la vue après l’appel de replaceView(..)
  • [SPARK-46899] [SC-154651][CORE] Supprimer les API POST de MasterWebUI quand spark.ui.killEnabled est false
  • [SPARK-46868] [SC-154539][CORE] Prendre en charge l’interface utilisateur des journaux du Worker Spark
  • [SPARK-46931] [SC-155661][PS] Implémenter {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667][CORE] Supprimer les updateSparkConfigFromProperties et isAbsoluteURI inutilisés dans o.a.s.u.Utils
  • [SPARK-46929] [SC-155659][CORE][CONNECT][SS] Utiliser ThreadUtils.shutdown pour fermer les pools de threads
  • [SPARK-46400] [SC-155658][CORE][SQL] Quand il existe des fichiers endommagés dans le référentiel maven local, ignorer ce cache et réessayer
  • [SPARK-46932] [SC-155655] Nettoyer les importations dans pyspark.pandas.test_*
  • [SPARK-46683] [SC-154120] Écrire un générateur de sous-requête qui génère des permutations des sous-requêtes pour augmenter la couverture des tests
  • [SPARK-46914] [SC-154776][UI] Raccourcir le nom de l’application dans le tableau récapitulatif de la page Historique
  • [SPARK-46831] [SC-154699][SQL] Classements – Extension de StringType et de PhysicalStringType avec le champ collationId
  • [SPARK-46816] [SC-154415][SS] Ajouter la prise en charge de base pour un nouvel opérateur de gestion d’état arbitraire, un type valueState unique, plusieurs variables d’état et la prise en charge sous-jacente des familles de colonnes pour RocksDBStateStoreProvider avec/sans point de contrôle du journal des modifications
  • [SPARK-46925] [SC-154890][PYTHON][CONNECT] Ajouter un avertissement qui demande d’installer memory_profiler pour le profilage de la mémoire
  • [SPARK-46927] [SC-154904][PYTHON] Faire en sorte que assertDataFrameEqual fonctionne correctement sans PyArrow
  • [SPARK-46021] [SC-148987][CORE] Prendre en charge l’annulation de travaux futurs appartenant à un groupe de travaux
  • [SPARK-46747] [SC-154789][SQL] Éviter l’analyse dans getTableExistsQuery pour les dialectes JDBC
  • [SPARK-46904] [SC-154704][UI] Résoudre le problème d’affichage du récapitulatif de l’interface utilisateur de l’historique
  • [SPARK-46870] [SC-154541][CORE] Prendre en charge l’interface utilisateur du journal maître de Spark
  • [SPARK-46893] [SC-154780][UI] Supprimer les scripts inline des descriptions de l’interface utilisateur
  • [SPARK-46910] [SC-154760][PYTHON] Éliminer l’exigence de JDK dans l’installation de PySpark
  • [SPARK-46907] [SC-154736][CORE] Afficher l’emplacement du journal du pilote dans le serveur d’historique Spark
  • [SPARK-46902] [SC-154661][UI] Corriger l’interface utilisateur du serveur d’historique Spark pour utiliser setAppLimit non exporté
  • [SPARK-46687] [SC-154725][PYTHON][CONNECT] Prise en charge de base du profileur de mémoire basé sur SparkSession
  • [SPARK-46623] [SC-153831][CORE][MLLIB][SQL] Remplacer SimpleDateFormat par DateTimeFormatter
  • [SPARK-46875] [SC-154627][SQL] Quand le mode a la valeur null, un NullPointException doit not être levé
  • [SPARK-46872] [SC-154543][CORE] Récupérer log-view.js pour qu’il soit non-module
  • [SPARK-46883] [SC-154629][CORE] Prendre en charge l’API /json/clusterutilization
  • [SPARK-46886] [SC-154630][CORE] Activer spark.ui.prometheus.enabled par défaut
  • [SPARK-46873] [SC-154638][SS] Ne pas recréer un nouveau StreamingQueryManager pour la même session Spark
  • [SPARK-46829] [SC-154419][CORE] Supprimer createExecutorEnv de SparkEnv
  • [SPARK-46827] [SC-154280][CORE] Faire en sorte que RocksDBPersistenceEngine prenne en charge un lien symbolique
  • [SPARK-46903] [SC-154662][CORE] Prendre en charge l’interface utilisateur du serveur d’historique Spark
  • [SPARK-46874] [SC-154646][PYTHON] Supprimer la dépendance pyspark.pandas de assertDataFrameEqual
  • [SPARK-46889] [SC-154639][CORE] Valider le paramètre spark.master.ui.decommission.allow.mode
  • [SPARK-46850] [SC-154443][SQL] Convertir _LEGACY_ERROR_TEMP_2102 en UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323][CORE][UI] Corriger MasterPage pour trier correctement la table Running Drivers sur la colonne Duration
  • [SPARK-46796] [SC-154279][SS] Vérifiez que les fichiers distants corrects (mentionnés dans metadata.zip) sont utilisés sur le chargement de la version de RocksDB
  • [SPARK-46888] [SC-154636][CORE] Corriger Master pour rejeter les demandes de /workers/kill/ si la désactivation est désactivée
  • [SPARK-46818] [SC-154422][SQL] Améliorer les messages d’erreur pour une plage avec des entrées non pliables
  • [SPARK-46898] [SC-154649][CONNECT] Simplifier la transformation de la fonction protobuf dans le planificateur
  • [SPARK-46828] [SC-154413][SQL] Supprimer l’assertion non valide du mode distant pour le shell SQL Spark
  • [SPARK-46733] [SC-154274][CORE] Simplifier le BlockManager par l’opération de sortie pour qu’il dépende seulement du thread d’interruption.
  • [SPARK-46777] [SC-154016][SS] Refactoriser la structure CatalystStreamingDataSourceV2Relation pour qu’elle soit plus à égalité avec la version par lots
  • [SPARK-46515] [SC-151716] Ajouter la fonction MONTHNAME
  • [SPARK-46823] [SC-154276][CONNECT][PYTHON] LocalDataToArrowConversion doit vérifier la nullabilité
  • [SPARK-46787] [SC-154404][CONNECT] La fonction bloomFilter doit déclencher une AnalysisException pour une entrée non valide
  • [SPARK-46779] [SC-154045][SQL] Des instances de InMemoryRelation du même plan mis en cache doivent être sémantiquement équivalentes
  • [SPARK-45827] [SC-153973] Interdire le partitionnement sur une colonne Variant
  • [SPARK-46797] [SC-154085][CORE] Renommage de spark.deploy.spreadOut en spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] Prendre en charge le profilage JVM de l’exécuteur
  • [SPARK-46746] [SC-153557][SQL][AVRO] Attacher l’extension codec aux fichiers de source de données Avro
  • [SPARK-46698] [SC-153288][CORE] Remplacer le minuteur par un exécuteur planifié à un seul thread pour ConsoleProgressBar.
  • [SPARK-46629] [SC-153835] Corriger le type STRUCT DDL qui ne prend pas en charge la nullabilité et les commentaires
  • [SPARK-46750] [SC-153772][CONNECT][PYTHON] Nettoyage du code des API de DataFrame
  • [SPARK-46769] [SC-153979][SQL] Affiner l’inférence de schéma associé au timestamp
  • [SPARK-46765] [SC-153904][PYTHON][CONNECT] Faire en sorte que shuffle spécifie le type de données de seed
  • [SPARK-46579] [SC-151481][SQL] Corriger l’URL JDBC dans les erreurs et les journaux
  • [SPARK-46686] [SC-153875][PYTHON][CONNECT] Prise en charge de base du profileur de fonctions définies par l’utilisateur Python basé sur SparkSession
  • [SPARK-46748] Rétablir “[SC-153800][CORE] Supprimer *sla***.sh scri…
  • [SPARK-46707] [SC-153833][SQL] Ajout d’un champ jetable à des expressions pour améliorer le pushdown de prédicat
  • [SPARK-46519] [SC-151278][SQL] Effacer les classes d’erreur inutilisées du fichier error-classes.json
  • [SPARK-46677] [SC-153426][SQL][CONNECT] Corriger la résolution de dataframe["*"]
  • [SPARK-46317] [SC-150184][PYTHON][CONNECT] Mettre en correspondance des comportements mineurs dans SparkSession avec une couverture de test complète
  • [SPARK-46748] [SC-153800][CORE] Supprimer les scripts *sla***.sh
  • [SPARK-46663] [SC-153490][PYTHON] Désactiver le profileur de mémoire pour les fonctions définies par l’utilisateur pandas avec des itérateurs
  • [SPARK-46410] [SC-150776][SQL] Affecter des classes/sous-classes d’erreur à JdbcUtils.classifyException
  • [SPARK-46277] [SC-150126][PYTHON] Valider les URL de démarrage avec la configuration en cours de définition
  • [SPARK-46612] [SC-153536][SQL] Ne pas convertir la chaîne de type tableau récupérée à partir du pilote JDBC
  • [SPARK-46254] [SC-149788][PYTHON] Supprimer la vérification des versions obsolètes de Python 3.8/3.7
  • [SPARK-46490] [SC-151335][SQL] Exiger des classes d’erreur dans les sous-classes SparkThrowable
  • [SPARK-46383] [SC-153274][SC-147443][WARMFIX] Réduire l’utilisation du tas du pilote en réduisant la durée de vie de TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109][SQL][CONNECT] Corriger la référence de colonne ambiguë dans l’auto-jointure
  • [SPARK-46381] [SC-150495][SQL] Migrer les sous-classes de AnalysisExceptionvers des classes d’erreur
  • [SPARK-46351] [SC-150335][SQL] Exiger une classe d’erreur dans AnalysisException
  • [SPARK-46220] [SC-149689][SQL] Restreindre les charsets dans decode()
  • [SPARK-46369] [SC-150340][CORE] Supprimer le lien kill des pilotes RELAUNCHING dans MasterPage
  • [SPARK-46052] [SC-153284][CORE] Supprimer la fonction TaskScheduler.killAllTaskAttempts
  • [SPARK-46536] [SC-153164][SQL] Prendre en charge calendar_interval_type dans GROUP BY
  • [SPARK-46675] [SC-153209][SQL] Supprimer inferTimestampNTZ qui est inutilisé dans ParquetReadSupport
  • [SPARK-46717] [SC-153423][CORE] Simplifier ReloadingX509TrustManager par l’opération de sortie pour qu’il dépende seulement du thread d’interruption.
  • [SPARK-46722] [SC-153438][CONNECT] Ajouter un test concernant la vérification de la compatibilité descendante pour StreamingQueryListener dans Spark Connect (Scala/PySpark)
  • [SPARK-46187] [SC-149580][SQL] Aligner l’implémentation de codegen et non-codegen de StringDecode
  • [SPARK-46258] [SC-149799][CORE] Ajouter RocksDBPersistenceEngine
  • [SPARK-46216] [SC-149676][CORE] Améliorer FileSystemPersistenceEngine pour prendre en charge les compressions
  • [SPARK-46189] [SC-149567][PS][SQL] Effectuer des comparaisons et des opérations arithmétiques entre les mêmes types dans différentes fonctions d’agrégation Pandas pour éviter les erreurs du mode interprété
  • [SPARK-46184] [SC-149563][CORE][SQL][CONNECT][MLLIB] Réduire la profondeur de la pile en remplaçant Option.isDefined par Option.isEmpty
  • [SPARK-46700] [SC-153329][CORE] Compter le dernier déversement pour la métrique des octets de déversement de disque aléatoire
  • [SPARK-45642] [SC-150286][CORE][SQL] Corriger FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [SC-153272][SQL] Corriger RemoveRedundantAlias en excluant les attributs de sous-requête
  • [SPARK-46681] [SC-153287][CORE] Refactoriser ExecutorFailureTracker#maxNumExecutorFailures pour éviter de calculer defaultMaxNumExecutorFailures quand MAX_EXECUTOR_FAILURES est configuré
  • [SPARK-46695] [SC-153289][SQL][HIVE] Toujours définir hive.execution.engine sur mr
  • [SPARK-46325] [SC-150228][CONNECT] Supprimer les fonctions de remplacement inutiles lors de la construction de WrappedCloseableIterator dans ResponseValidator#wrapIterator
  • [SPARK-46232] [SC-149699][PYTHON] Migrer toutes les ValueErrors restantes dans le framework d’erreur PySpark.
  • [SPARK-46547] [SC-153174][SS] Ignorer l’exception non récupérable dans la tâche de maintenance pour éviter un blocage entre le thread de maintenance et l’opérateur d’agrégation de diffusion en continu
  • [SPARK-46169] [SC-149373][PS] Affecter les numéros JIRA appropriés pour les paramètres manquants de l’API DataFrame.
  • [SPARK-45857] [SC-148096][SQL] Appliquer les classes d’erreur dans les sous-classes de AnalysisException

Prise en charge du pilote ODBC/JDBC Databricks

Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Veuillez télécharger les pilotes récemment publiés et mettre à niveau (téléchargez ODBC, téléchargez JDBC).

Mises à jour de maintenance

Consultez les mises à jour de maintenance databricks Runtime 15.0.

Environnement du système

  • Système d’exploitation : Ubuntu 22.04.4 LTS
  • Java : Zulu 8.74.0.17-CA-linux64
  • Scala : 2.12.15
  • Python : 3.11.0
  • R : 4.3.2
  • Delta Lake : 3.1.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
click 8.0.4 cloudpickle 2.2.1 comm 0.1.2
contourpy 1.0.5 chiffrement 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0,4 en cours d’exécution 0.8.3 facets-overview 1.1.1
filelock 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth 2.28.2
google-cloud-core 2.4.1 google-cloud-storage 2.15.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets 8.0.4 isodate 0.6.1
jedi 0.18.1 jeepney 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgets 3.0.5 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.1
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 empaquetage 23,2
pandas 2.0.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6.0 pyzmq 23.2.0 requests 2.31.0
rsa 4,9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 seaborn 0.12.2 SecretStorage 3.3.1
setuptools 68.0.0 six 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id 5.11 stack-data 0.2.0
statsmodels 0.14.0 tenacity 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tornado 6.3.2 traitlets 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
unattended-upgrades 0.1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 wheel 0.38.4
widgetsnbextension 4.0.5 zipp 3.11.0

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané CRAN du Gestionnaire de package Posit le 10-02-2023.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
flèche 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 boot 1.3-28
brew 1.0-10 brio 1.1.4 broom 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.2 clipr 0.8.0
horloge 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compiler 4.3.2
config 0.3.2 conflicted 1.2.0 cpp11 0.4.7
crayon 1.5.2 credentials 2.0.1 curl 5.2.0
data.table 1.15.0 jeux de données 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
diagramme 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipsis 0.3.2 evaluate 0.23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 gargle 1.5.2
generics 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1,45 labeling 0.4.3
later 1.3.2 lattice 0.21-8 lava 1.7.3
cycle de vie 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Matrice 1.5-4.1 memoise 2.0.1 méthodes 4.3.2
mgcv 1.8-42 mime 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 progress 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactable 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 rematch 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spatial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
survival 3.5-5 fichier Swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0,49 tools 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 natifs
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1 natifs
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 natifs
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1 natifs
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collecteur 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1