Partager via

Databricks Runtime 12.0 (EoS)

  • Article

Remarque

La prise en charge de cette version databricks Runtime a pris fin. Pour connaître la date de fin de support, consultez l’historique de fin de support. Pour toutes les versions prises en charge de Databricks Runtime, consultez Notes de publication sur les versions et la compatibilité de Databricks Runtime.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 12.0 optimisé par Apache Spark 3.3.1.

Databricks a publié cette version en décembre 2022.

Améliorations et nouvelles fonctionnalités

E/S prédictives en disponibilité générale

Les E/S prédictives sont désormais en disponibilité générale. Pour plus d’informations, consultez Qu’est-ce que les E/S prédictives ?.

Photon Writer prend en charge la compression zstd

Le Photon Writer natif prend désormais en charge le codec de compression zstd lorsque zstd est activé en définissant spark.sql.parquet.compression.codec sur zstd.

Prise en charge du profil de ressource de tâche au niveau des étapes pour les clusters autonomes

Vous pouvez maintenant utiliser la planification au niveau des étapes sur des clusters autonomes lorsque l’allocation dynamique est désactivée. Pour utiliser cette fonctionnalité, spécifiez les ressources de tâche avec ResourceProfileBuilder pour chaque étape.

Prise en charge DE SQL pour le remplacement sélectif avec REPLACE WHERE

Vous pouvez maintenant remplacer de manière sélective les données correspondant à une expression arbitraire dans une table Delta à l’aide du modèle suivant.

INSERT INTO table_name REPLACE WHERE predicate append_relation

Consultez Remplacement sélectif arbitraire avec replaceWhere.

Les filigranes sont désormais pris en charge dans SQL

Vous pouvez désormais spécifier des filigranes à l’aide de l’interface SQL Delta Live Tables et dans les requêtes SQL sur des DataFrames en streaming. Consultez la clause WATERMARK.

Profilage de la mémoire PySpark

Le profilage de mémoire est désormais activé pour les fonctions pySpark définies par l’utilisateur. Cela fournit des informations sur l’incrément de mémoire, l’utilisation de la mémoire et le nombre d’occurrences pour chaque ligne de code dans une fonction définie par l’utilisateur.

Élagage dynamique pour DELETE et UPDATE

Lorsque vous utilisez du calcul avec Photon, DELETE et UPDATE utilisent maintenant l’élagage dynamique des fichiers et des partitions aux endroits ou il améliore les performances. Par exemple, l’élagage dynamique est activé lorsqu’une table source plus petite est utilisée pour mettre à jour ou supprimer des lignes dans une table plus grande.

Métriques de suppression au niveau des lignes pour les opérations de langage de manipulation de données partitionnés

Avec les prédicats partitionnés, les utilisateurs peuvent désormais auditer le nombre de lignes supprimées lors de l’exécution d’opérations de langage de manipulation de données (DML) telles que DELETE, TRUNCATEet replaceWhere.

Résolution des bogues

Correction d’un problème avec l’analyse JSON dans Auto Loader où toutes les colonnes étaient laissées en tant que chaînes. Auparavant, cloudFiles.inferColumnTypes n’était pas défini ou défini sur false et le JSON contenait des objets imbriqués.

Mises à niveau de la bibliothèque

  • Bibliothèques Python mises à niveau :
    • argon2-cffi de 20.1.0 à 21.3.0
    • attrs de 21.2.0 à 21.4.0
    • backports-entry-points-selectable==1.1.1 à 1.2.0
    • bleach de 4.0.0 à 4.1.0
    • boto3 de 1.21.18 à 1.21.32
    • botocore de 1.24.18 à 1.24.32
    • cffi de 1.14.6 à 1.15.0
    • click de 8.0.3 à 8.0.4
    • cycler de 0.10.0 à 0.11.0
    • Cython de 0.29.24 à 0.29.28
    • debugpy de 1.4.1 à 1.5.1
    • decorator de 5.1.0 à 5.1.1
    • entrypoints de 0.3 à 0.4
    • idna de 3.2 à 3.3
    • ipykernel de 6.12.1 à 6.15.3
    • ipython de 7.32.0 à 8.5.0
    • ipywidgets de 7.7.0 à 7.7.2
    • jedi de 0.18.0 à 0.18.1
    • joblib de 1.0.1 à 1.1.0
    • jsonschema de 3.2.0 à 4.4.0
    • kiwisolver de 1.3.1 à 1.3.2
    • matplotlib de 3.4.3 à 3.5.1
    • nbclient de 0.5.3 à 0.5.13
    • nbconvert de 6.1.0 à 6.4.4
    • nbformat de 5.1.3 à 5.3.0
    • nest-asyncio de 1.5.1 à 1.5.5
    • notebook de 6.4.5 à 6.4.8
    • numpy de 1.20.3 à 1.21.5
    • packaging de 21.0 à 21.3
    • pandas de 1.3.4 à 1.4.2
    • pandocfilters de 1.4.3 à 1.5.0
    • parso de 0.8.2 à 0.8.3
    • Pillow de 8.4.0 à 9.0.1
    • platformdirs de 2.5.2 vers 2.5.4
    • plotly de 5.9.0 à 5.6.0
    • prometheus-client de 0.11.0 à 0.13.1
    • protobuf de 4.21.5 à 3.19.4
    • pycparser de 2.20 à 2.21
    • Pygments de 2.10.0 à 2.11.2
    • pyodbc de 4.0.31 à 4.0.32
    • pyzmq de 22.2.1 à 22.3.0
    • requests de 2.26.0 à 2.27.1
    • s3transfer de 0.5.2 à 0.5.0
    • scikit-learn de 0.24.2 à 1.0.2
    • scipy de 1.7.1 à 1.7.3
    • statsmodels de 0.12.2 à 0.13.2
    • terminado de 0.9.4 à 0.13.1
    • tomli de 2.0.1 à 1.2.2
    • traitlets de 5.1.0 à 5.1.1
    • urllib3 de 1.26.7 à 1.26.9
    • widgetsnbextension de 3.6.0 à 3.6.1
  • Bibliothèques R mises à niveau :
    • base de 4.1.3 à 4.2.2
    • brew de 1.0-7 à 1.0-8
    • bslib de 0.4.0 à 0.4.1
    • callr de 3.7.2 à 3.7.3
    • chron de 2.3-57 à 2.3-58
    • cli de 3.3.0 vers 3.4.1
    • cluster de 2.1.3 à 2.1.4
    • commonmark de 1.8.0 à 1.8.1
    • compiler de 4.1.3 à 4.2.2
    • cpp11 de 0.4.2 à 0.4.3
    • crayon de 1.5.1 à 1.5.2
    • curl de 4.3.2 à 4.3.3
    • data.table de 1.14.2 à 1.14.4
    • datasets de 4.1.3 à 4.2.2
    • desc de 1.4.1 à 1.4.2
    • devtools de 2.4.4 à 2.4.5
    • digest de 0.6.29 vers 0.6.30
    • e1071 de 1.7-11 à 1.7-12
    • evaluate 0.16 à 0.18
    • fontawesome de 0.3.0 à 0.4.0
    • future de 1.28.0 à 1.29.0
    • future.apply de 1.9.1 à 1.10.0
    • gargle de 1.2.0 à 1.2.1
    • gert de 1.8.0 à 1.9.1
    • ggplot2 de 3.3.6 à 3.4.0
    • gh de 1.3.0 à 1.3.1
    • gitcreds de 0.1.1 à 0.1.2
    • graphics de 4.1.3 à 4.2.2
    • grDevices de 4.1.3 à 4.2.2
    • grid de 4.1.3 à 4.2.2
    • httpuv de 1.6.5 à 1.6.6
    • isoband de 0.2.5 à 0.2.6
    • jsonlite de 1.8.0 à 1.8.3
    • lave de 1.6.10 à 1.7.0
    • lifecycle de 1.0.1 à 1.0.3
    • lubridate de 1.8.0 à 1.9.0
    • markdown de 1.1 à 1.3
    • MASS de 7.3-56 à 7.3-58
    • Matrix de 1.4-1 à 1.5-1
    • methods de 4.1.3 à 4.2.2
    • mgcv de 1.8-40 à 1.8-41
    • nlme de 3.1-157 à 3.1-160
    • nnet de 7.3-17 à 7.3-18
    • openssl de 2.0.2 à 2.0.4
    • parallel de 4.1.3 à 4.2.2
    • pkgload de 1.3.0 à 1.3.1
    • processx de 3.7.0 à 3.8.0
    • ps de 1.7.1 vers 1.7.2
    • purrr de 0.3.4 à 0.3.5
    • ragg de 1.2.2 à 1.2.4
    • RcppEigen de 0.3.3.9.2 à 0.3.3.9.3
    • readr de 2.1.2 vers 2.1.3
    • recipes de 1.0.1 à 1.0.3
    • rlang de 1.0.5 vers 1.0.6
    • rmarkdown de 2.16 vers 2.18
    • rpart de 4.1.16 à 4.1.19
    • RSQLite de 2.2.16 à 2.2.18
    • shiny de 1.7.2 vers 1.7.3
    • SparkR de la version 3.3.0 vers la version 3.3.1
    • splines de 4.1.3 à 4.2.2
    • stas de 4.1.3 à 4.2.2
    • stats4 de 4.1.3 à 4.2.2
    • sys de 3.4 à 3.4.1
    • tcltk de 4.1.3 à 4.2.2
    • testthat de 3.1.4 vers 3.1.5
    • tidyr de 1.2.0 vers 1.2.1
    • tidyselect de 1.1.2 à 1.2.0
    • timeDate de 4021.104 vers 4021.106
    • tinytex de 0,41 à 0,42
    • tools de 4.1.3 à 4.2.2
    • utils de 4.1.3 à 4.2.2
    • vctrs de 0.4.1 vers 0.5.0
    • vroom de 1.5.7 à 1.6.0
    • xfun de 0.32 vers 0.34
    • yaml de 2.3.5 à 2.3.6
    • zip de 2.2.0 à 2.2.2
  • Bibliothèques Java mises à niveau :
    • com.fasterxml.jackson.core.jackson-databind de la version 2.13.4 vers la version 2.13.4.2
    • org.apache.parquet.parquet-column de la version 1.12.0-databricks-0007 vers la version 1.12.3-databricks-0001
    • org.apache.parquet.parquet-common de la version 1.12.0-databricks-0007 vers la version 1.12.3-databricks-0001
    • org.apache.parquet.parquet-encoding de la version 1.12.0-databricks-0007 vers la version 1.12.3-databricks-0001
    • org.apache.parquet.parquet-format-structures de la version 1.12.0-databricks-0007 vers la version 1.12.3-databricks-0001
    • org.apache.parquet.parquet-hadoop de la version 1.12.0-databricks-0007 vers la version 1.12.3-databricks-0001
    • org.apache.parquet.parquet-jackson de la version 1.12.0-databricks-0007 vers la version 1.12.3-databricks-0001
    • org.apache.yetus.audience-annotations de 0.5.0 à 0.13.0

Apache Spark

Databricks Runtime 12.0 comprend Apache Spark 3.3.1. Cette version inclut tous les correctifs et améliorations Spark figurant dans Databricks Runtime 11.3 LTS ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

  • [SPARK-40844] [SC-116996][12.x][12.0][12.0.0] Rétablir « [SC-113542][SS] Retourner la valeur par défaut de la configuration d’extraction de décalage Kafka »
  • [SPARK-40646] [SC-116061] Rétablir « [SC-113379][SQL] Corriger le renvoi de résultats partiels dans la source de données JSON et les fonctions JSON »
  • [SPARK-41195] [SC-116305][SQL] Prise en charge de PIVOT/UNPIVOT avec des enfants de jointure
  • [SPARK-41178] [SC-116139][SQL] Correction de la priorité des règles d’analyseur entre JOIN et les virgules
  • [SPARK-41072] [SC-116140][SC-116044][SC-115852][SQL][SS] Ajouter la classe d’erreurSTREAM_FAILED à StreamingQueryException
  • [SPARK-40921] Rétablir « [SC-115140][SC-114585][SQL] Ajouter la clause WHEN NOT MATCHED BY SOURCE à MERGE INTO
  • [SPARK-37980] [SC-115758] [SQL] Étendre la colonne MÉTADONNÉES pour prendre en charge les index de ligne pour les fichiers Parquet
  • [SPARK-41055] [SC-115582][SQL] Renommer _LEGACY_ERROR_TEMP_2424en GROUP_BY_AGGREGATE
  • [SPARK-41101] [SC-115849][PYTHON][PROTOBUF] Support du nom de classe de message pour PYSPARK-PROTOBUF
  • [SPARK-40956] [SC-115867] Equivalent Sql de la commande Remplacer Dataframe
  • [SPARK-41095] [SC-115659][SQL] Convertir des opérateurs non résolus en erreurs internes
  • [SPARK-41144] [SC-115866][SQL] L’indicateur non résolu ne doit pas entraîner l’échec de la requête
  • [SPARK-41137] [SC-115858][SQL] Renommer LATERAL_JOIN_OF_TYPEen INVALID_LATERAL_JOIN_TYPE
  • [SPARK-40998] [SC-114754][SQL] Supprimer la classe d’erreur _LEGACY_ERROR_TEMP_0040 en INVALID_IDENTIFIER
  • [SPARK-41015] [SC-115130][SQL][PROTOBUF] UnitTest null check pour le générateur de données
  • [SPARK-40769] [SC-114923][CORE][SQL] Migrer les échecs de vérification de type des expressions d’agrégation vers les classes d’erreur
  • [SPARK-41043] [SC-115183][SQL] Renommer la classe d’erreur _LEGACY_ERROR_TEMP_2429 en NUM_COLUMNS_MISMATCH
  • [SPARK-40777] [SC-114855][SQL][PROTOBUF] Prise en charge et déplacement des classes d’erreur protobuf.
  • [SPARK-41019] [SC-114987][SQL] Fournir un contexte de requête à failAnalysis()
  • [SPARK-41027] [SC-115131][SQL] Utiliser UNEXPECTED_INPUT_TYPE au lieu de MAP_FROM_ENTRIES_WRONG_TYPE
  • [SPARK-40476] [SC-115868][SC-111163][ML][SQL] Réduire la taille du shuffle d’ALS
  • [SPARK-41134] [SC-115851][SQL] Améliorer le message d’erreur des erreurs internes
  • [SPARK-37980] Rétablir « [SQL] Étendre la colonne MÉTADONNÉES pour prendre en charge les index de ligne pour les fichiers Parquet
  • [SPARK-41109] [SC-115788][SQL] Renommer la classe d’erreur _LEGACY_ERROR_TEMP_1216 en INVALID_LIKE_PATTERN
  • [SPARK-40984] [SC-115844][CORE][SQL] Utiliser NON_FOLDABLE_INPUT au lieu de FRAME_LESS_OFFSET_WITHOUT_FOLDABLE
  • [SPARK-41029] [SC-115828][SQL] Optimiser l’utilisation du constructeur de GenericArrayData pour Scala 2.13
  • [SPARK-40697] [SC-113648][SQL] Ajouter un remplissage de caractères côté lecture pour couvrir les fichiers de données externes
  • [SPARK-40978] [SC-114574][SQL] Migrer failAnalysis() sans contexte vers des classes d’erreur
  • [SPARK-40663] [SC-114586][SQL] Migrer les erreurs d’exécution vers les classes d’erreur : _LEGACY_ERROR_TEMP_2251-2275
  • [SPARK-38959] [SC-115672][SC-112707][SQL] DS V2 : Prise en charge du filtrage des groupes d’exécution dans les commandes au niveau des lignes
  • [SPARK-40372] [SC-115668][SQL] Migrer les échecs des vérifications de type tableau vers des classes d’erreur
  • [SPARK-41038] [SC-115371][SQL] Renommer MULTI_VALUE_SUBQUERY_ERRORen SCALAR_SUBQUERY_TOO_MANY_ROWS
  • [SPARK-40965] [SC-114443][SQL] Renommer la classe d’erreur _LEGACY_ERROR_TEMP_1208 en FIELD_NOT_FOUND
  • [SPARK-40748] [SC-114696][SQL] Migrer les échecs de vérification de type des conditions vers des classes d’erreur
  • [SPARK-40371] [SC-114557][SQL] Migrer les échecs de vérification de type de NthValue et NTile vers des classes d’erreur
  • [SPARK-41092] [SC-115547][SQL] N’utilisez pas d’identificateur pour faire correspondre les unités d’intervalle
  • [SPARK-41009] [SC-115360][SQL] Renommer la classe d’erreur _LEGACY_ERROR_TEMP_1070 en LOCATION_ALREADY_EXISTS
  • [SPARK-37980] [SQL] Étendre la colonne METADATA pour prendre en charge les index de ligne pour les fichiers Parquet
  • [SPARK-40967] [SC-114448][SQL] Migrer failAnalysis()vers des classes d’erreur
  • [SPARK-34265] [SC-115486][SC-113788][PYTHON][SQL] Instrumenter les fonctions définies par l’utilisateur Python à l’aide de métriques SQL
  • [SPARK-41012] [SC-114873][SQL] Renommer _LEGACY_ERROR_TEMP_1022en ORDER_BY_POS_OUT_OF_RANGE
  • [SPARK-41042] [SC-115142][SQL] Renommer PARSE_CHAR_MISSING_LENGTHen DATATYPE_MISSING_SIZE
  • [SPARK-40752] [SC-114442][SQL] Migrer les échecs de vérification de type d’expressions erronées vers des classes d’erreur
  • [SPARK-37945] [SC-115534][SQL][CORE] Utiliser des classes d’erreur dans les erreurs d’exécution des opérations arithmétiques
  • [SPARK-40374] [SC-114705][SQL] Migrer les échecs de vérification de type des créateurs de types vers les classes d’erreur
  • [SPARK-41056] [SC-115354][R] Correction du nouveau comportement R_LIBS_SITE introduit dans R 4.2
  • [SPARK-41041] [SC-115357][SQL] Intégration _LEGACY_ERROR_TEMP_1279 à TABLE_OR_VIEW_ALREADY_EXISTS
  • [SPARK-40663] [SC-114852][SQL] Migrer les erreurs d’exécution vers des classes d’erreur : _LEGACY_ERROR_TEMP_2201-2225
  • [SPARK-41020] [SC-114984][SQL] Renommez la classe d’erreur _LEGACY_ERROR_TEMP_1019en STAR_GROUP_BY_POS
  • [SPARK-41035] [SC-115233][SQL] Ne pas corriger les enfants pliables des fonctions d’agrégation dans RewriteDistinctAggregates
  • [SPARK-39778] [SC-114353][SQL] Amélioration des classes d’erreur et des messages
  • [SPARK-40798] [SC-113782][SQL] Alter partition doit vérifier la valeur suivant storeAssignmentPolicy
  • [SPARK-40810] [SC-113533][SQL] Utiliser SparkIllegalArgumentException au lieu d’IllegalArgumentException dans CreateDatabaseCommand et AlterDatabaseSetLocationCommand
  • [SPARK-40921] [SC-115140][SC-114585][SQL] Ajout de la clause WHEN NOT MATCHED BY SOURCE à MERGE INTO
  • [SPARK-40360] [SC-114965] Exceptions ALREADY_EXISTS et NOT_FOUND
  • [SPARK-41007] [SC-115085][SQL] Ajout d’un sérialiseur manquant pour java.math.BigInteger
  • [SPARK-40751] [SC-114254][SQL] Migrer les échecs de vérification de type des fonctions d’ordre élevé vers des classes d’erreur
  • [SPARK-40248] [SC-114704][SQL] Utiliser un plus grand nombre de bits pour générer un filtre Bloom
  • [SPARK-41040] [SC-115145][SS] Correction d’un échec de requête de diffusion en continu auto-union lors de l’utilisation de readStream.table
  • [SPARK-32380] [SC-114966][SQL] Correction de l’accès de la table HBase via Hive à partir de Spark
  • [SPARK-40749] [SC-114860][SQL] Migrer les échecs de vérification de type des générateurs vers des classes d’erreur
  • [SPARK-40925] [SC-114445][SQL][SS][WARMFIX][12.x] Correction de l’opérateur avec état en retard...
  • [SPARK-40654] [SC-112783] Supprimer les lignes de journal temporaires
  • [SPARK-40742] [SC-114913][SC-112646][CORE][SQL] Correction des avertissements de compilation Java liés au type générique
  • [SPARK-40657] [SC-113642][Cherry-pick] Ajout de la prise en charge des classes Java dans Protob...
  • [SPARK-40898] [SC-113932][SQL] Citer des noms de fonctions dans les erreurs d’incompatibilité de type de données
  • [SPARK-40760] [SC-113750][SQL] Migrer les échecs de vérification de type des expressions d’intervalle vers des classes d’erreur
  • [SPARK-36114] [SC-113771][SQL] Prise en charge de sous-requêtes avec des prédicats de non-égalité corrélés
  • [SPARK-40856] [SC-113738][SQL] Mettre à jour le modèle d’erreur de WRONG_NUM_PARAMS
  • [SPARK-40759] [SC-114251][SQL] Migrer les échecs de vérification de type de la fenêtre de temps vers les classes d’erreur
  • [SPARK-40750] [SC-113812][SQL] Migrer les échecs de vérification de type des expressions mathématiques vers des classes d’erreur
  • [SPARK-40756] [SC-113749][SQL] Migrer les échecs de vérification de type des expressions de chaîne vers des classes d’erreur
  • [SPARK-40768] [SC-113640][SQL] Migrer les échecs de vérification de type de bloom_filter_agg() vers des classes d’erreur
  • [SPARK-40369] [SC-113402][CORE][SQL] Migrer les échecs de vérification de type des appels via la réflexion sur les classes d’erreur
  • [SPARK-39445] [SQL] Supprimer la fenêtre si windowExpressions est vide dans le nettoyage des colonnes
  • [SPARK-40761] [SC-113245][SQL] Migrer les échecs de vérification de type des expressions de centiles vers des classes d’erreur
  • [SPARK-40361] [SC-112789][SQL] Migrer les échecs de vérification de type arithmétique vers les classes d’erreur
  • [SPARK-40714] [SC-112576][SQL] Supprimer PartitionAlreadyExistsException
  • [SPARK-40702] [SC-112437][SQL] Correction des spécifications de partition dans PartitionsAlreadyExistException
  • [SPARK-40358] [SC-112631][SQL] Migrer les échecs de vérification de type de collection vers des classes d’erreur
  • [SPARK-40910] [SC-114259][SQL] Remplacer UnsupportedOperationException par SparkUnsupportedOperationException
  • [SPARK-39876] [SC-112429][SQL] Ajouter UNPIVOT à la syntaxe SQL
  • [SPARK-39783] [SC-113389][SQL] Quote qualifiedName pour corriger les backticks pour les candidats de colonne dans les messages d’erreur
  • [SPARK-40663] [SC-112520][SQL] Migrer les erreurs d’exécution vers des classes d’erreur : _LEGACY_ERROR_TEMP_2026-2282
  • [SPARK-40975] [SC-114555][SQL] Renommez la classe d’erreur _LEGACY_ERROR_TEMP_0021en UNSUPPORTED_TYPED_LITERAL
  • [SPARK-37935] [SC-114472][SQL] Éliminer les champs de sous-classes d’erreur distincts
  • [SPARK-40944] [SC-114530][SQL] Contrainte de classement souple pour les options de colonne CREATE TABLE
  • [SPARK-40815] [SC-114528][SQL] Ajouter DelegateSymlinkTextInputFormat au bogue de solution de contournement SymlinkTextInputSplit
  • [SPARK-40933] [SC-114441][SQL] Reimplement df.stat. {cov, corr} avec des fonctions sql intégrées
  • [SPARK-40932] [SC-114439][CORE] Correction des messages de problème pour tous les messages de problème sont remplacés
  • [SPARK-39312] [SQL] Utiliser le prédicat natif Parquet pour dans la poussée de filtre
  • [SPARK-40862] [SC-114352][SQL] Prise en charge des sous-requêtes non agrégées dans RewriteCorrelatedScalarSubquery
  • [SPARK-40963] [SC-114446][SQL] Définir correctement nullable dans le projet créé par ExtractGenerator
  • [SPARK-40663] [SC-112295][SQL] Migrer les erreurs d’exécution vers des classes d’erreur : _LEGACY_ERROR_TEMP_2000-2024
  • [SPARK-40892] [SC-114347][SQL][SS] Assouplir l’exigence de window_time règle : autoriser plusieurs appels window_time
  • [SPARK-40540] [SC-111639][SQL] Migrer les erreurs de compilation vers des classes d’erreur : _LEGACY_ERROR_TEMP_1100-1347
  • [SPARK-40924] [SC-114258][SQL] Correction pour Unhex lorsque l’entrée a un nombre impair de symboles
  • [SPARK-40821] [SC-113754][SQL][CORE][PYTHON][SS] Introduire window_time fonction pour extraire l’heure d’événement de la colonne de fenêtre
  • [SPARK-40800] [SC-113772][SQL] Expressions toujours inline dans OptimizeOneRowRelationSubquery
  • [SPARK-40900] [SC-114006][SQL] Réexédition avec des frequentItems opérations de trame de données
  • [SPARK-40735] [SC-114022][SC-112657] Appeler systématiquement bash avec /usr/bin/env bash dans les scripts pour rendre le code plus portable
  • [SPARK-40773] [SC-113091][SQL] Refactorisation checkCorrelationsInSubquery
  • [SPARK-40615] [SC-113400][SQL] Vérifier les types de données non pris en charge lors de la décoration des sous-requêtes
  • [SPARK-40660] [SC-112293][CORE][SQL] Basculer vers XORShiftRandom pour distribuer des éléments
  • [SPARK-40540] [SC-113926][SC-111331][SQL] Migrer des erreurs de compilation vers des classes d’erreur
  • [SPARK-40551] [SC-113135][SQL] DataSource V2 : Ajouter des API pour les opérations de niveau ligne delta
  • [SPARK-39391] [SC-110676][CORE] Réutilisation des classes Partitionneur
  • [SPARK-40368] [SC-113396][SQL] Migrer les échecs de vérification du type de filtre Bloom vers des classes d’erreur
  • [SPARK-39146] [SC-111814][CORE][SQL] Introduire un singleton local pour ObjectMapper qui peut être réutilisé
  • [SPARK-40357] [SC-113786][SC-111352][SQL] Migrer les échecs de vérification de type de fenêtre vers des classes d’erreur
  • [SPARK-40874] [SC-113756][PYTHON] Correction des diffusions dans les fonctions définies par l’utilisateur Python lorsque le chiffrement est activé
  • [SPARK-40359] [SC-113770][SC-111146][SQL] La vérification du type de migration échoue dans les expressions CSV/JSON vers les classes d’erreur
  • [SPARK-40880] [SC-113764][SQL] Réimplémenter summaryavec des opérations de trame de données
  • [SPARK-40877] [SC-113763][SQL] Réimplémenter crosstab avec des opérations de trame de données
  • [SPARK-40382] [SC-113098][SQL] Regrouper des expressions d’agrégation distinctes par enfants sémantiquement équivalents dans RewriteDistinctAggregates
  • [SPARK-40826] [SC-113532][SS] Ajout d’une vérification de nom de fichier de point de contrôle supplémentaire
  • [SPARK-40829] [SC-113426][SQL] STORED AS serde dans la vue CREATE TABLE LIKE ne fonctionne pas
  • [SPARK-40844] [SC-113542][SS] Retourner la valeur par défaut de la configuration d’extraction de décalage Kafka
  • [SPARK-40488] [SC-113568][SC-111160] Ne pas encapsuler les exceptions levées lorsque l’écriture de la source de données échoue
  • [SPARK-40560] [SC-113631][SC-111335][SQL] Renommer message en messageTemplatedans le STANDARD format des erreurs
  • [SPARK-40618] [SC-113096][SQL] Correction d’un bogue dans la règle MergeScalarSubqueries avec des sous-requêtes imbriquées à l’aide du suivi des références
  • [SPARK-40530] [SC-113528][SC-111332][SQL] Ajouter des API de développeur liées aux erreurs
  • [SPARK-40806] [SC-113250][SQL] Correction de faute de frappe : CREATE TABLE -> REPLACE TABLE
  • [SPARK-40646] [SC-113379][SQL] Correction du retour de résultats partiels dans la source de données JSON et les fonctions JSON
  • [SPARK-40654] [Cherry-pick][SC-112783][SQL] Prise en charge protobuf pour Spark - à partir de...
  • [SPARK-40753] [SC-113539][SQL] Correction d’un bogue dans le cas de test pour l’opération d’annuaire de catalogue
  • [SPARK-40765] [SC-113056][SQL] Optimiser l’opération fs redondante dans la méthodeCommandUtils#calculateSingleLocationSize#getPathSize
  • [SPARK-40114] [ES-479282][R][11.X] Prise en charge de Arrow 9.0.0 avec SparkR
  • [SPARK-40479] [SC-110935][SQL] Migrer une erreur de type d’entrée inattendue vers une classe d’erreur
  • [SPARK-40473] [SC-113388][SC-111141][SQL] Migrer les erreurs d’analyse vers des classes d’erreur
  • [SPARK-39853] [SC-111867][CORE] Profil de ressource de tâche au niveau de la phase de prise en charge pour le cluster autonome lorsque l’allocation dynamique est désactivée (port d’arrière-plan à partir de PR-47157)
  • [SPARK-40407] [SC-111161][SQL] Correction de l’asymétrie potentielle des données causée par df.repartition
  • [SPARK-40425] [SC-110840][SQL] DROP TABLE n’a pas besoin d’effectuer une recherche de table
  • [SPARK-40703] [SC-113242][SQL] Introduction de la lecture aléatoire sur SinglePartition pour améliorer le parallélisme
  • [SPARK-40640] [SC-113138][CORE] SparkHadoopUtil pour définir l’origine des options de configuration hadoop/hive
  • [SPARK-39062] [11.x][CORE] Ajout de la prise en charge de la planification des ressources au niveau de la phase pour un cluster autonome
  • [SPARK-33861] [SC-109877]Rétablir « [SQL] Simplifier le conditionnel dans le prédicat »
  • [SPARK-40667] [SC-113136][SQL] Options de source de données de fichier de refactorisation
  • [SPARK-40370] [SC-110677][SQL] Échec de la vérification du type de migration pour les classes d’erreur dans CAST
  • [SPARK-40611] [SC-113105][SQL] Amélioration des performances de setInterval et getInterval for UnsafeRow
  • [SPARK-40733] [SC-113126][SQL] Rendre le contenu de SERDEPROPERTIES dans le résultat de ShowCreateTableAsSerdeCommand avoir un ordre fixe
  • [SPARK-40585] [SC-112180][SQL] Prise en charge des identificateurs entre guillemets doubles
  • [SPARK-40772] [SC-112992][SQL] Amélioration de spark.sql.adaptive.skewJoin.skewedPartitionFactorpour prendre en charge les valeursDouble
  • [SPARK-40565] [SC-112417][SQL] Ne pas envoyer (push) des filtres non déterministes aux sources de fichiers V2
  • [SPARK-8731] [SC-112784] Beeline ne fonctionne pas avec l’option -e au démarrage en arrière-plan
  • [SPARK-35242] [SC-111398][SQL] Prise en charge de la modification de la base de données par défaut du catalogue de sessions
  • [SPARK-40426] [SC-110672][SQL] Retourner une carte à partir de SparkThrowable.getMessageParameters
  • [SPARK-40494] [SC-112655][SC-111025][CORE][SQL][ML][MLLIB] Optimiser les performances du modèle de codekeys.zipWithIndex.toMap
  • [SPARK-40521] [SC-112430][SQL] Retourner uniquement les partitions existantes dans PartitionsAlreadyExistException à partir de la partition de création de Hive
  • [SPARK-40705] [SC-112567][SQL] Gérer le cas de l’utilisation d’un tableau mutable lors de la conversion de ligne en JSON pour Scala 2.13
  • [SPARK-39895] [SC-112590][SQL][PYTHON] Prise en charge de la suppression de plusieurs colonnes
  • [SPARK-40607] [SC-112296][CORE][SQL][MLLIB][SS] Supprimer les opérations d’interpolateur de chaîne redondantes
  • [SPARK-40420] [SC-112604][SC-110569][SQL] Trier les paramètres de message d’erreur par noms aux formats JSON
  • [SPARK-40403] [SC-110564][SQL] Calculer une taille de tableau non sécurisée à l’aide de longs pour éviter une taille négative dans le message d’erreur
  • [SPARK-40482] [SC-110831][SQL] Rétablir SPARK-24544 Print actual failure cause when look up function failed
  • [SPARK-40400] [SC-112555][SC-110397][SQL] Passer les paramètres de message d’erreur aux exceptions en tant que mappages
  • [SPARK-40628] [SC-112414][SQL] Ne pas envoyer (push) une condition de jointure semi-anti/semi-gauche complexe via le projet
  • [SPARK-40562] [SC-111455][SQL] Ajouter spark.sql.legacy.groupingIdWithAppendedUserGroupBy
  • [SPARK-40501] [SC-111333][SQL] Ajout de PushProjectionThroughLimit pour l’optimiseur
  • [SPARK-39200] [SC-111244][CORE] Rendre le stockage de secours lisible sur le contenu
  • [SPARK-38717] [SC-111241][SQL] Gérer le comportement de conservation des spécifications de compartiment Hive
  • [SPARK-40385] [SC-111123][SQL] Correction du chemin d’accès interprété pour le constructeur d’objet complémentaire
  • [SPARK-40216] [SC-112413][SQL] Extraire la méthode commune ParquetUtils.prepareWrite pour dédupliquer le code dans ParquetFileFormat et ParquetWrite
  • [SPARK-40636] [SC-112160][CORE] Correction d’un journal de lecture aléatoire incorrect dans BlockManagerDecommissioner
  • [SPARK-40617] [SC-112009] Correction de la condition de course lors de la gestion des entrées stageTCMP d’ExecutorMetricsPoller
  • [SPARK-40618] [SC-112046][SQL] Correction d’un bogue dans la règle MergeScalarSubqueries avec des sous-requêtes imbriquées
  • [SPARK-40612] [SC-111933][CORE] Correction du principal utilisé pour le renouvellement des jetons de délégation sur les gestionnaires de ressources non-YARN
  • [SPARK-40595] [SC-111662][SQL] Amélioration du message d’erreur pour les relations CTE inutilisées
  • [SPARK-40314] [SC-111879][SQL][PYTHON] Ajouter des liaisons scala et python pour inline et inline_outer
  • [SPARK-40416] [SC-110945][SQL] Déplacer les messages d’erreur CheckAnalysis de l’expression de sous-requête pour utiliser le nouveau framework d’erreurs
  • [SPARK-40318] [SC-111865][SC-109986][SQL] try_avg() doit lever les exceptions de son enfant
  • [SPARK-40509] [SC-111644][SS][PYTHON] Ajouter un exemple pour applyInPandasWithState
  • [SPARK-40310] [SC-111329][SC-109842][SQL] try_sum() doit lever les exceptions de son enfant
  • [SPARK-40016] [SQL] Suppression de TryEval inutile dans l’implémentation de try_sum()
  • [SPARK-40527] [SC-111224][SQL] Conserver les noms de champs de struct ou les clés de mappage dans CreateStruct
  • [SPARK-38098] [SC-111178][PYTHON] Ajout de la prise en charge de ArrayType de StructType imbriqué à la conversion basée sur les flèches
  • [SPARK-40324] [SC-111359][SC-110293][SQL] Fournir un contexte de requête dans AnalysisException
  • [SPARK-40492] [SC-111324][SS] Effectuer une maintenance avant de décharger StateStore en streaming
  • [SPARK-40487] [SC-111124][SQL] Définir la valeur par défautJoin dans BroadcastNestedLoopJoinExec s’exécutant en parallèle
  • [SPARK-40474] [SC-111273][SQL] Correction de l’inférence de schéma CSV et du comportement d’analyse des données sur les colonnes avec des dates et des horodatages mixtes
  • [SPARK-40508] [SC-111066][SQL] Traiter le partitionnement inconnu comme UnknownPartitioning
  • [SPARK-40496] [SC-111234][SC-111013][SQL] Correction des configurations pour contrôler « enableDateTimeParsingFallback »
  • [SPARK-40435] [SC-111214][SS][PYTHON] Ajouter des suites de test pour applyInPandasWithState dans PySpark
  • [SPARK-40434] [SC-111125][SS][PYTHON] Implémentation applyInPandasWithState dans PySpark

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 12.0.

Environnement du système

  • Système d’exploitation : Ubuntu 20.04.5 LTS
  • Java: Zulu 8.64.0.19-CA-linux64
  • Scala : 2.12.14
  • Python : 3.9.5
  • R: 4.2.2
  • Delta Lake: 2.2.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 asttokens 2.0.5
attrs 21.4.0 backcall 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 black 22.3.0 bleach 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
click 8.0.4 chiffrement 3.4.8 cycler 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
decorator 5.1.1 defusedxml 0.7.1 distlib 0.3.6
entrypoints 0,4 en cours d’exécution 0.8.3 facets-overview 1.0.0
fastjsonschema 2.16.2 filelock 3.8.0 fonttools 4.25.0
idna 3.3 ipykernel 6.15.3 ipython 8.5.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 jedi 0.18.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.1.0
jsonschema 4.4.0 jupyter-client 6.1.12 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.2
MarkupSafe 2.0.1 matplotlib 3.5.1 matplotlib-inline 0.1.2
mistune 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.3.0 nest-asyncio 1.5.5
notebook 6.4.8 numpy 1.21.5 empaquetage 21,3
pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.9.0 patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Pillow 9.0.1 pip 21.2.4
platformdirs 2.5.4 plotly 5.6.0 prometheus-client 0.13.1
prompt-toolkit 3.0.20 protobuf 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 7.0.0 pycparser 2.21 Pygments 2.11.2
PyGObject 3.36.0 pyodbc 4.0.32 pyparsing 3.0.4
pyrsistent 0.18.0 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.3.0 requêtes 2.27.1 requests-unixsocket 0.2.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
six 1.16.0 soupsieve 2.3.1 ssh-import-id 5.10
stack-data 0.2.0 statsmodels 0.13.2 tenacity 8.0.1
terminado 0.13.1 testpath 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornado 6.1
traitlets 5.1.1 typing_extensions 4.1.1 unattended-upgrades 0.1
urllib3 1.26.9 virtualenv 20.8.0 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.37.0 widgetsnbextension 3.6.1

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 11/11/2022.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
flèche 10.0.0 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.4 bit64 4.0.5 objet BLOB 1.2.3
boot 1.3-28 brew 1,0-8 brio 1.1.3
broom 1.0.1 bslib 0.4.1 cachem 1.0.6
callr 3.7.3 caret 6.0-93 cellranger 1.1.0
chron 2.3-58 class 7.3-20 cli 3.4.1
clipr 0.8.0 horloge 0.6.1 cluster 2.1.4
codetools 0.2-18 colorspace 2.0-3 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 credentials 1.3.2 curl 4.3.3
data.table 1.14.4 jeux de données 4.2.2 DBI 1.1.3
dbplyr 2.2.1 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.30 downlit 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
ellipsis 0.3.2 evaluate 0,18 fansi 1.0.3
farver 2.1.1 fastmap 1.1.0 fontawesome 0.4.0
forcats 0.5.2 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.29.0
future.apply 1.10.0 gargle 1.2.1 generics 0.1.3
gert 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4-1-4 globals 0.16.1
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.0 graphics 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0.9 hms 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 knitr 1.40
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.7.0 cycle de vie 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 markdown 1.3
MASS 7.3-58 Matrice 1.5-1 memoise 2.0.1
methods 4.2.2 mgcv 1.8-41 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.9
munsell 0.5.0 nlme 3.1-160 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 parallel 4.2.2
parallelly 1.32.1 pillar 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 progress 1.2.2
progressr 0.11.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.1 recipes 1.0.3
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.2.18 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.2 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.1 spatial 7.3-11 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.8 stringr 1.4.1
survival 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 textshaping 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.1.1 timeDate 4021.106
tinytex 0.42 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.2.2 uuid 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 vroom 1.6.0 waldo 0.4.0
whisker 0,4 withr 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 zip 2.2.2

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.5.2
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collecteur 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.3-databricks-0001
org.apache.parquet parquet-common 1.12.3-databricks-0001
org.apache.parquet parquet-encoding 1.12.3-databricks-0001
org.apache.parquet parquet-format-structures 1.12.3-databricks-0001
org.apache.parquet parquet-hadoop 1.12.3-databricks-0001
org.apache.parquet parquet-jackson 1.12.3-databricks-0001
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,36
org.glassfish.jersey.containers jersey-container-servlet-core 2,36
org.glassfish.jersey.core jersey-client 2,36
org.glassfish.jersey.core jersey-common 2,36
org.glassfish.jersey.core jersey-server 2,36
org.glassfish.jersey.inject jersey-hk2 2,36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1