Databricks Runtime 13.1 (EoS)

Les notes de publication ci-dessous fournissent des informations sur Databricks Runtime 13.1 avec Apache Spark 3.4.0.

Databricks a publié cette version en mai 2023.

Améliorations et nouvelles fonctionnalités

• Prise en charge des clusters pour JDK 17 (préversion publique)
• Ajouter, modifier ou supprimer des données dans les tables de diffusion en continu
• Lire les données Kafka avec SQL
• Nouvelles fonctions SQL intégrées
• Prise en charge d’Unity Catalog pour les bibliothèques Python délimitées au cluster
• Extension de l’activation par défaut pour les écritures optimisées dans Unity Catalog
• Prise en charge avancée des opérateurs avec état dans les charges de travail Structured Streaming
• Clonage Delta pour Unity Catalog en préversion publique
• Prise en charge de Pub/Sub pour Structured Streaming
• Suppression des doublons dans des filigranes dans Structured Streaming
• Extension de la prise en charge pour les conversions Delta à partir de tables Iceberg avec des colonnes de partition tronquées
• Diffusion en continu des modifications de schéma avec le mappage de colonnes dans Delta Lake
• Suppression de START VERSION
• Nouvelles expressions H3 disponibles avec Python

Prise en charge des clusters pour JDK 17 (préversion publique)

Databricks fournit désormais la prise en charge des clusters pour le kit de développement Java (JDK) 17. Consultez le kit de développement logiciel (SDK) Databricks pour Java.

Ajouter, modifier ou supprimer des données dans les tables de diffusion en continu

Vous pouvez désormais utiliser des instructions DML pour modifier les tables de diffusion en continu publiées dans Unity Catalog par les pipelines Delta Live Tables. Consultez les sections Ajouter, modifier ou supprimer des données dans une table de streaming et Ajouter, modifier ou supprimer des données dans une table de streaming cible. Vous pouvez également utiliser des instructions DML pour modifier les tables de diffusion en continu créées dans Databricks SQL.

Lire les données Kafka avec SQL

Vous pouvez désormais utiliser la fonction SQL read_kafka pour lire les données Kafka. Le streaming avec SQL est pris en charge uniquement dans Delta Live Tables ou avec les tables de streaming dans Databricks SQL. Voir fonction table read_kafka.

Nouvelles fonctions SQL intégrées

Les fonctions suivantes ont été ajoutées :

• array_prepend(array, elem) Retourne array suivi de elem.
• try_aes_decrypt(expr, key [, mode [, padding]]) Déchiffre un fichier binaire produit à l’aide du chiffrement AES et retourne NULL en cas d’erreur.
• sql_keywords() Retourne une table de mots clés Azure Databricks SQL.

Prise en charge d’Unity Catalog pour les bibliothèques Python délimitées au cluster

Unity Catalog présente certaines limitations sur l’utilisation de la bibliothèque. Sur Databricks Runtime 13.1 (et les versions ultérieures), les bibliothèques Python destinées aux clusters sont prises en charge, y compris les fichiers wheel Python chargés en tant que fichiers de l’espace de travail. Les bibliothèques référencées à l’aide de chemins de fichiers DBFS ne sont pas prises en charge, que ce soit à la racine DBFS ou à un emplacement externe monté sur DBFS. Les bibliothèques non-Python ne sont pas prises en charge. Consultez Bibliothèques de clusters.

Sur Databricks Runtime 13.0 et versions inférieures, les bibliothèques associées aux clusters de l’étendue ne sont pas prises en charge sur les clusters qui utilisent le mode d’accès partagé dans un espace de travail avec Unity Catalog.

Extension de l’activation par défaut pour les écritures optimisées dans Unity Catalog

La prise en charge de l’écriture optimisée par défaut pour des tables Delta inscrites dans Unity Catalog a été développée pour inclure des instructions CTAS et des opérations INSERT pour des tables partitionnés. Ce comportement s’aligne sur des valeurs par défaut sur des entrepôts SQL. Consultez Écritures optimisées pour Delta Lake sur Azure Databricks.

Prise en charge avancée des opérateurs avec état dans les charges de travail Structured Streaming

Vous pouvez désormais chaîner plusieurs opérateurs avec état, ce qui signifie que vous pouvez alimenter la sortie d’une opération telle qu’une agrégation fenêtrée vers une autre opération avec état telle qu’une jointure. Consultez Qu’est-ce que la diffusion en continu avec état ?

Clonage Delta pour Unity Catalog en préversion publique

Vous pouvez désormais utiliser un clone superficiel pour créer des tables gérées Unity Catalog à partir de tables gérées Unity Catalog existantes. Consultez Clone superficiel pour les tables Unity Catalog.

Prise en charge de Pub/Sub pour Structured Streaming

Vous pouvez désormais utiliser un connecteur intégré pour vous abonner à Google Pub/Sub avec Structured Streaming. Consultez l’article S’abonner à Google Pub/Sub.

Suppression des doublons dans des filigranes dans Structured Streaming

Vous pouvez désormais utiliser dropDuplicatesWithinWatermark en combinaison avec un seuil de filigrane spécifié pour dédupliquer des enregistrements dans Structured Streaming. Consultez la section Supprimer des doublons dans un filigrane.

Extension de la prise en charge pour les conversions Delta à partir de tables Iceberg avec des colonnes de partition tronquées

Vous pouvez désormais utiliser CLONE et CONVERT TO DELTA avec des tables Iceberg qui ont des partitions définies sur des colonnes tronquées de types int, long et string. Les colonnes tronquées de type decimal ne sont pas prises en charge.

Diffusion en continu des modifications de schéma avec le mappage de colonnes dans Delta Lake

Vous pouvez désormais fournir un emplacement de suivi des schémas pour activer la diffusion en continu à partir de tables Delta avec le mappage de colonnes activé. Consultez Diffusion en continu avec un mappage de colonnes et des modifications de schéma.

Suppression de START VERSION

START VERSION est désormais déconseillé pour ALTER SHARE.

Nouvelles expressions H3 disponibles avec Python

Les expressions h3_coverash3 et h3_coverash3string sont disponibles avec Python.

Résolution des bogues

L’option Parquet failOnUnknownFields ne supprime plus silencieusement les données en cas d’incompatibilité de type

Si un fichier Parquet a été lu uniquement avec l’option failOnUnknownFields ou avec Auto Loader en mode d’évolution de schéma failOnNewColumns, les colonnes qui ont différents types de données échouent désormais et recommandent d’utiliser rescuedDataColumn. Désormais, Auto Loader lit et ne sauve plus correctement les types Integer (Entier), Short (Court) ou Byte (Octet) si l’un de ces types de données est fourni. Le fichier Parquet suggère l’un des deux autres types.

Dernières modifications

Mettre à niveau sqlite-jdbc vers la version 3.42.0.0 pour corriger la vulnérabilité CVE-2023-32697

Mettez à niveau sqlite-jdbc de la version 3.8.11.2 vers la version 3.42.0.0. Les API de la version 3.42.0.0 ne sont pas entièrement compatibles avec la version 3.8.11.2. Si vous utilisez sqlite-jdbc dans votre code, consultez le rapport de compatibilité sqlite-jdbc pour plus d’informations. Si vous migrez vers la version 13.1 et utilisez sqlite, confirmez vos méthodes et le type de retour dans la version 3.42.0.0.

Mises à niveau de la bibliothèque

• Bibliothèques Python mises à niveau :
  • facets-overview 1.0.2 vers la version 1.0.3
  • filelock 3.10.7 vers la version 3.12.0
  • pyarrow 7.0.0 vers la version 8.0.0
  • tenacity 8.0.1 vers la version 8.1.0
• Bibliothèques R mises à niveau :
• Bibliothèques Java mises à niveau :
  • com.github.ben-manes.caffeine.caffeine 2.3.4 vers la version 2.9.3
  • io.delta.delta-sharing-spark_2.12 de 0.6.8 à 0.6.4
  • net.snowflake.snowflake-jdbc de 3.13.29 à 3.13.22
  • org.checkerframework.checker-qual 3.5.0 vers la version 3.19.0
  • org.scalactic.scalactic_2.12 3.0.8 vers la version 3.2.15
  • org.scalatest.scalatest_2.12 3.0.8 vers la version 3.2.15
  • org.xerial.sqlite-jdbc 3.8.11.2 vers la version 3.42.0.0

Apache Spark

Databricks Runtime 13.1 comprend Apache Spark 3.4.0. Cette version inclut tous les correctifs et améliorations Spark figurant dans Databricks Runtime 13.0 (EoS), ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

• [SPARK-42719] [DBRRM-199][SC-131578] Rétablissement de « [SC-125225] `MapOutputTracker#getMap…
• [SPARK-39696] [DBRRM-166][SC-130056][CORE] Rétablissement de [SC-127830]/
• [SPARK-43331] [SC-130064][CONNECT] Ajout de Spark Connect SparkSession.interruptAll
• [SPARK-43332] [SC-130051][CONNECT][PYTHON] Possibilité d’étendre ChannelBuilder pour SparkConnectClient
• [SPARK-43323] [SC-129966][SQL][PYTHON] Correction de DataFrame.toPandas avec Arrow activé pour gérer correctement les exceptions
• [SPARK-42940] [SC-129896][SS][CONNECT] Amélioraton de la gestion des sessions pour les requêtes de diffusion en continu
• [SPARK-43032] [SC-125756] [CONNECT][SS] Ajout du gestionnaire de requête Streaming
• [SPARK-16484] [SC-129975][SQL] Ajout de la prise en charge de Datasketches HllSketch
• [SPARK-43260] [SC-129281][PYTHON] Migration des les erreurs de type Arrow Spark SQL pandas vers la classe d’erreur
• [SPARK-41766] [SC-129964][CORE] Gestion de la requête de mise hors service envoyée avant l’inscription de l’exécuteur
• [SPARK-43307] [SC-129971][PYTHON] Migration des erreurs de valeur PandasUDF vers la classe d’erreur
• [SPARK-43206] [SC-129903] [SS] [CONNECT] StreamingQuery exception() inclut le rapport des appels de procédure
• [SPARK-43311] [SC-129905][SS] Ajout d’améliorations de la gestion de la mémoire du fournisseur de magasin d’état RocksDB
• [SPARK-43237] [SC-129898][CORE] Gestion du message d’exception null dans le journal des événements
• [SPARK-43320] [SC-129899][SQL][HIVE] Appel direct de l’API Hive 2.3.9
• [SPARK-43270] [SC-129897][PYTHON] Implémentation de __dir__() dans pyspark.sql.dataframe.DataFrame pour inclure des colonnes
• [SPARK-43183] Rétablissement de « [SC-128938][SS] Introduction d’un nouveau rappel... »
• [SPARK-43143] [SC-129902] [SS] [CONNECT] Scala StreamingQuery awaitTermination()
• [SPARK-43257] [SC-129675][SQL] Remplacement de la classe d’erreur _LEGACY_ERROR_TEMP_2022 par une erreur interne
• [SPARK-43198] [SC-129470][CONNECT] Correction de l’erreur « Impossible d’initialiser l’ammonite de classe... » lors de l’utilisation d’un filtre
• [SPARK-43165] [SC-129777][SQL] Déplacement de canWrite vers DataTypeUtils
• [SPARK-43298] [SC-129729][PYTHON][ML] Échec de predict_batch_udf avec entrée scalaire avec une taille de lot d’un
• [SPARK-43298] [SC-129700]Rétablissement de « [PYTHON][ML] Échec de predict_batch_udf avec entrée scalaire avec une taille de lot d’un »
• [SPARK-43052] [SC-129663][CORE] Gestion de stacktrace avec un nom de fichier null dans le journal des événements
• [SPARK-43183] [SC-128938][SS] Introduction d’un nouveau rappel « onQueryIdle » dans StreamingQueryListener
• [SPARK-43209] [SC-129190][CONNECT][PYTHON] Migration des erreurs d’expression dans la classe d’erreur
• [SPARK-42151] [SC-128754][SQL] Alignement des affectations UPDATE avec les attributs de table
• [SPARK-43134] [SC-129468] [CONNECT] [SS] API StreamingQuery exception() du client JVM
• [SPARK-43298] [SC-129699][PYTHON][ML] Échec de predict_batch_udf avec entrée scalaire avec une taille de lot d’un
• [SPARK-43248] [SC-129660][SQL] Sérialisation/désérialisation inutile du chemin d’accès sur les statistiques de partition de collecte parallèle
• [SPARK-43274] [SC-129464][SPARK-43275][PYTHON][CONNECT] Introduction de PySparkNotImplementedError
• [SPARK-43146] [SC-128804][CONNECT][PYTHON] Implémentation de l’évaluation hâtive pour repr et repr_html
• [SPARK-42953] [SC-129469][Connect][Followup] Correction de la build de test maven pour les tests UDF du client Scala
• [SPARK-43144] [SC-129280] API DataStreamReader table() du client Scala
• [SPARK-43136] [SC-129358][CONNECT] Ajout des fonctions groupByKey + mapGroup + coGroup
• [SPARK-43156] [SC-129672][SC-128532][SQL] Correction du bogue COUNT(*) is null dans une sous-requête scalaire corrélée
• [SPARK-43046] [SC-129110] [SS] [Connect] Implémentation de l’API Python dropDuplicatesWithinWatermark pour Spark Connect
• [SPARK-43199] [SC-129467][SQL] Rendre inlineCTE idempotent
• [SPARK-43293] [SC-129657][SQL] __qualified_access_only doit être ignoré dans les colonnes normales
• [SPARK-43276] [SC-129461][CONNECT][PYTHON] Migration des erreurs de fenêtre Spark Connect vers la classe d’erreur
• [SPARK-43174] [SC-129109][SQL] Correction du compléteur sparkSQLCLIDriver
• [SPARK-43084] [SC-128654] [SS] Ajout de la prise en charge de applyInPandasWithState pour spark connect
• [SPARK-43119] [SC-129040][SQL] Prise en charge de l’obtention dynamique de mots clés SQL via l’API JDBC et TVF
• [SPARK-43082] [SC-129112][CONNECT][PYTHON] Fonctions définies par l’utilisateur Python optimisées pour les flèches dans Spark Connect
• [SPARK-43085] [SC-128432][SQL] Prise en charge de l’attribution de colonnes DEFAULT pour les noms de tables en plusieurs parties
• [SPARK-43226] [LC-671] Définition des extracteurs pour les métadonnées de constante de fichier
• [SPARK-43210] [SC-129189][CONNECT][PYTHON] Introduction de PySparkAssertionError
• [SPARK-43214] [SC-129199][SQL] Publication de métriques côté pilote pour LocalTableScanExec/CommandResultExec
• [SPARK-43285] [SC-129347] Correction de l’échec constant de ReplE2ESuite avec JDK 17
• [SPARK-43268] [SC-129249][SQL] Utilisation de classes d’erreur appropriées quand des exceptions sont construites avec un message
• [SPARK-43142] [SC-129299] Correction des expressions DSL sur les attributs avec des caractères spéciaux
• [SPARK-43129] [SC-128896] API Scala core pour la diffusion en continu de Spark Connect
• [SPARK-43233] [SC-129250] [SS] Ajout de la journalisation pour la lecture par lots Kafka pour la partition de rubrique, la plage de décalage et l’ID de tâche
• [SPARK-43249] [SC-129195][CONNECT] Correction des statistiques manquantes pour la commande SQL
• [SPARK-42945] [SC-129188][CONNECT] Prise en charge de PYSPARK_JVM_STACKTRACE_ENABLED dans Spark Connect
• [SPARK-43178] [SC-129197][CONNECT][PYTHON] Migration des erreurs UDF vers l’infrastructure d’erreurs PySpark
• [SPARK-43123] [SC-128494][SQL] Les métadonnées de champ interne ne doivent pas être divulguées aux catalogues
• [SPARK-43217] [SC-129205] Récurrence correcte dans les cartes/tableaux imbriqués dans findNestedField
• [SPARK-43243] [SC-129294][PYTHON][CONNECT] Ajout du paramètre level à printSchema pour Python
• [SPARK-43230] [SC-129191][CONNECT] Simplification de DataFrameNaFunctions.fillna
• [SPARK-43088] [SC-128403][SQL] Respect de RequiresDistributionAndOrdering dans CTAS/RTAS
• [SPARK-43234] [SC-129192][CONNECT][PYTHON] Migration de ValueError de Conect DataFrame vers la classe d’erreur
• [SPARK-43212] [SC-129187][SS][PYTHON] Migration des erreurs Structured Streaming vers la classe d’erreur
• [SPARK-43239] [SC-129186][PS] Suppression de null_counts d’info()
• [SPARK-43190] [SC-128930][SQL] ListQuery.childOutput doit être cohérent avec la sortie enfant
• [SPARK-43191] [SC-128924][CORE] Remplacement de la réflexion par appel direct pour Hadoop CallerContext
• [SPARK-43193] [SC-129042][SS] Suppression de la solution de contournement pour HADOOP-12074
• [SPARK-42657] [SC-128621][CONNECT] Prise en charge de la recherche et du transfert des fichiers de classes read–eval–print loop (REPL) côté client vers le serveur en tant qu’artefacts
• [SPARK-43098] [SC-77059][SQL] Correctif du bogue COUNT lorsque la sous-requête scalaire a une clause group by
• [SPARK-43213] [SC-129062][PYTHON] Ajout de DataFrame.offset à vanilla PySpark
• [SPARK-42982] [SC-128400][CONNECT][PYTHON] Correction de createDataFrame pour respecter le DDL de schéma donné
• [SPARK-43124] [SC-129011][SQL] Dataset.show projette CommandResults localement
• [SPARK-42998] [SC-127422][CONNECT][PYTHON] Correction de DataFrame.collect avec une structure null
• [SPARK-41498] [SC-125343]Rétablir « Propager des métadonnées par le biais d’Union »
• [SPARK-42960] [SC-129010] [CONNECT] [SS] Ajout de l’API await_termination() et exception() pour la requête de diffusion en continu dans Python
• [SPARK-42552] [SC-128824][SQL] Correction de la stratégie d’analyse en deux étapes de l’analyseur antlr
• [SPARK-43207] [SC-128937][CONNECT] Ajout des fonctions d’assistance pour extraire la valeur de l’expression littérale
• [SPARK-43186] [SC-128841][SQL][HIVE] Suppression de la solution de contournement pour FileSinkDesc
• [SPARK-43107] [SC-128533][SQL] Compartiments coalesce dans la jointure appliqués côté flux de jointure de diffusion
• [SPARK-43195] [SC-128922][CORE] Suppression du wrapper sérialisable inutile dans HadoopFSUtils
• [SPARK-43137] [SC-128828][SQL] Amélioration d’ArrayInsert si la position est pliable et positive.
• [SPARK-37829] [SC-128827][SQL] Dataframe.joinWith outer-join doit retourner une valeur null pour une ligne sans correspondance
• [SPARK-43042] [SC-128602] [SS] [Connect] Ajout de la prise en charge de l’API table() pour DataStreamReader
• [SPARK-43153] [SC-128753][CONNECT] Exécution de Spark ignorée quand la trame de données est locale
• [SPARK-43064] [SC-128496][SQL] L’onglet SPARK SQL CLI SQL ne doit afficher qu’une seule instruction à la fois
• [SPARK-43126] [SC-128447][SQL] Marquage de deux expressions UDF Hive comme étant avec état
• [SPARK-43111] [SC-128750][PS][CONNECT][PYTHON] Fusion des instructions imbriquées if en instructions uniques if
• [SPARK-43113] [SC-128749][SQL] Évaluation des variables côté flux lors de la génération de code pour une condition liée
• [SPARK-42895] [SC-127258][CONNECT] Amélioration des messages d’erreur pour les sessions Spark arrêtées
• [SPARK-42884] [SC-126662][CONNECT] Ajout de l’intégration REPL Ammonite
• [SPARK-43168] [SC-128674][SQL] Suppression de la méthode get PhysicalDataType de la classe Datatype
• [SPARK-43121] [SC-128455][SQL] Utilisation de BytesWritable.copyBytes au lieu de la copie manuelle dans 'HiveInspectors
• [SPARK-42916] [SC-128389][SQL] JDBCTableCatalog conserve les métadonnées Char/Varchar côté lecture
• [SPARK-43050] [SC-128550][SQL] Correction des expressions d’agrégation de construction en remplaçant les fonctions de regroupement
• [SPARK-43095] [SC-128549][SQL] L’idempotence de la stratégie Avoid Once est rompue pour le lot : Infer Filters
• [SPARK-43130] [SC-128597][SQL] Déplacement d’InternalType vers PhysicalDataType
• [SPARK-43105] [SC-128456][CONNECT] Abréviation des octets et des chaînes dans le message proto
• [SPARK-43099] [SC-128596][SQL] Utilisation de getName au lieu de getCanonicalName pour obtenir le nom de la classe du générateur lors de l’inscription de udf dans FunctionRegistry
• [SPARK-42994] [SC-128586][ML][CONNECT] Le serveur de distribution PyTorch prend en charge le mode local
• [SPARK-42859] Rétablissement de « [SC-127935][CONNECT][PS] Prise en charge de base de l’API pandas sur Spark Connect »
• [SPARK-43021] [SC-128472][SQL] CoalesceBucketsInJoin ne fonctionne pas lors de l’utilisation d’AQE
• [SPARK-43125] [SC-128477][CONNECT] Correction du serveur Connect qui ne peut pas gérer une exception avec un message null
• [SPARK-43147] [SC-128594] Correction de flake8 lint pour la vérification locale
• [SPARK-43031] [SC-128360] [SS] [Connect] Activation du test unitaire et de doctest pour la diffusion en continu
• [SPARK-43039] [LC-67] Prise en charge des champs personnalisés dans la colonne _metadata source de fichier
• [SPARK-43120] [SC-128407][SS] Ajout de la prise en charge du suivi de l’utilisation de la mémoire des blocs épinglés pour le magasin d’état RocksDB
• [SPARK-43110] [SC-128381][SQL] Déplacement d’asIntegral vers PhysicalDataType
• [SPARK-43118] [SC-128398][SS] Suppression de l’assertion inutile pour UninterruptibleThread dans KafkaMicroBatchStream
• [SPARK-43055] [SC-128331][CONNECT][PYTHON] Prise en charge des noms de champs imbriqués dupliqués
• [SPARK-42437] [SC-128339][PYTHON][CONNECT] PySpark catalog.cacheTable permet de spécifier le niveau de stockage
• [SPARK-42985] [SC-128332][CONNECT][PYTHON] Correction de createDataFrame pour respecter les configurations SQL
• [SPARK-39696] [SC-127830][CORE] Correction de la concurrence des données dans l’accès à TaskMetrics.externalAccums
• [SPARK-43103] [SC-128335][SQL] Déplacement d’Integral vers PhysicalDataType
• [SPARK-42741] [SC-125547][SQL] Pas de désenveloppement des casts dans la comparaison binaire quand le littéral est null
• [SPARK-43057] [SC-127948][CONNECT][PYTHON] Migration des erreurs de colonne Spark Connect vers la classe d’erreur
• [SPARK-42859] [SC-127935][CONNECT][PS] Prise en charge de base de l’API pandas sur Spark Connect
• [SPARK-43013] [SC-127773][PYTHON] Migration de ValueError de DataFrame vers PySparkValueError
• [SPARK-43089] [SC-128051][CONNECT] Masquage de la chaîne de débogage dans l’interface utilisateur
• [SPARK-43028] [SC-128070][SQL] Ajout de la classe d’erreur SQL_CONF_NOT_FOUND
• [SPARK-42999] [SC-127842][Connect] Dataset#foreach, foreachPartition
• [SPARK-43066] [SC-127937][SQL] Ajout d’un test pour dropDuplicates dans JavaDatasetSuite
• [SPARK-43075] [SC-127939][CONNECT] Remplacement de gRPC par grpcio quand il n’est pas installé.
• [SPARK-42953] [SC-127809][Connect] Filtre typé, map, flatMap, mapPartitions
• [SPARK-42597] [SC-125506][SQL] Prise en charge du désenveloppement du type date en type timestamp
• [SPARK-42931] [SC-127933][SS] Introduction de dropDuplicatesWithinWatermark
• [SPARK-43073] [SC-127943][CONNECT] Ajout des constantes de types de données proto
• [SPARK-43077] [SC-128050][SQL] Amélioration du message d’erreur de UNRECOGNIZED_SQL_TYPE
• [SPARK-42951] [SC-128030][SS][Connect] API DataStreamReader
• [SPARK-43049] [SC-127846][SQL] Utilisation de CLOB au lieu de VARCHAR(255) pour StringType pour Oracle JDBC
• [SPARK-43018] [SC-127762][SQL] Correction d’un bogue pour les commandes INSERT avec des littéraux timestamp
• [SPARK-42855] [SC-127722][SQL] Utilisation de vérifications null du runtime dans TableOutputResolver
• [SPARK-43030] [SC-127847][SQL] Déduplication des relations avec des colonnes de métadonnées
• [SPARK-42993] [SC-127829][ML][CONNECT] Rendre le serveur de distribution PyTorch compatible avec Spark Connect
• [SPARK-43058] [SC-128072][SQL] Déplacement de Numeric et Fractional vers PhysicalDataType
• [SPARK-43056] [SC-127946][SS] La validation du magasin d’état RocksDB ne doit poursuivre le travail en arrière-plan que s’il est suspendu
• [SPARK-43059] [SC-127947][CONNECT][PYTHON] Migration de TypeError de DataFrame(Reader|Writer) vers la classe d’erreur
• [SPARK-43071] [SC-128018][SQL] Prise en charge de SELECT DEFAULT avec ORDER BY, LIMIT, OFFSET pour la relation source INSERT
• [SPARK-43061] [SC-127956][CORE][SQL] Introduction de PartitionEvaluator pour l’exécution de l’opérateur SQL
• [SPARK-43067] [SC-127938][SS] Correction de l’emplacement du fichier de ressources de classe d’erreur dans le connecteur Kafka
• [SPARK-43019] [SC-127844][SQL] Déplacement de Ordering vers PhysicalDataType
• [SPARK-43010] [SC-127759][PYTHON] Migration des erreurs de colonne vers la classe d’erreur
• [SPARK-42840] [SC-127782][SQL] Remplacement de l’erreur _LEGACY_ERROR_TEMP_2004 par une erreur interne
• [SPARK-43041] [SC-127765][SQL] Restauration des constructeurs d’exceptions à des fins de compatibilité dans l’API de connecteur
• [SPARK-42939] [SC-127761][SS][CONNECT] API Python de diffusion en continu principale pour Spark Connect
• [SPARK-42844] [SC-127766][SQL] Mise à jour de la classe d’erreur _LEGACY_ERROR_TEMP_2008 en INVALID_URL
• [SPARK-42316] [SC-127720][SQL] Attribution d’un nom à _LEGACY_ERROR_TEMP_2044
• [SPARK-42995] [SC-127723][CONNECT][PYTHON] Migration des erreurs DataFrame Spark Connect vers la classe d’erreur
• [SPARK-42983] [SC-127717][CONNECT][PYTHON] Correction de createDataFrame pour gérer correctement le tableau numpy 0-dim
• [SPARK-42955] [SC-127476][SQL] classifyException ignoré et enveloppement de AnalysisException pour SparkThrowable
• [SPARK-42949] [SC-127255][SQL] Simplification du code pour NAAJ
• [SPARK-43011] [SC-127577][SQL] array_insert doit échouer avec 0 index
• [SPARK-42974] [SC-127487][CORE] Restauration de Utils.createTempDir pour utiliser ShutdownHookManager et nettoyer la méthode JavaUtils.createTempDir
• [SPARK-42964] [SC-127585][SQL] PosgresDialect '42P07' signifie également que la table existe déjà
• [SPARK-42978] [SC-127351][SQL] Derby&PG : RENAME ne peut pas qualifier un new-table-Name avec un schema-Name
• [SPARK-37980] [SC-127668][SQL] Accès à row_index via _metadata si possible dans les tests
• [SPARK-42655] [SC-127591][SQL] Erreur de référence de colonne ambiguë incorrecte
• [SPARK-43009] [SC-127596][SQL] Paramétrisation de sql() avec des constantes Any
• [SPARK-43026] [SC-127590][SQL] Application d’AQE avec le cache de table sans échange
• [SPARK-42963] [SC-127576][SQL] Extension de SparkSessionExtensions pour injecter des règles dans l’optimiseur d’étape de requête AQE
• [SPARK-42918] [SC-127357] Généralisation de la gestion des attributs de métadonnées dans FileSourceStrategy
• [SPARK-42806] [SC-127452][SPARK-42811][CONNECT] Ajout de la prise en charge de Catalog
• [SPARK-42997] [SC-127535][SQL] TableOutputResolver doit utiliser des chemins de colonne corrects dans les messages d’erreur pour les tableaux et les cartes
• [SPARK-43006] [SC-127486][PYSPARK] Correction d’une faute de frappe dans StorageLevel eq()
• [SPARK-43005] [SC-127485][PYSPARK] Correction d’une faute de frappe dans pyspark/pandas/config.py
• [SPARK-43004] [SC-127457][CORE] Correction d’une faute de frappe dans ResourceRequest.equals()
• [SPARK-42907] [SC-126984][CONNECT][PYTHON] Implémentation des fonctions Avro
• [SPARK-42979] [SC-127272][SQL] Définition de constructeurs littéraux en tant que mots clés
• [SPARK-42946] [SC-127252][SQL] Masquage de données sensibles imbriquées par substitution de variable
• [SPARK-42952] [SC-127260][SQL] Simplification du paramètre de la règle d’analyseur PreprocessTableCreation et DataSourceAnalysis
• [SPARK-42683] [LC-75] Renommer automatiquement les colonnes de métadonnées en conflit
• [SPARK-42853] [SC-126101][FollowUp] Résolution de conflits
• [SPARK-42929] [SC-126748][CONNECT] mapInPandas / mapInArrow prennent en charge « is_barrier »
• [SPARK-42968] [SC-127271][SS] Ajout de l’option pour ignorer le coordinateur de validation dans le cadre de l’API StreamingWrite pour les sources/récepteurs DSv2
• [SPARK-42954] [SC-127261][PYTHON][CONNECT] Ajout de YearMonthIntervalType à PySpark et au client Python Spark Connect
• [SPARK-41359] [SC-127256][SQL] Utilisation de PhysicalDataType au lieu de DataType dans UnsafeRow
• [SPARK-42873] [SC-127262][SQL] Définition des types SQL Spark en tant que mots clés
• [SPARK-42808] [SC-126302][CORE] Éviter d’obtenir availableProcessors à chaque fois dans MapOutputTrackerMaster#getStatistics
• [SPARK-42937] [SC-126880][SQL] PlanSubqueries doit définir InSubqueryExec#shouldBroadcast sur true
• [SPARK-42896] [SC-126729][SQL][PYTHON] mapInPandas / mapInArrow prend en charge l’exécution du mode barrière
• [SPARK-42874] [SC-126442][SQL] Activer la nouvelle infrastructure de test de fichier doré pour l’analyse de tous les fichiers d’entrée
• [SPARK-42922] [SC-126850][SQL] Déplacement de Random vers SecureRandom
• [SPARK-42753] [SC-126369] ReusedExchange fait référence à des nœuds inexistants
• [SPARK-40822] [SC-126274][SQL] Alias de colonne dérivée stables
• [SPARK-42908] [SC-126856][PYTHON] Déclenchement de RuntimeError quand SparkContext est requis mais non initialisé
• [SPARK-42779] [SC-126042][SQL] Autoriser les écritures V2 à indiquer la taille de partition aléatoire
• [SPARK-42914] [SC-126727][PYTHON] Réutilisation de transformUnregisteredFunction pour DistributedSequenceID
• [SPARK-42878] [SC-126882][CONNECT] L’API de table dans DataFrameReader peut également accepter des options
• [SPARK-42927] [SC-126883][CORE] Modification de l’étendue d’accès de o.a.spark.util.Iterators#size en private[util]
• [SPARK-42943] [SC-126879][SQL] Utilisation de LONGTEXT au lieu de TEXT pour StringType pour la longueur effective
• [SPARK-37677] [SC-126855][CORE] La décompression peut conserver les autorisations de fichier
• [SPARK-42891] [13.x][SC-126458][CONNECT][PYTHON] Implémentation de l’API CoGrouped Map
• [SPARK-41876] [SC-126849][CONNECT][PYTHON] Implémentation de DataFrame.toLocalIterator
• [SPARK-42930] [SC-126761][CORE][SQL] Modification de l’étendue d’accès des implémentations associées à ProtobufSerDe en private[protobuf]
• [SPARK-42819] [SC-125879][SS] Ajout de la prise en charge de la définition de max_write_buffer_number et de write_buffer_size pour RocksDB utilisé dans la diffusion en continu
• [SPARK-42924] [SC-126737][SQL][CONNECT][PYTHON] Clarification du commentaire des arguments SQL paramétrisés
• [SPARK-42748] [SC-126455][CONNECT] Gestion des artefacts côté serveur
• [SPARK-42816] [SC-126365][CONNECT] Prise en charge de la taille maximale des messages jusqu’à 128 Mo
• [SPARK-42850] [SC-126109][SQL] Suppression de la règle dupliquée CombineFilters dans l’optimiseur
• [SPARK-42662] [SC-126355][CONNECT][PS] Ajout d’un message proto pour l’API pandas sur l’index par défaut Spark
• [SPARK-42720] [SC-126136][PS][SQL] Utilisation de l’expression pour l’index par défaut de séquence distribuée au lieu du plan
• [SPARK-42790] [SC-126174][SQL] Abstraction de la méthode exclue pour améliorer les tests Docker JDBC.
• [SPARK-42900] [SC-126473][CONNECT][PYTHON] Correction de createDataFrame pour respecter les noms d’inférence et de colonne
• [SPARK-42917] [SC-126657][SQL] Correction de getUpdateColumnNullabilityQuery pour DerbyDialect
• [SPARK-42684] [SC-125157][SQL] Le catalogue v2 ne doit pas autoriser la valeur par défaut de colonne par défaut
• [SPARK-42861] [SC-126635][SQL] Utilisation de private[sql] au lieu de protected[sql] pour éviter de générer la documentation d’API
• [SPARK-42920] [SC-126728][CONNECT][PYTHON] Activation des tests pour UDF avec UDT
• [SPARK-42791] [SC-126617][SQL] Création d’une infrastructure de test de fichier doré pour l’analyse
• [SPARK-42911] [SC-126652][PYTHON] Introduction d’exceptions plus simples
• [SPARK-42904] [SC-126634][SQL] Prise en charge de Char/Varchar pour le catalogue JDBC
• [SPARK-42901] [SC-126459][CONNECT][PYTHON] Déplacement de StorageLevel dans un fichier distinct pour éviter l’erreur file recursively imports
• [SPARK-42894] [SC-126451][CONNECT] Prise en charge de cache/persist/unpersist/storageLevel pour le client JVM Spark Connect
• [SPARK-42792] [SC-125852][SS] Ajout de la prise en charge de WRITE_FLUSH_BYTES pour RocksDB utilisé dans les opérateurs avec état de diffusion en continu
• [SPARK-41233] [SC-126441][CONNECT][PYTHON] Ajout d’array_prepend au client Python Spark Connect
• [SPARK-42681] [SC-125149][SQL] Assouplissement de la contrainte d’ordre pour le descripteur de colonne ALTER TABLE ADD|REPLACE
• [SPARK-42889] [SC-126367][CONNECT][PYTHON] Implémentation de cache, persist, unpersist et storageLevel
• [SPARK-42824] [SC-125985][CONNECT][PYTHON] Fourniture d’un message d’erreur clair pour les attributs JVM non pris en charge
• [SPARK-42340] [SC-126131][CONNECT][PYTHON] Implémentation de l’API Grouped Map
• [SPARK-42892] [SC-126454][SQL] Déplacement de sameType et des méthodes pertinentes hors de DataType
• [SPARK-42827] [SC-126126][CONNECT] Prise en charge de functions#array_prepend pour le client Scala Connect
• [SPARK-42823] [SC-125987][SQL] L’interpréteur de commandes spark-sql prend en charge les espaces de noms en plusieurs parties pour l’initialisation
• [SPARK-42817] [SC-125960][CORE] Journalisation du nom du service aléatoire une fois dans ApplicationMaster
• [SPARK-42786] [SC-126438][Connect] Sélection typée
• [SPARK-42800] [SC-125868][CONNECT][PYTHON][ML] Implémentation de la fonction ml {array_to_vector, vector_to_array}
• [SPARK-42052] [SC-126439][SQL] Prise en charge Codegen pour HiveSimpleUDF
• [SPARK-41233] [SC-126110][SQL][PYTHON] Ajout de la fonction array_prepend
• [SPARK-42864] [SC-126268][ML][3.4] Rendre IsotonicRegression.PointsAccumulator privé
• [SPARK-42876] [SC-126281][SQL] PhysicalDataType de DataType doit être private[sql]
• [SPARK-42101] [SC-125437][SQL] Prise en charge d’InMemoryTableScanExec par AQE
• [SPARK-41290] [SC-124030][SQL] Prise en charge des expressions ALWAYS AS GÉNÉRÉES pour les colonnes dans les instructions de table create/replace
• [SPARK-42870] [SC-126220][CONNECT] Déplacement de toCatalystValue vers connect-common
• [SPARK-42247] [SC-126107][CONNECT][PYTHON] Correction de UserDefinedFunction pour avoir returnType
• [SPARK-42875] [SC-126258][CONNECT][PYTHON] Correction de toPandas pour gérer correctement les types de fuseau horaire et de carte
• [SPARK-42757] [SC-125626][CONNECT] Implémentation de textFile pour DataFrameReader
• [SPARK-42803] [SC-126081][CORE][SQL][ML] Utilisation de la fonction getParameterCount au lieu de getParameterTypes.length
• [SPARK-42833] [SC-126043][SQL] Refactorisation de applyExtensions en SparkSession
• [SPARK-41765] Rétablissement de « [SC-123550][SQL] Extraction des métriques d’écriture v1...
• [SPARK-42848] [SC-126105][CONNECT][PYTHON] Implémentation de DataFrame.registerTempTable
• [SPARK-42020] [SC-126103][CONNECT][PYTHON] Prise en charge de UserDefinedType dans Spark Connect
• [SPARK-42818] [SC-125861][CONNECT][PYTHON] Implémentation de DataFrameReader/Writer.jdbc
• [SPARK-42812] [SC-125867][CONNECT] Ajout de client_type au message protobuf AddArtifactsRequest
• [SPARK-42772] [SC-125860][SQL] Modification de la valeur par défaut des options JDBC relatives à l’envoi (push) sur true
• [SPARK-42771] [SC-125855][SQL] Refactorisation de HiveGenericUDF
• [SPARK-25050] [SC-123839][SQL] Avro : écriture d’unions complexes
• [SPARK-42765] [SC-125850][CONNECT][PYTHON] Activation de l’importation de pandas_udf à partir de pyspark.sql.connect.functions
• [SPARK-42719] [SC-125225][CORE] MapOutputTracker#getMapLocation doit respecter spark.shuffle.reduceLocality.enabled
• [SPARK-42480] [SC-125173][SQL] Amélioration des performances de suppression des partitions
• [SPARK-42689] [SC-125195][CORE][SHUFFLE] Autorisation de ShuffleDriverComponent à déclarer si les données aléatoires sont stockées de manière fiable
• [SPARK-42726] [SC-125279][CONNECT][PYTHON] Implémentation de DataFrame.mapInArrow
• [SPARK-41765] [SC-123550][SQL] Extraction des métriques d’écriture v1 dans WriteFiles
• [SPARK-41171] [SC-124191][SQL] Inférence et envoi (push) de la limite de fenêtre par le biais de la fenêtre si partitionSpec est vide
• [SPARK-42686] [SC-125292][CORE] Report de la mise en forme des messages de débogage dans TaskMemoryManager
• [SPARK-42756] [SC-125443][CONNECT][PYTHON] Fonction d’assistance pour convertir le littéral proto en valeur dans le client Python
• [SPARK-42793] [SC-125627][CONNECT] Le module connect nécessite build_profile_flags
• [SPARK-42701] [SC-125192][SQL] Ajout de la fonction try_aes_decrypt()
• [SPARK-42679] [SC-125438][CONNECT][PYTHON] createDataFrame ne fonctionne pas avec un schéma non nullable
• [SPARK-42733] [SC-125542][CONNECT][Followup] Écriture sans chemin ni table
• [SPARK-42777] [SC-125525][SQL] Prise en charge de la conversion des statistiques de catalogue TimestampNTZ en statistiques de plan
• [SPARK-42770] [SC-125558][CONNECT] Ajout de truncatedTo(ChronoUnit.MICROS) pour faire en sorte que SQLImplicitsTestSuite dans la tâche en disponibilité générale de test quotidien Java 17 réussisse
• [SPARK-42752] [SC-125550][PYSPARK][SQL] Rendre les exceptions PySpark imprimables pendant l’initialisation
• [SPARK-42732] [SC-125544][PYSPARK][CONNECT] Prise en charge de la méthode getActiveSession de session Spark Connect
• [SPARK-42755] [SC-125442][CONNECT] Factorisation de la conversion de valeurs littérales en connect-common
• [SPARK-42747] [SC-125399][ML] Correction de l’état interne incorrect de LoR et AFT
• [SPARK-42740] [SC-125439][SQL] Correction du bogue de décalage ou de pagination de pushdown non valide pour certains dialectes intégrés
• [SPARK-42745] [SC-125332][SQL] Amélioration d’AliasAwareOutputExpression pour DSv2
• [SPARK-42743] [SC-125330][SQL] Prise en charge des colonnes TimestampNTZ d’analyse
• [SPARK-42721] [SC-125371][CONNECT] Intercepteur de journalisation RPC
• [SPARK-42691] [SC-125397][CONNECT][PYTHON] Implémentation de Dataset.semanticHash
• [SPARK-42688] [SC-124922][CONNECT] Modification du nom de la requête proto Connect client_id en session_id
• [SPARK-42310] [SC-122792][SQL] Attribution d’un nom à _LEGACY_ERROR_TEMP_1289
• [SPARK-42685] [SC-125339][CORE] Optimisation des routines Utils.bytesToString
• [SPARK-42725] [SC-125296][CONNECT][PYTHON] Prise en charge des paramètres de tableau par LiteralExpression
• [SPARK-42702] [SC-125293][SPARK-42623][SQL] Prise en charge de la requête paramétrisée dans la sous-requête et CTE
• [SPARK-42697] [SC-125189][WEBUI] Correction de /api/v1/applications pour retourner la durée de bon fonctionnement totale au lieu de 0 pour le champ de durée
• [SPARK-42733] [SC-125278][CONNECT][PYTHON] Correction de DataFrameWriter.save pour fonctionner sans paramètre de chemin
• [SPARK-42376] [SC-124928][SS] Introduction de la propagation des filigranes parmi les opérateurs
• [SPARK-42710] [SC-125205][CONNECT][PYTHON] Modification du nom de proto FrameMap en MapPartitions
• [SPARK-37099] [SC-123542][SQL] Introduction de la limite de groupe de Window pour le filtre basé sur le classement afin d’optimiser le calcul top-k
• [SPARK-42630] [SC-125207][CONNECT][PYTHON] Introduction de unparsedDataType et report de la chaîne DDL d’analyse jusqu’à ce que SparkConnectClient soit disponible
• [SPARK-42690] [SC-125193][CONNECT] Implémentation des fonctions d’analyse CSV/JSON pour le client Scala
• [SPARK-42709] [SC-125172][PYTHON] Suppression de l’hypothèse de la disponibilité de __file__
• [SPARK-42318] [SC-122648][SPARK-42319][SQL] Attribution d’un nom à LEGACY_ERROR_TEMP(2123|2125)
• [SPARK-42723] [SC-125183][SQL] Prise en charge du type de données de l’analyseur JSON « timestamp_ltz » en tant que TimestampType
• [SPARK-42722] [SC-125175][CONNECT][PYTHON] Python Connect def schema() ne doit pas mettre en cache le schéma
• [SPARK-42643] [SC-125152][CONNECT][PYTHON] Inscription des fonctions Java définies par l’utilisateur (agrégées)
• [SPARK-42656] [SC-125177][CONNECT][Followup] Correction du script spark-connect
• [SPARK-41516] [SC-123899] [SQL] Autorisation des dialectes JDBC à remplacer la requête utilisée pour créer une table
• [SPARK-41725] [SC-124396][CONNECT] Exécution hâtive de DF.sql()
• [SPARK-42687] [SC-124896][SS] Amélioration du message d’erreur pour l’opération de non-prise en charge pivot dans Streaming
• [SPARK-42676] [SC-124809][SS] Écriture des points de contrôle temporaires pour les requêtes de diffusion en continu dans le système de fichiers local, même si FS par défaut est défini différemment
• [SPARK-42303] [SC-122644][SQL] Attribution d’un nom à _LEGACY_ERROR_TEMP_1326
• [SPARK-42553] [SC-124560][SQL] Garantie d’au moins une unité de temps après « interval »
• [SPARK-42649] [SC-124576][CORE] Suppression de l’en-tête de licence Apache standard du haut des fichiers sources tiers
• [SPARK-42611] [SC-124395][SQL] Insertion des vérifications de longueur char/varchar pour les champs internes pendant la résolution
• [SPARK-42419] [SC-124019][CONNECT][PYTHON] Migration vers l’infrastructure d’erreur pour l’API de colonne Spark Connect.
• [SPARK-42637] [SC-124522][CONNECT] Ajout de SparkSession.stop()
• [SPARK-42647] [SC-124647][PYTHON] Modification de l’alias pour les types numpy déconseillés et supprimés
• [SPARK-42616] [SC-124389][SQL] SparkSQLCLIDriver ne ferme que la ruche démarrée sessionState
• [SPARK-42593] [SC-124405][PS] Dépréciation et suppression des API qui seront supprimées dans pandas 2.0.
• [SPARK-41870] [SC-124402][CONNECT][PYTHON] Correction de createDataFrame pour gérer les noms de colonne en double
• [SPARK-42569] [SC-124379][CONNECT] Génération d’exceptions pour l’API de session non prise en charge
• [SPARK-42631] [SC-124526][CONNECT] Prise en charge des extensions personnalisées dans le client Scala
• [SPARK-41868] [SC-124387][CONNECT][PYTHON] Correction de createDataFrame pour prendre en charge les durées
• [SPARK-42572] [SC-124171][SQL][SS] Correction du comportement pour StateStoreProvider.validateStateRowFormat

Mises à jour de maintenance

Consultez les mises à jour de maintenance de Databricks Runtime 13.1.

Environnement du système

• Système d’exploitation : Ubuntu 22.04.2 LTS
• Java : Zulu 8.70.0.23-CA-linux64
• Scala : 2.12.15
• Python : 3.10.12
• R: 4.2.2
• Delta Lake : 2.4.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 02/10/2023.

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)