Databricks Runtime 13.2 (EoS)

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 13.2 optimisé par Apache Spark 3.4.0.

Databricks a publié cette version en juillet 2023.

Améliorations et nouvelles fonctionnalités

• Points de contrôle du journal des modifications pour le magasin d’état RocksDB
• Fiabilité améliorée pour VACUUM avec clone superficiel dans Unity Catalog.
• Prise en charge des fonctions UDF de Python dans SQL
• Delta Lake UniForm pour Iceberg est en préversion publique
• Delta Lake Liquid Clustering est en préversion publique
• Prise en charge de l’archivage dans Azure Databricks
• Prise en charge des clauses IDENTIFICATEUR
• Prise en charge d’Unity Catalog pour les fonctions définies par l’utilisateur (UDF) Python et Pandas
• Partager des schémas à l’aide du partage Delta
• Correctifs de bogues

Points de contrôle du journal des modifications pour le magasin d’état RocksDB

Vous pouvez activer le point de contrôle du journal des modifications pour réduire la durée des points de contrôle et la latence de bout en bout pour les charges de travail de flux structuré. Databricks recommande d’activer le point de contrôle du journal des modifications pour toutes les requêtes avec état Flux structuré. Voir Activer le point de contrôle du journal des modifications.

Fiabilité améliorée pour VACUUM avec clone superficiel dans Unity Catalog.

Lorsque vous utilisez des tables gérées Unity Catalog pour la source et la cible d’une opération de clonage superficiel, Unity Catalog gère les fichiers de données sous-jacents pour améliorer la fiabilité de la source et de la cible de l’opération de clonage. L’exécution de VACUUM sur la source d’un clone superficiel n’interrompt pas la table clonée. Consultez Clones superficiels vides et Unity Catalog.

Prise en charge des fonctions UDF de Python dans SQL

Vous pouvez maintenant déclarer des fonctions définies par l’utilisateur à l’aide de Python dans des instructions SQL CREATE FUNCTION dans Unity Catalog. Consultez les Fonctions définies par l’utilisateur (UDF) dans Unity Catalog.

Delta Lake UniForm pour Iceberg est en préversion publique

Le format universel Delta Lake (UniForm) vous permet de lire des tables Delta avec des clients Iceberg. Consultez Utiliser UniForm pour lire des tables Delta avec des clients Iceberg.

Le clustering liquide Delta Lake est en préversion publique

Le clustering liquide Delta Lake remplace le partitionnement des tables et ZORDER pour simplifier les décisions de disposition des données et optimiser les performances des requêtes. Consultez Utilisation des clustering liquides pour les tableaux Delta.

Prise en charge de l’archivage dans Azure Databricks

La prise en charge de l’archivage dans Azure Databricks introduit une collection de fonctionnalités qui vous permettent d’utiliser des stratégies de cycle de vie basées sur le cloud sur le stockage d’objets cloud contenant des tables Delta pour transférer des fichiers vers les niveaux de stockage d’archivage. Si vous souhaitez en savoir plus, veuillez consulter la rubrique Prise en charge de l’archivage dans Azure Databricks.

Prise en charge de la clause IDENTIFICATEUR

Utilisez IDENTIFIER(:mytable) pour paramétrer en toute sécurité les noms de tableaux, de colonnes, de fonctions et de schémas dans de nombreuses instructions SQL.

Prise en charge d’Unity Catalog pour les fonctions définies par l’utilisateur (UDF) Python et Pandas

Sur Databricks Runtime 13.2 et versions inférieures, les fonctions définies par l’utilisateur (UDF) écrites en langage Python sont prises en charge sur des clusters utilisant un mode d’accès partagé dans un espace de travail compatible avec Unity Catalog. Cela inclut les fonctions définies par l’utilisateur Python et Pandas. Si vous souhaitez en savoir plus sur les fonctions définies par l’utilisateur en langage Python, veuillez consulter la rubrique Fonctions scalaires définies par l’utilisateur - Python.

Partager des schémas à l’aide du partage Delta

Databricks Runtime 13.2 ajoute la capacité d’utiliser ALTER SHARE <share-name> ADD SCHEMA <schema-name> pour partager un schéma entier à l’aid du partage de données, en donnant au destinataire l'accès à toutes les tables et vues du schéma au moment où vous le partagez, ainsi qu'à toutes les tables et vues ajoutées au schéma à l’avenir. Si vous souhaitez en savoir plus, veuillez consulter les rubriques Ajouter des schémas à un partage et ALTER SHARE.

Résolution des bogues

• Nous avons corrigé un bogue avec le lecteur JSON, où les enregistrements étaient analysés en PERMISSIVE mode si failOnUnknownFieldsmode était activé. Les enregistrements sont maintenant déposés en mode DROPMALFORMEDparser ou sont écrits vers badRecordsPathsi l’une de ces options est définie. FAILFAST génère une erreur si un type de colonne ne correspond pas.

Mises à niveau de la bibliothèque

• Bibliothèques Python mises à niveau :
  • nodeenv de la version 1.7.0 à la version 1.8.0
• Bibliothèques R mises à niveau :
• Bibliothèques Java mises à niveau :
  • io.delta.delta-sharing-spark_2.12 de la version 0.6.7 vers la version 0.7.0

Apache Spark

Databricks Runtime 13.2 comprend Apache Spark 3.4.0. Cette version inclut tous les correctifs et améliorations Spark figurant dans Databricks Runtime 13.1 (EoS) ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

• [SPARK-42750] [SC-133452][DBRRM-273] Prise en charge de l’instruction Insert By Name
• [SPARK-43133] [SC-133728] Prise en charge de Scala Client DataStreamWriter Foreach
• [SPARK-43663] [SC-134135][CONNECT][PS] Activation de SeriesParityTests.test_compare
• [SPARK-43684] [SC-134162][SPARK-43685][SPARK-43686][SPARK-43691][CONNECT][PS] Correctif (NullOps|NumOps).(eq|ne) pour Spark Connect.
• [SPARK-44021] [SC-134109][SQL] Ajouter spark.sql.files.maxPartitionNum
• [SPARK-43910] [SC-132936][SQL] Supprimer __auto_generated_subquery_name des ID dans les erreurs
• [SPARK-43976] [SC-133375][CORE] Gérer le cas où modifiedConfigs n’existe pas dans les journaux des événements
• [SPARK-32559] [SC-133992][SQL] La correction de la logique de découpage n’a pas correctement géré les caractères de contrôle ASCII
• [SPARK-43421] [SC-132930][SS] Implémenter des points de contrôle basés sur le journal des modifications pour le fournisseur de Store d’état RocksDB
• [SPARK-43594] [SC-133851][SQL] Ajouter LocalDateTime à anyToMicros
• [SPARK-43884] [SC-133867] Marqueurs de paramètres dans DDL
• [SPARK-43398] [SC-133894][CORE] Le délai d’expiration de l’exécuteur doit être le maximum entre la lecture aléatoire inactive et le délai d’expiration rdd
• [SPARK-43610] [SC-133892][CONNECT][PS] Activer InternalFrame.attach_distributed_column dans Spark Connect.
• [SPARK-43971] [SC-133826][CONNECT][PYTHON] Prise en charge de createDataFrame de Python en mode streaming
• [SPARK-44006] [SC-133652][CONNECT][PYTHON] Prise en charge des artefacts de cache
• [SPARK-43790] [SC-133468][PYTHON][CONNECT] Ajouter l’API copyFromLocalToFs
• [SPARK-43921] [SC-133461][PROTOBUF] Générer des fichiers de descripteur Protobuf au moment de la génération
• [SPARK-43906] [SC-133638][SC-133404][PYTHON][CONNECT] Implémenter la prise en charge des fichiers dans SparkSession.addArtifacts
• [SPARK-44010] [SC-133744][PYTHON][SS][MINOR] Correctif de type Python StreamingQueryProgress rowsPerSecond
• [SPARK-43768] [SC-132398][PYTHON][CONNECT] Prise en charge de la gestion des dépendances Python dans Python Spark Connect
• [SPARK-43979] [13.X] Rétablir « [SC-133456][SQL] CollectedMetrics doit être traité de la même manière pour la jointure réflexive »
• [SPARK-42290] [SC-133696][SQL] La correction de l’erreur OOM ne peut pas être signalée quand AQE est activé
• [SPARK-43943] [SC-133648][SQL][PYTHON][CONNECT] Ajout des fonctions SQL math à Scala et Python
• [SPARK-43747] [SC-132047][SC-133404][PYTHON][CONNECT] Implémenter la prise en charge des fichiers Python dans SparkSession.addArtifacts
• [SPARK-43700] [SC-133726][SPARK-43701][CONNECT][PS] Activer TimedeltaOps.(sub|rsub) avec Spark Connect
• [SPARK-43712] [SC-133641][SPARK-43713][CONNECT][PS] Activer le test de parité : test_line_plot, test_pie_plot.
• [SPARK-43867] [SC-132895][SQL] Amélioration des candidats suggérés pour l’attribut non résolu
• [SPARK-43901] [SC-133454][SQL] Avro pour prendre en charge le type décimal personnalisé soutenu par Long
• [SPARK-43267] [SC-133024][JDBC] Gérer la colonne définie par l’utilisateur inconnue postgres en tant que chaîne dans un tableau
• [SPARK-43935] [SC-133637][SQL][PYTHON][CONNECT] Ajout des fonctions xpath_* à Scala et Python
• [SPARK-43916] [SC-133647][SQL][PYTHON][CONNECT] Ajout d’un percentile aux API Scala et Python
• [SPARK-43717] [SC-133455][CONNECT] Le client Scala ne peut pas gérer les partitions nulles pour les entrées primitives scala
• [SPARK-43984] [SC-133469] [SQL][PROTOBUF] Modification pour utiliser foreach quand map ne produit pas de résultats
• [SPARK-43612] [SC-132011][CONNECT][PYTHON] Implémenter SparkSession.addArtifact(s) dans le client Python
• [SPARK-44002] [SC-133606][CONNECT] Corriger le gestionnaire d’états des artefacts
• [SPARK-43933] [SC-133470][SQL][PYTHON][CONNECT] Ajouter des fonctions d’agrégation de régression linéaire à Scala et Python
• [SPARK-43920] [SC-133614][SQL][CONNECT] Créer un module sql/api
• [SPARK-43979] [SC-133456][SQL] CollectedMetrics doit être traité de la même manière pour la jointure réflexive
• [SPARK-43977] [SC-133373][CONNECT] Corriger le résultat de contrôle inattendu de dev/connect-jvm-client-mima-check
• [SPARK-43985] [SC-133412][PROTOBUF] spark protobuf : corriger les énumérations comme des bogues ints
• [SPARK-43930] [SC-133406][SQL][PYTHON][CONNECT] Ajouter des fonctions unix_* à Scala et Python
• [SPARK-43807] [SC-132545][SQL] Migrer les _LEGACY_ERROR_TEMP_1269 vers PARTITION_SCHEMA_IS_EMPTY
• [SPARK-43956] [SC-133123][SQL] La correction du bogue n’affiche pas le sql de la colonne pour le percentile[Cont|Disc]
• [SPARK-42626] [SC-133248][CONNECT] Ajouter un itérateur destructeur pour SparkResult
• [SPARK-43333] [SC-132898][SQL] Autoriser Avro à convertir le type d’union en SQL avec un nom de champ stable avec type
• [SPARK-43953] [SC-133134][CONNECT] Supprimer pass
• [SPARK-43970] [SC-133403][PYTHON][CONNECT] Masquer les méthodes de cadre de données non prises en charge de la saisie semi-automatique
• [SPARK-43973][SS][IU] L’IU de flux structuré doit afficher correctement les requêtes ayant échoué.
• [SPARK-42577] [SC-125445][CORE] Ajouter une limitation maximale des tentatives pour les étapes pour éviter les nouvelles tentatives infinies potentielles
• [SPARK-43841] [SC-132699][SQL] Gérer les attributs candidats sans préfixe dans StringUtils#orderSuggestedIdentifiersBySimilarity
• [SPARK-41497] [SC-124795][CORE][Suivre]Modifier la version de prise en charge de la configuration spark.rdd.cache.visibilityTracking.enabled vers la version 3.5.0
• [SPARK-37942] [SC-130983][CORE][SQL] Migrer des classes d’erreur
• [SPARK-43898] [SC-132926][CORE] Inscrire automatiquement immutable.ArraySeq$ofRef à KryoSerializer pour Scala 2.13
• [SPARK-43775] [SC-132891][SQL] DataSource V2 : autoriser la représentation des mises à jour sous forme de suppressions et d’insertions
• [SPARK-43817] [SC-132662][SPARK-43702][PYTHON] Prendre en charge UserDefinedType dans createDataFrame depuis Pandas DataFrame et toPandas
• [SPARK-43418] [SC-132753][SC-130685][CONNECT] Ajouter SparkSession.Builder.getOrCreate
• [SPARK-43549] [SC-132383][SQL] Convertir _LEGACY_ERROR_TEMP_0036 en INVALID_SQL_SYNTAX. ANALYZE_TABLE_UNEXPECTED_NOSCAN
• [SPARK-41497] [SC-124644][CORE] Correction du sous-dénombrement d’accumulateurs dans le cas de la tâche de nouvelle tentative avec cache rdd
• [SPARK-43892] [SC-133006][PYTHON] Ajouter la prise en charge de la saisie semi-automatique pour df[|] dans pyspark.sql.dataframe.DataFrame
• [SPARK-43881] [SC-133140][SQL][PYTHON][CONNECT] Ajouter un modèle facultatif pour Catalog.listDatabases
• [SPARK-43205] [SC-132623] Clause IDENTIFICATEUR
• [SPARK-43545] [SC-132378][SQL][PYTHON] Prise en charge du type de timestamp imbriqué
• [SPARK-43949] [SC-133048][PYTHON] Mettre à niveau cloudpickle vers la version 2.2.1
• [SPARK-43760] [SC-132809][SQL] Possibilité de valeur nulle des résultats de la sous-requête scalaire
• [SPARK-43696] [SC-132737][SPARK-43697][SPARK-43698][SPARK-43699][PS] Corriger TimedeltaOps pour Spark Connect
• [SPARK-43895] [SC-132897][CONNECT][GO] Préparer le chemin du package Go
• [SPARK-43894] [SC-132892][PYTHON] Corriger un bogue dans df.cache()
• [SPARK-43509] [SC-131625][CONNECT] Prendre en charge la création de plusieurs sessions Spark Connect
• [SPARK-43882] [SC-132888][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_2122
• [SPARK-43687] [SC-132747][SPARK-43688][SPARK-43689][SPARK-43690][PS] Corriger NumOps pour Spark Connect
• [SPARK-43604] [SC-132165][SQL] Refactoriser INVALID_SQL_SYNTAX pour éviter d’incorporer le texte de l’erreur dans le code source
• [SPARK-43859] [SC-132883][SQL] Remplacer toString dans LateralColumnAliasReference
• [SPARK-43792] [SC-132939][SQL][PYTHON][CONNECT] Ajouter un modèle facultatif pour Catalog.listCatalogs
• [SPARK-43353] Rétablir « [SC-132734][PYTHON] Migrer les erreurs de session restantes dans la classe d’erreur »
• [SPARK-43375] [SC-130309][CONNECT] Améliorer les messages d’erreur pour INVALID_CONNECT_URL
• [SPARK-43863] [SC-132721][CONNECT] Supprimer l’élément redondant toSeq de SparkConnectPlanner pour Scala 2.13
• [SPARK-43676] [SC-132708][SPARK-43677][SPARK-43678][SPARK-43679][PS] Corriger DatetimeOps pour Spark Connect
• [SPARK-43666] [SC-132689][SPARK-43667][SPARK-43668][SPARK-43669][PS] Corriger BinaryOps pour Spark Connect
• [SPARK-43680] [SC-132709][SPARK-43681][SPARK-43682][SPARK-43683][PS] Corriger NullOps pour Spark Connect
• [SPARK-43782] [SC-132885][CORE] Prendre en charge la configuration au niveau du journal avec une conf Spark statique
• [SPARK-43132] [SC-131623] [SS] [CONNECT] API Python Client DataStreamWriter foreach()
• [SPARK-43290] [SC-131961][SQL] Ajoute la prise en charge DS IV et AAD à ExpressionImplUtils
• [SPARK-43795] [SC-132532][CONNECT] Supprimer les paramètres non utilisés pour SparkConnectPlanner
• [SPARK-42317] [SC-129194][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_2247 : CANNOT_MERGE_SCHEMAS
• [SPARK-43597] [SC-131960][SQL] Attribution d’un nom à la classe d’erreur _LEGACY_ERROR_TEMP_0017
• [SPARK-43834] [SC-132679][SQL] Utiliser les classes d’erreur dans les erreurs de compilation de forçage de type ResolveDefaultColumns
• [SPARK-43749] [SC-132423][SPARK-43750] [SQL] Attribuer des noms à la classe d’erreur _LEGACY_ERROR_TEMP_240[4-5]
• [SPARK-43576] [SC-132533][CORE] Supprimer les déclarations inutilisées du module Core
• [SPARK-43314] [SC-129970][CONNECT][PYTHON] Migrer les erreurs de client Spark Connect vers la classe d’erreur
• [SPARK-43799] [SC-132715][PYTHON] Ajouter une option binaire de descripteur à l’API Pyspark Protobuf
• [SPARK-43837] [SC-132678][SQL] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_103[1-2]
• [SPARK-43862] [SC-132750][SQL] Attribuer un nom à la classe d’erreur LEGACY_ERROR_TEMP(1254 et 1315)
• [SPARK-43886] [SC-132808][PYTHON] Accepter les tuples génériques comme indicateurs de saisie de Pandas UDF
• [SPARK-43530] [SC-132653][PROTOBUF] Lire le fichier descripteur une seule fois
• [SPARK-43820] [SC-132676][SPARK-43822][SPARK-43823][SPARK-43826][SPARK-43827] Attribuer des noms à la classe d’erreur _LEGACY_ERROR_TEMP_241[1-7]
• [SPARK-43671] [SC-132519][SPARK-43672][SPARK-43673][SPARK-43674][PS] Corriger CategoricalOps pour Spark Connect
• [SPARK-39979] [SC-132685][SQL] Ajouter une option pour utiliser des vecteurs de grande largeur variable pour les opérations UDF d’Arrow
• [SPARK-43692] [SC-132660][SPARK-43693][SPARK-43694][SPARK-43695][PS] Corriger StringOps pour Spark Connect
• [SPARK-43353] [SC-132734][PYTHON] Migrer les erreurs de session restantes dans la classe d’erreur
• [SPARK-43815] [SC-132781][SQL] Ajouter un alias to_varchar pour to_char
• [SPARK-43543] [13.x][SC-131839][PYTHON] Corriger le comportement mapType imbriqué dans la fonction UDF Pandas
• [SPARK-43361] [SC-131789][PROTOBUF] Mettre à jour la documentation pour les erreurs liées à la sérialisation d’énumération
• [SPARK-43740] [SC-132035][PYTHON][CONNECT] Masquer les méthodes session non prises en charge de la saisie semi-automatique
• [SPARK-43022] [SC-131681][CONNECT] Prendre en charge les fonctions protobuf pour le client Scala
• [SPARK-43304] [13.x][SC-129969][CONNECT][PYTHON] Migrer NotImplementedError dans PySparkNotImplementedError
• [SPARK-43860] [SC-132713][SQL] Activer la récursivité de la fin dans la mesure du possible
• [SPARK-42421] [SC-132695][CORE] Utiliser les utils pour obtenir le commutateur d’allocation dynamique utilisé dans le point de contrôle local
• [SPARK-43590] [SC-132012][CONNECT] Créer connect-jvm-client-mima-check pour prendre en charge la vérification mima avec le module protobuf
• [SPARK-43315] [13.x][CONNECT][PYTHON][SS] Migrer les erreurs restantes de DataFrame(Reader|Writer) dans la classe d’erreur
• [SPARK-43361] [SC-130980][PROTOBUF] spark-protobuf : autoriser serde avec enum comme ints
• [SPARK-43789] [SC-132397][R] Utilise « spark.sql.execution.arrow.maxRecordsPerBatch » dans R createDataFrame avec Arrow par défaut
• [SPARK-43596] [SC-126994][SQL] Gérer le prédicat IsNull dans rewriteDomainJoins
• [SPARK-42249] [SC-122565][SQL] Affinement du lien html pour la documentation dans les messages d’erreur.
• [SPARK-43128] [SC-131628][CONNECT][SS] Rendre recentProgress, puis lastProgress retourner StreamingQueryProgress cohérent avec l’API Scala native
• [SPARK-43387] [SC-130448][SQL] Fournir un code d’erreur lisible pour _LEGACY_ERROR_TEMP_1168.
• [SPARK-43334] [SC-132358] [UI] Corriger l’erreur lors de la sérialisation d’ExecutorPeakMetricsDistributions dans une réponse d’API
• [SPARK-42958] [SC-131475][CONNECT] Refactoriser connect-jvm-client-mima-check pour prendre en charge la vérification mima avec le module avro
• [SPARK-43591] [SC-131977][SQL] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_0013
• [SPARK-38464] [SC-132211][CORE] Utiliser la classe d’erreur dans org.apache.spark.io
• [SPARK-43759] [SC-132189][SQL][PYTHON] Exposer TimestampNTZType dans pyspark.sql.types
• [SPARK-43649] [SC-132036][SPARK-43650][SPARK-43651][SQL] Attribuer des noms à la classe d’erreur _LEGACY_ERROR_TEMP_240[1-3]
• [SPARK-43719] [SC-132016][WEBUI] Gérer le champ missing row.excludedInStages
• [SPARK-42956] [SC-127257][CONNECT] Prendre en charge les fonctions avro pour le client Scala
• [SPARK-43487] [SC-131975][SQL] Corriger le message d’erreur CTE imbriqué
• [SPARK-43265] [SC-129653] Déplacer l’infrastructure d’erreur vers un module utils commun
• [SPARK-40912] [SC-131547][CORE]Surcharge d’exceptions dans KryoDeserializationStream
• [SPARK-43583] [SC-131976][CORE] obtenir MergedBlockedMetaReqHandler depuis le délégué au lieu de l’instance saslRpcHandler
• [SPARK-42996] [SC-131997][CONNECT][PS][ML] Créer et attribuer des tickets JIRA appropriés pour tous les tests ayant échoué.
• [SPARK-38469] [SC-131425][CORE] Utiliser la classe d’erreur dans org.apache.spark.shuffle
• [SPARK-43718] [SC-132014][SQL] Définir correctement la possibilité d’accepter la valeur Null pour les clés dans les jointures USING
• [SPARK-43502] [SC-131419][PYTHON][CONNECT] DataFrame.drop doit accepter la colonne vide
• [SPARK-43743] [SC-132038][SQL] Port HIVE-12188(DoAs ne fonctionne pas correctement dans HS2 sécurisé non kerberos)
• [SPARK-43598] [SC-131929][SQL] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_2400
• [SPARK-43138] [SC-131031][CORE] Corriger ClassNotFoundException pendant la migration
• [SPARK-43360] [SC-131526][SS][CONNECT] Client Scala StreamingQueryManager
• [SPARK-38467] [SC-131025][CORE] Utiliser la classe d’erreur dans org.apache.spark.memory
• [SPARK-43345] [SC-131790][SPARK-43346][SQL] Renommer les classes d’erreur LEGACY_ERROR_TEMP[0041|1206]
• [SPARK-42815] [SC-126450][SQL] L’élimination des sous-expressions prend en charge l’expression de raccourci
• [SPARK-38462] [SC-130449][CORE] Ajouter une classe d’erreur INTERNAL_ERROR_EXECUTOR
• [SPARK-43589] [SC-131798][SQL] Corriger cannotBroadcastTableOverMaxTableBytesError pour utiliser bytesToString
• [SPARK-43539] [SC-131830][SQL] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_0003
• [SPARK-43157] [SC-131688][SQL] Cloner le plan mis en cache InMemoryRelation pour empêcher le plan cloné de référencer les mêmes objets
• [SPARK-43309] [SC-129746][SPARK-38461][CORE] Étendre INTERNAL_ERROR avec des catégories et ajouter la classe d’erreur INTERNAL_ERROR_BROADCAST
• [SPARK-43281] [SC-131370][SQL] Corrigé : l’enregistreur simultané ne met pas à jour les métriques de fichier
• [SPARK-43383] [SC-130660][SQL] Ajouter des statistiques rowCount à LocalRelation
• [SPARK-43574] [SC-131739][PYTHON][SQL] Prise en charge de la définition de l’exécutable Python pour les API de fonction UDF et pandas dans workers pendant l’exécution (runtime)
• [SPARK-43569] [SC-131694][SQL] Supprimer la solution de contournement pour HADOOP-14067
• [SPARK-43183] [SC-128938][SS][13.x] Introduire un nouveau rappel « onQueryIdle » dans StreamingQueryListener
• [SPARK-43528] [SC-131531][SQL][PYTHON] Prise en charge des noms de champs dupliqués dans createDataFrame avec pandas DataFrame
• [SPARK-43548] [SC-131686][SS] Supprimer la solution de contournement pour HADOOP-16255
• [SPARK-43494] [SC-131272][CORE] Appeler directement replicate() pour HdfsDataOutputStreamBuilder au lieu de la réflexion dans SparkHadoopUtil#createFile
• [SPARK-43471] [SC-131063][CORE] Gérer les propriétés hadoopProperties et les metricsProperties manquantes
• [SPARK-42899] [SC-126456][SQL] Corriger DataFrame.to(schéma) pour gérer le cas où il existe un champ imbriqué non-nullable dans un champ pouvant accepter la valeur Null
• [SPARK-43302] [SC-129747][SQL] Faire de Python UDAF une fonction AggregateFunction
• [SPARK-43223] [SC-131270][Connect] Typed-agg, réduire les fonctions, RelationalGroupedDataset#as
• [SPARK-43482] [SC-131375][SS] Développer QueryTerminatedEvent pour contenir la classe d’erreur si elle existe dans l’exception
• [SPARK-43359] [SC-131463][SQL] La suppression depuis la table Hive doit générer « UNSUPPORTED_FEATURE. TABLE_OPERATION »
• [SPARK-43284] [SC-130313] Revenir aux chaînes encodées par URL
• [SPARK-43492] [SC-131227][SQL] Ajouter des alias de fonction de 3 arguments DATE_ADD et DATE_DIFF
• [SPARK-43473] [SC-131372][PYTHON] Prise en charge du type struct dans createDataFrame à partir du DataFrame pandas
• [SPARK-43386] [SC-131110][SQL] Améliorer la liste des colonnes/attributs suggérés dans UNRESOLVED_COLUMN.WITH_SUGGESTION la classe d’erreur
• [SPARK-43443] [SC-131332][SQL] Ajouter un point de référence pour l’inférence de type Timestamp en cas d’utilisation d’une valeur non valide
• [SPARK-43518] [SC-131420][SQL] Convertir _LEGACY_ERROR_TEMP_2029 en INTERNAL_ERROR
• [SPARK-42604] [SC-130648][CONNECT][PYTHON] Implémenter functions.typedlit
• [SPARK-42323] [ES-669513] Rétablir « [SC-123479][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_2332 »
• [SPARK-43357] [SC-130649][SQL] Lors du filtrage par type de date, la date doit être entre guillemets
• [SPARK-43410] [SC-130526][SQL] Améliorer la boucle vectorisée pour les valeurs skipValues Packed
• [SPARK-43441] [SC-130995][CORE] makeDotNode ne doit pas échouer lorsque DéterministicLevel est absent
• [SPARK-43324] [SC-130455][SQL] Gérer les commandes UPDATE pour les sources delta
• [SPARK-43272] [SC-131168][CORE] Appeler directement createFile au lieu de la réflexion
• [SPARK-43296] [13.x][SC-130627][CONNECT][PYTHON] Migrer les erreurs de session Spark Connect dans la classe d’erreur
• [SPARK-43405] [SC-130987][SQL] Supprimer la méthode getRowFormatSQL, inputRowFormatSQL, outputRowFormatSQL inutile
• [SPARK-43447] [SC-131017][R] Prendre en charge R 4.3.0
• [SPARK-43425] [SC-130981][SQL] Ajouter TimestampNTZType to ColumnarBatchRow
• [SPARK-41532] [SC-130523][CONNECT][CLIENT] Ajouter des vérifications pour les opérations impliquant plusieurs trames de données
• [SPARK-43262] [SC-129270][CONNECT][SS][PYTHON] Migrer les erreurs de flux structuré Spark Connect dans la classe d’erreur
• [SPARK-42992] [13.x][SC-129465][PYTHON] Présentation de PySparkRuntimeError
• [SPARK-43422] [SC-130982][SQL] Conserver les balises sur LogicalRelation avec sortie des métadonnées
• [SPARK-43390] [SC-130646][SQL] DSv2 permet à CTAS/RTAS de réserver la possibilité de valeur nulle du schéma
• [SPARK-43430] [SC-130989][CONNECT][PROTO] ExecutePlanRequest prend en charge les options de requêtes arbitraires.
• [SPARK-43313] [SC-130254][SQL] Ajout de valeurs DEFAULT de colonne manquantes pour les actions MERGE INSERT
• [SPARK-42842] [SC-130438][SQL] Fusionner la classe d’erreur _LEGACY_ERROR_TEMP_2006 dans REGEX_GROUP_INDEX
• [SPARK-43377] [SC-130405][SQL] Activer spark.sql.thriftServer.interruptOnCancel par défaut
• [SPARK-43292] [SC-130525][CORE][CONNECT] Passer ExecutorClassLoader au core module et simplifier Executor#addReplClassLoaderIfNeeded
• [SPARK-43040] [SC-130310][SQL] Améliorer la prise en charge du type TimestampNTZ dans la source de données JDBC
• [SPARK-43343] [SC-130629][SS] FileStreamSource doit désactiver une vérification glob de fichier supplémentaire lors de la création de DataSource
• [SPARK-43312] [SC-130294][PROTOBUF] Option de conversion de tous les champs au format JSON
• [SPARK-43404] [SC-130586][SS] Ignorer la réutilisation du fichier sst pour la même version du magasin d’état RocksDB afin d’éviter une erreur de non-correspondance d’ID
• [SPARK-43397] [SC-130614][CORE] Durée de mise hors service de l’exécuteur de journal dans la méthode executorLost
• [SPARK-42388] [SC-128568][SQL] Éviter les lectures de pied de page de parquet deux fois dans le lecteur vectorisé
• [SPARK-43306] [13.x][SC-130320][PYTHON] Migrer ValueError des types Spark SQL vers la classe d’erreur
• [SPARK-43337] [SC-130353][UI][3.4] Les icônes de flèche asc/desc pour trier la colonne ne s’affichent pas dans la colonne de table
• [SPARK-43279] [SC-130351][CORE] Nettoyage des membres inutilisés depuis SparkHadoopUtil
• [SPARK-43250] [SC-130147][SQL] Remplacer la classe d’erreur _LEGACY_ERROR_TEMP_2014 par une erreur interne
• [SPARK-43363] [SC-130299][SQL][PYTHON] Forcer l’appel astype au type de catégorie uniquement lorsque le type Arrow n’est pas fourni
• [SPARK-43261] [SC-130154][PYTHON] Migrer TypeError des types Spark SQL vers la classe d’erreur
• [SPARK-41971] [SC-130230][SQL][PYTHON] Ajouter une configuration pour la conversion pandas ; comment ce système doit gérer les types struct
• [SPARK-43381] [SC-130464][CONNECT] Rendre « transformStatCov » paresseux
• [SPARK-43362] [SC-130481][SQL] Gestion spéciale du type JSON pour le connecteur MySQL
• [SPARK-42843] [SC-130196][SQL] Mettre à jour la classe d’erreur _LEGACY_ERROR_TEMP_2007 vers REGEX_GROUP_INDEX
• [SPARK-42585] [SC-129968][CONNECT] Diffusion en continu des relations locales
• [SPARK-43181] [SC-130476][SQL] Afficher l’URL web de l’interface utilisateur dans l’interpréteur de commandes spark-sql
• [SPARK-43051] [SC-130194][CONNECT] Ajouter une option pour émettre des valeurs par défaut
• [SPARK-43204] [SC-129296][SQL] Aligner les affectations MERGE avec les attributs de table
• [SPARK-43348] [SC-130082][PYTHON] Prendre en charge Python 3.8 dans PyPy3
• [SPARK-42845] [SC-130078][SQL] Mettre à jour la classe d’erreur _LEGACY_ERROR_TEMP_2010 vers REGEX_GROUP_INDEX sur InternalError
• [SPARK-43211] [SC-128978][HIVE] Supprimer la prise en charge Hadoop2 dans IsolatedClientLoader

Environnement du système

• Système d’exploitation : Ubuntu 22.04.2 LTS
• Java : Zulu 8.70.0.23-CA-linux64
• Scala : 2.12.15
• Python : 3.10.12
• R: 4.2.2
• Delta Lake : 2.4.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 02/10/2023.

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)