Databricks Runtime 12.1 (EoS)

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 12.1 optimisé par Apache Spark 3.3.1.

Databricks a publié cette version en janvier 2023.

Améliorations et nouvelles fonctionnalités

• Fonctionnalités de table Delta Lake prises en charge pour la gestion des protocoles
• Les E/S prédictives pour les mises à jour sont en préversion publique
• Catalog Explorer est désormais disponible pour tous les personnages
• Prise en charge de plusieurs opérateurs avec état dans une seule requête de streaming
• La prise en charge des mémoires tampons de protocole est en préversion publique
• Prise en charge de l’authentification de registre de schémas confluent
• Prise en charge du partage de l’historique des tables avec les partages Delta Sharing
• Prise en charge de la diffusion en continu avec les partages Delta Sharing
• Version de table utilisant timestamp désormais prise en charge pour les tables Delta Sharing dans les catalogues
• Prise en charge de WHEN NOT MATCHED BY SOURCE pour MERGE INTO
• Collecte de statistiques optimisée pour CONVERT TO DELTA
• Prise en charge du catalogue Unity pour les tables sans écoute

Fonctionnalités de table Delta Lake prises en charge pour la gestion des protocoles

Azure Databricks a introduit la prise en charge des fonctionnalités de table Delta Lake, qui introduisent des indicateurs granulaires spécifiant les fonctionnalités prises en charge par une table donnée. Consultez Comment Azure Databricks gère-t-il la compatibilité des fonctionnalités Delta Lake ?.

Les E/S prédictives pour les mises à jour sont en préversion publique

Les E/S prédictives accélèrent désormais les opérations DELETE, MERGE et UPDATE pour les tables Delta avec des vecteurs de suppression activés sur le calcul compatible avec Photon. Consultez Qu’est-ce que les E/S prédictives ?.

Catalog Explorer est désormais disponible pour tous les personnages

Catalog Explorer est désormais disponible pour tous les personnages Azure Databricks lors de l’utilisation de Databricks Runtime 7.3 LTS et versions ultérieures.

Prise en charge de plusieurs opérateurs avec état dans une seule requête de streaming

Les utilisateurs peuvent désormais chaîner des opérateurs avec état avec le mode d’ajout dans la requête de streaming. Tous les opérateurs ne sont pas entièrement pris en charge. La jointure à l’intervalle de temps de flux à flux et flatMapGroupsWithState ne permettent pas à d’autres opérateurs avec état d’être chaînés.

La prise en charge des mémoires tampons de protocole est en préversion publique

Vous pouvez utiliser les fonctions from_protobuf et to_protobuf pour échanger des données entre des types binaires et struct. Consultez Tampons de protocole de lecture et d’écriture.

Prise en charge de l’authentification de registre de schémas confluent

L’intégration d’Azure Databricks à Registre de schémas confluent prend désormais en charge les adresses de registre de schémas externes avec l’authentification. Cette fonctionnalité est disponible pour les fonctions from_avro,to_avro, from_protobufet to_protobuf . Consultez Protobuf ou Avro.

Prise en charge du partage de l’historique des tables avec les partages Delta Sharing

Vous pouvez désormais partager une table avec un historique complet à l’aide de Delta Sharing, ce qui permet aux destinataires d’effectuer des requêtes de voyage dans le temps et d’interroger la table à l’aide de Spark Structured Streaming. WITH HISTORY est recommandé au lieu de CHANGE DATA FEED, bien que ce dernier continue d’être pris en charge. Consultez ALTER SHARE et Ajouter des tables à un partage.

Prise en charge de la diffusion en continu avec les partages Delta Sharing

Spark Structured Streaming fonctionne désormais avec le format deltasharing d’une table de Delta Sharing source qui a été partagée à l’aide de WITH HISTORY.

Version de table utilisant timestamp désormais prise en charge pour les tables Delta Sharing dans les catalogues

Vous pouvez maintenant utiliser la syntaxe TIMESTAMP AS OF SQL dans les instructions SELECTpour spécifier la version d’une table Delta Sharing montée dans un catalogue. Les tables doivent être partagées à l’aide de WITH HISTORY.

Prise en charge de WHEN NOT MATCHED BY SOURCE pour MERGE INTO

Vous pouvez maintenant ajouter des clausesWHEN NOT MATCHED BY SOURCE à MERGE INTO pour mettre à jour ou supprimer les lignes de la table choisie qui n’ont pas de correspondances dans la table source en fonction de la condition de fusion. La nouvelle clause est disponible dans SQL, Python, Scala et Java. Voir MERGE INTO.

Collecte de statistiques optimisée pour CONVERT TO DELTA

La collecte de statistiques pour l’opération CONVERT TO DELTA est désormais beaucoup plus rapide. Cela réduit le nombre de charges de travail qui peuvent utiliser NO STATISTICS pour plus d’efficacité.

Prise en charge du catalogue Unity pour les tables sans écoute

Cette fonctionnalité a été initialement publiée en préversion publique. Il est en disponibilité générale à compter du 25 octobre 2023.

Vous pouvez maintenant annuler la suppression d’une table managée ou externe dans un schéma existant dans les sept jours suivant la suppression. Consultez UNDROP TABLE et AFFICHER LES TABLES SUPPRIMÉES.

Mises à niveau de la bibliothèque

• Bibliothèques Python mises à niveau :
  • filelock de la version 3.8.0 vers la version 3.8.2
  • platformdirs de 2.5.4 vers 2.6.0
  • setuptools de 58.0.4 à 61.2.0
• Bibliothèques R mises à niveau :
• Bibliothèques Java mises à niveau :
  • io.delta.delta-sharing-spark_2.12 de la version 0.5.2 vers la version 0.6.2
  • org.apache.hive.hive-storage-api de 2.7.2 to 2.8.1
  • org.apache.parquet.parquet-column de la version 1.12.3-databricks-0001 vers la version 1.12.3-databricks-0002
  • org.apache.parquet.parquet-common de la version 1.12.3-databricks-0001 vers la version 1.12.3-databricks-0002
  • org.apache.parquet.parquet-encoding de la version 1.12.3-databricks-0001 vers la version 1.12.3-databricks-0002
  • org.apache.parquet.parquet-format-structures de la version 1.12.3-databricks-0001 vers la version 1.12.3-databricks-0002
  • org.apache.parquet.parquet-hadoop de la version 1.12.3-databricks-0001 vers la version 1.12.3-databricks-0002
  • org.apache.parquet.parquet-jackson de la version 1.12.3-databricks-0001 vers la version 1.12.3-databricks-0002
  • org.tukaani.xz de 1.8 à 1.9

Apache Spark

Databricks Runtime 12.1 comprend Apache Spark 3.3.1. Cette version inclut tous les correctifs et améliorations Spark figurant dans Databricks Runtime 12.0 (EoS) ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

• [SPARK-41405] [SC-119769][12.1.0] Rétablir « [SC-119411][SQL] Centraliser la logique de résolution de colonne » et « [SC-117170][SPARK-41338][SQL] Résoudre les références externes et les colonnes normales dans le même lot d’analyseurs »
• [SPARK-41405] [SC-119411][SQL] Centraliser la logique de résolution de colonne
• [SPARK-41859] [SC-119514][SQL] CreateHiveTableAsSelectCommand doit définir correctement l’indicateur de remplacement
• [SPARK-41659] [SC-119526][CONNECT][12.X] Activer doctests dans pyspark.sql.connect.readwriter
• [SPARK-41858] [SC-119427][SQL] Correction de la régression des performances du lecteur ORC en raison de la fonctionnalité de valeur DEFAULT
• [SPARK-41807] [SC-119399][CORE] Supprimer la classe d’erreur inexistante : UNSUPPORTED_FEATURE. DISTRIBUTE_BY
• [SPARK-41578] [12.x][SC-119273][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_2141
• [SPARK-41571] [SC-119362][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_2310
• [SPARK-41810] [SC-119373][CONNECT] Déduire des noms à partir d’une liste de dictionnaires dans SparkSession.createDataFrame
• [SPARK-40993] [SC-119504][SPARK-41705][CONNECT][12.X] Déplacer la documentation et le script Spark Connect vers la documentation dev/ et Python
• [SPARK-41534] [SC-119456][CONNECT][SQL][12.x] Configurer le module client initial pour Spark Connect
• [SPARK-41365] [SC-118498][UI][3.3] La page d’interface utilisateur de phases ne peut pas être chargée pour le proxy dans un environnement yarn spécifique
• [SPARK-41481] [SC-118150][CORE][SQL] Réutiliser INVALID_TYPED_LITERAL au lieu de _LEGACY_ERROR_TEMP_0020
• [SPARK-41049] [SC-119305][SQL] Revisiter la gestion des expressions avec état
• [SPARK-41726] [SC-119248][SQL] Supprimer OptimizedCreateHiveTableAsSelectCommand
• [SPARK-41271] [SC-118648][SC-118348][SQL] Prise en charge des requêtes SQL paramétrables par sql()
• [SPARK-41066] [SC-119344][CONNECT][PYTHON] Implémenter DataFrame.sampleBy et DataFrame.stat.sampleBy
• [SPARK-41407] [SC-119402][SC-119012][SQL][ALL TESTS] Extraction de l’écriture v1 dans WriteFiles
• [SPARK-41565] [SC-118868][SQL] Ajouter la classe d’erreur UNRESOLVED_ROUTINE
• [SPARK-41668] [SC-118925][SQL] La fonction DECODE retourne des résultats incorrects lors de la transmission de la valeur NULL
• [SPARK-41554] [SC-119274] correction de la modification de l’échelle décimale lorsque l’échelle a diminué de m...
• [SPARK-41065] [SC-119324][CONNECT][PYTHON] Implémenter DataFrame.freqItems et DataFrame.stat.freqItems
• [SPARK-41742] [SC-119404][SPARK-41745][CONNECT][12.X] Réactiver les tests de documents et ajouter l’alias de colonne manquant à count()
• [SPARK-41069] [SC-119310][CONNECT][PYTHON] Implémenter DataFrame.approxQuantile et DataFrame.stat.approxQuantile
• [SPARK-41809] [SC-119367][CONNECT][PYTHON] Rendre la fonction from_json prise en charge du schéma DataType
• [SPARK-41804] [SC-119382][SQL] Choisir la taille d’élément correcte dans InterpretedUnsafeProjection pour le tableau de types définis par l’utilisateur
• [SPARK-41786] [SC-119308][CONNECT][PYTHON] Dédupliquer les fonctions d’assistance
• [SPARK-41745] [SC-119378][SPARK-41789][12.X] Liste createDataFrame de lignes de prise en charge
• [SPARK-41344] [SC-119217][SQL] Rendre l’erreur plus claire lorsque la table est introuvable dans le catalogue SupportsCatalogOptions
• [SPARK-41803] [SC-119380][CONNECT][PYTHON] Ajout d’une fonction manquante log(arg1, arg2)
• [SPARK-41808] [SC-119356][CONNECT][PYTHON] Rendre les options de prise en charge des fonctions JSON
• [SPARK-41779] [SC-119275][SPARK-41771][CONNECT][PYTHON] Rendre __getitem__ le filtre de prise en charge et sélectionner
• [SPARK-41783] [SC-119288][SPARK-41770][CONNECT][PYTHON] Faire le support de la colonne op Aucun
• [SPARK-41440] [SC-119279][CONNECT][PYTHON] Éviter l’opérateur de cache pour l’exemple général.
• [SPARK-41785] [SC-119290][CONNECT][PYTHON] Implémenter GroupedData.mean
• [SPARK-41629] [SC-119276][CONNECT] Prise en charge des extensions de protocole dans la relation et l’expression
• [SPARK-41417] [SC-118000][CORE][SQL] Renommer en _LEGACY_ERROR_TEMP_0019INVALID_TYPED_LITERAL
• [SPARK-41533] [SC-119342][CONNECT][12.X] Gestion correcte des erreurs pour le serveur/le client Spark Connect
• [SPARK-41292] [SC-119357][CONNECT][12.X] Fenêtre de prise en charge dans l’espace de noms pyspark.sql.window
• [SPARK-41493] [SC-119339][CONNECT][PYTHON] Rendre les options de prise en charge des fonctions csv
• [SPARK-39591] [SC-118675][SS] Suivi de la progression asynchrone
• [SPARK-41767] [SC-119337][CONNECT][PYTHON][12.X] Implémenter Column.{withField, dropFields}
• [SPARK-41068] [SC-119268][CONNECT][PYTHON] Implémenter DataFrame.stat.corr
• [SPARK-41655] [SC-119323][CONNECT][12.X] Activer doctests dans pyspark.sql.connect.column
• [SPARK-41738] [SC-119170][CONNECT] Mixer ClientId dans le cache SparkSession
• [SPARK-41354] [SC-119194][CONNECT] Ajouter RepartitionByExpression au proto
• [SPARK-41784] [SC-119289][CONNECT][PYTHON] Ajout de __rmod__ manquant dans colonne
• [SPARK-41778] [SC-119262][SQL] Ajouter un alias « reduce » à ArrayAggregate
• [SPARK-41067] [SC-119171][CONNECT][PYTHON] Implémenter DataFrame.stat.cov
• [SPARK-41764] [SC-119216][CONNECT][PYTHON] Rendre le nom de l’opération de chaîne interne cohérent avec FunctionRegistry
• [SPARK-41734] [SC-119160][CONNECT] Ajouter un message parent pour catalogue
• [SPARK-41742] [SC-119263] Prendre en charge df.groupBy().agg({“*”:”count”})
• [SPARK-41761] [SC-119213][CONNECT][PYTHON] Correction des opérations arithmétiques : __neg__, __pow__, , __rpow__
• [SPARK-41062] [SC-118182][SQL] Renommer en UNSUPPORTED_CORRELATED_REFERENCECORRELATED_REFERENCE
• [SPARK-41751] [SC-119211][CONNECT][PYTHON] Correctif Column.{isNull, isNotNull, eqNullSafe}
• [SPARK-41728] [SC-119164][CONNECT][PYTHON][12.X] Implémenter la fonctionunwrap_udt
• [SPARK-41333] [SC-119195][SPARK-41737] Implémenter GroupedData.{min, max, avg, sum}
• [SPARK-41751] [SC-119206][CONNECT][PYTHON] Correctif Column.{bitwiseAND, bitwiseOR, bitwiseXOR}
• [SPARK-41631] [SC-101081][SQL] Prise en charge de la résolution d’alias de colonne latérale implicite sur l’agrégation
• [SPARK-41529] [SC-119207][CONNECT][12.X] Implémenter SparkSession.stop
• [SPARK-41729] [SC-119205][CORE][SQL][12.X] Renommer_LEGACY_ERROR_TEMP_0011 en UNSUPPORTED_FEATURE.COMBINATION_QUERY_RESULT_CLAUSES
• [SPARK-41717] [SC-119078][CONNECT][12.X] Dédupliquer l’impression et la repr_html sur LogicalPlan
• [SPARK-41740] [SC-119169][CONNECT][PYTHON] Implémenter Column.name
• [SPARK-41733] [SC-119163][SQL][SS] Appliquer l’élagage basé sur un modèle d’arborescence pour la règle ResolveWindowTime
• [SPARK-41732] [SC-119157][SQL][SS] Appliquer la taille basée sur un modèle d’arborescence pour la règle SessionWindowing
• [SPARK-41498] [SC-119018] Propager des métadonnées via Union
• [SPARK-41731] [SC-119166][CONNECT][PYTHON][12.X] Implémenter l’accesseur de colonne
• [SPARK-41736] [SC-119161][CONNECT][PYTHON] pyspark_types_to_proto_types doit prendre en charge ArrayType
• [SPARK-41473] [SC-119092][CONNECT][PYTHON] Implémenter la fonctionformat_number
• [SPARK-41707] [SC-119141][CONNECT][12.X] Implémenter l’API catalogue dans Spark Connect
• [SPARK-41710] [SC-119062][CONNECT][PYTHON] Implémenter Column.between
• [SPARK-41235] [SC-119088][SQL][PYTHON]Fonction d’ordre élevé : implémentation array_compact
• [SPARK-41518] [SC-118453][SQL] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_2422
• [SPARK-41723] [SC-119091][CONNECT][PYTHON] Implémenter la fonctionsequence
• [SPARK-41703] [SC-119060][CONNECT][PYTHON] Combiner NullType et typed_null dans Literal
• [SPARK-41722] [SC-119090][CONNECT][PYTHON] Implémenter 3 fonctions de fenêtre de temps manquantes
• [SPARK-41503] [SC-119043][CONNECT][PYTHON] Implémenter des fonctions de transformation de partition
• [SPARK-41413] [SC-118968][SQL] Éviter la lecture aléatoire dans Storage-Partitioned Join lorsque les clés de partition ne correspondent pas, mais que les expressions de jointure sont compatibles
• [SPARK-41700] [SC-119046][CONNECT][PYTHON] Supprimer FunctionBuilder
• [SPARK-41706] [SC-119094][CONNECT][PYTHON] pyspark_types_to_proto_types doit prendre en charge MapType
• [SPARK-41702] [SC-119049][CONNECT][PYTHON] Ajouter des opérations de colonne non valides
• [SPARK-41660] [SC-118866][SQL] Propager uniquement les colonnes de métadonnées si elles sont utilisées
• [SPARK-41637] [SC-119003][SQL] ORDER BY ALL
• [SPARK-41513] [SC-118945][SQL] Implémenter un accumulateur pour collecter les métriques du nombre de lignes par mappeur
• [SPARK-41647] [SC-119064][CONNECT][12.X] Dédupliquer les docstrings dans pyspark.sql.connect.functions
• [SPARK-41701] [SC-119048][CONNECT][PYTHON] Prise en charge des opérations de colonne decimal
• [SPARK-41383] [SC-119015][SPARK-41692][SPARK-41693] Implémenter rollupet cubepivot
• [SPARK-41635] [SC-118944][SQL] GROUP BY ALL
• [SPARK-41645] [SC-119057][CONNECT][12.X] Dédupliquer les docstrings dans pyspark.sql.connect.dataframe
• [SPARK-41688] [SC-118951][CONNECT][PYTHON] Déplacer des expressions vers expressions.py
• [SPARK-41687] [SC-118949][CONNECT] Dédupliquer les docstrings dans pyspark.sql.connect.group
• [SPARK-41649] [SC-118950][CONNECT] Dédupliquer les docstrings dans pyspark.sql.connect.window
• [SPARK-41681] [SC-118939][CONNECT] Éliminer GroupdData de group.py
• [SPARK-41292] [SC-119038][SPARK-41640][SPARK-41641][CONNECT][PYTHON][12.X] Implémenter des fonctionsWindow
• [SPARK-41675] [SC-119031][SC-118934][CONNECT][PYTHON][12.X] Prise en charge de l’opération Make Column datetime
• [SPARK-41672] [SC-118929][CONNECT][PYTHON] Activer les fonctions dépréciées
• [SPARK-41673] [SC-118932][CONNECT][PYTHON] Implémenter Column.astype
• [SPARK-41364] [SC-118865][CONNECT][PYTHON] Implémenter la fonctionbroadcast
• [SPARK-41648] [SC-118914][CONNECT][12.X] Dédupliquer les docstrings dans pyspark.sql.connect.readwriter
• [SPARK-41646] [SC-118915][CONNECT][12.X] Dédupliquer les docstrings dans pyspark.sql.connect.session
• [SPARK-41643] [SC-118862][CONNECT][12.X] Dédupliquer les docstrings dans pyspark.sql.connect.column
• [SPARK-41663] [SC-118936][CONNECT][PYTHON][12.X] Implémenter le reste des fonctions Lambda
• [SPARK-41441] [SC-118557][SQL] Prise en charge de la génération sans sortie enfant requise vers les références externes de l'hôte
• [SPARK-41669] [SC-118923][SQL] Taille précoce dans canCollapseExpressions
• [SPARK-41639] [SC-118927][SQL][PROTOBUF] : Supprimer ScalaReflectionLock de SchemaConverters
• [SPARK-41464] [SC-118861][CONNECT][PYTHON] Implémenter DataFrame.to
• [SPARK-41434] [SC-118857][CONNECT][PYTHON] Implémentation initiale LambdaFunction
• [SPARK-41539] [SC-118802][SQL] Remappage des statistiques et des contraintes par rapport à la sortie dans le plan logique pour LogicalRDD
• [SPARK-41396] [SC-118786][SQL][PROTOBUF] Prise en charge des champs oneOf et vérifications de récursivité
• [SPARK-41528] [SC-118769][CONNECT][12.X] Fusionner l’espace de noms de Spark Connect et de l’API PySpark
• [SPARK-41568] [SC-118715][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_1236
• [SPARK-41440] [SC-118788][CONNECT][PYTHON] Implémenter DataFrame.randomSplit
• [SPARK-41583] [SC-118718][SC-118642][CONNECT][PROTOBUF] Ajouter Spark Connect et protobuf dans setup.py avec spécification de dépendances
• [SPARK-27561] [SC-101081][12.x][SQL] Prise en charge de la résolution d’alias de colonne latérale implicite sur Project
• [SPARK-41535] [SC-118645][SQL] Définir la valeur null correctement pour les champs d’intervalle de calendrier dans InterpretedUnsafeProjection et InterpretedMutableProjection
• [SPARK-40687] [SC-118439][SQL] Prise en charge de la fonction intégrée de masquage des données 'mask'
• [SPARK-41520] [SC-118440][SQL] Fractionner AND_OR TreePattern pour séparer les treePatterns AND et OR
• [SPARK-41349] [SC-118668][CONNECT][PYTHON] Implémenter DataFrame.hint
• [SPARK-41546] [SC-118541][CONNECT][PYTHON] pyspark_types_to_proto_types doit prendre en charge StructType.
• [SPARK-41334] [SC-118549][CONNECT][PYTHON] Déplacer le proto SortOrderdes relations vers les expressions
• [SPARK-41387] [SC-118450][SS] Affirmer le décalage de fin actuel de la source de données Kafka pour Trigger.AvailableNow
• [SPARK-41508] [SC-118445][CORE][SQL] Renommer _LEGACY_ERROR_TEMP_1180 enUNEXPECTED_INPUT_TYPE et supprimer _LEGACY_ERROR_TEMP_1179
• [SPARK-41319] [SC-118441][CONNECT][PYTHON] Implémenter la colonne. {when, otherwise} et fonction when avec UnresolvedFunction
• [SPARK-41541] [SC-118460][SQL] Correction de l’appel à une méthode enfant incorrecte dans SQLShuffleWriteMetricsReporter.decRecordsWritten()
• [SPARK-41453] [SC-118458][CONNECT][PYTHON] Implémenter DataFrame.subtract
• [SPARK-41248] [SC-118436][SC-118303][SQL] Ajout de « spark.sql.json.enablePartialResults » pour activer/désactiver les résultats partiels JSON
• [SPARK-41437] Rétablir « [SC-117601][SQL] Ne pas optimiser la requête d’entrée deux fois pour le secours en écriture v1 »
• [SPARK-41472] [SC-118352][CONNECT][PYTHON] Implémenter le reste des fonctions string/binary
• [SPARK-41526] [SC-118355][CONNECT][PYTHON] Implémenter Column.isin
• [SPARK-32170] [SC-118384] [CORE] Améliorer la spéculation par le biais des métriques de tâche d’étape.
• [SPARK-41524] [SC-118399][SS] Différencier SQLConf et extraOptions dans StateStoreConf pour son utilisation dans RocksDBConf
• [SPARK-41465] [SC-118381][SQL] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_1235
• [SPARK-41511] [SC-118365][SQL] LongToUnsafeRowMap prise en charge ignoresDuplicatedKey
• [SPARK-41409] [SC-118302][CORE][SQL] Renommer_LEGACY_ERROR_TEMP_1043 en WRONG_NUM_ARGS.WITHOUT_SUGGESTION
• [SPARK-41438] [SC-118344][CONNECT][PYTHON] Implémenter DataFrame.colRegex
• [SPARK-41437] [SC-117601][SQL] N’optimisez pas la requête d’entrée deux fois pour le secours en écriture v1
• [SPARK-41314] [SC-117172][SQL] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_1094
• [SPARK-41443] [SC-118004][SQL] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_1061
• [SPARK-41506] [SC-118241][CONNECT][PYTHON] Refactoriser LiteralExpression pour prendre en charge DataType
• [SPARK-41448] [SC-118046] Créer des ID de travail MR cohérents dans FileBatchWriter et FileFormatWriter
• [SPARK-41456] [SC-117970][SQL] Améliorer les performances de try_cast
• [SPARK-41495] [SC-118125][CONNECT][PYTHON] Implémenter des fonctionscollection : P~Z
• [SPARK-41478] [SC-118167][SQL] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_1234
• [SPARK-41406] [SC-118161][SQL] Refactoriser le message d’erreur pour NUM_COLUMNS_MISMATCH pour le rendre plus générique
• [SPARK-41404] [SC-118016][SQL] Refactoriser ColumnVectorUtils#toBatch pour rendre le test ColumnarBatchSuite#testRandomRowsplus primitif
• [SPARK-41468] [SC-118044][SQL] Correction de la gestion de PlanExpression dans EquivalentExpressions
• [SPARK-40775] [SC-118045][SQL] Correction des entrées de description en double pour les analyses de fichiers V2
• [SPARK-41492] [SC-118042][CONNECT][PYTHON] Implémenter des fonctions MISC
• [SPARK-41459] [SC-118005][SQL] Correction de la sortie du journal des opérations du serveur thrift vide
• [SPARK-41395] [SC-117899][SQL] InterpretedMutableProjection doit utiliser setDecimal pour définir des valeurs Null pour les décimales dans une ligne non sécurisée
• [SPARK-41376] [SC-117840][CORE][3.3] Correction de la logique de vérification Netty preferDirectBufs au démarrage de l’exécuteur
• [SPARK-41484] [SC-118159][SC-118036][CONNECT][PYTHON][12.x] Implémenter collection des fonctions : E~M
• [SPARK-41389] [SC-117426][CORE][SQL] Réutilisation WRONG_NUM_ARGS au lieu de _LEGACY_ERROR_TEMP_1044
• [SPARK-41462] [SC-117920][SQL] Les types de date et d’horodatage peuvent être convertis en TimestampNTZ
• [SPARK-41435] [SC-117810][SQL] Modification pour appeler invalidFunctionArgumentsError pour curdate() quand expressions n’est pas vide
• [SPARK-41187] [SC-118030][CORE] LiveExecutor MemoryLeak dans AppStatusListener quand ExecutorLost se produit
• [SPARK-41360] [SC-118083][CORE] Éviter la réinscription de BlockManager si l’exécuteur a été perdu
• [SPARK-41378] [SC-117686][SQL] Statistiques de colonne de prise en charge dans DS v2
• [SPARK-41402] [SC-117910][SQL][CONNECT][12.X] Remplacer prettyName de StringDecode
• [SPARK-41414] [SC-118041][CONNECT][PYTHON][12.x] Implémenter des fonctions de date/timestamp
• [SPARK-41329] [SC-117975][CONNECT] Résoudre les importations circulaires dans Spark Connect
• [SPARK-41477] [SC-118025][CONNECT][PYTHON] Déduire correctement le type de données des entiers littéraux
• [SPARK-41446] [SC-118024][CONNECT][PYTHON][12.x] Prise en charge du schéma createDataFrameet d’autres types de jeux de données d’entrée
• [SPARK-41475] [SC-117997][CONNECT] Correction de l’erreur de commande lint-scala et de la faute de frappe
• [SPARK-38277] [SC-117799][SS] Effacer le lot d’écriture après la validation du magasin d’états RocksDB
• [SPARK-41375] [SC-117801][SS] Éviter les derniers KafkaSourceOffset vides
• [SPARK-41412] [SC-118015][CONNECT] Implémenter Column.cast
• [SPARK-41439] [SC-117893][CONNECT][PYTHON] Implémenter DataFrame.melt et DataFrame.unpivot
• [SPARK-41399] [SC-118007][SC-117474][CONNECT] Refactoriser les tests liés à la colonne pour test_connect_column
• [SPARK-41351] [SC-117957][SC-117412][CONNECT][12.x] La colonne doit prendre en charge l’opérateur !=
• [SPARK-40697] [SC-117806][SC-112787][SQL] Ajout d’un remplissage de caractères en lecture pour couvrir les fichiers de données externes
• [SPARK-41349][SC-117594][CONNECT][12.X] Implémenter DataFrame.hint
• [SPARK-41338] [SC-117170][SQL] Résoudre les références externes et les colonnes normales dans le même lot d’analyseurs
• [SPARK-41436] [SC-117805][CONNECT][PYTHON] Implémenter des fonctionscollection : A~C
• [SPARK-41445] [SC-117802][CONNECT] Implémenter DataFrameReader.parquet
• [SPARK-41452] [SC-117865][SQL] to_char doit retourner null lorsque le format est null
• [SPARK-41444] [SC-117796][CONNECT] Prise en charge de read.json()
• [SPARK-41398] [SC-117508][SQL] Assouplir les contraintes sur Storage-Partitioned Join lorsque les clés de partition après le filtrage de l’exécution ne correspondent pas
• [SPARK-41228] [SC-117169][SQL] Renommer & Améliorer le message d’erreur pour COLUMN_NOT_IN_GROUP_BY_CLAUSE.
• [SPARK-41381] [SC-117593][CONNECT][PYTHON] Implémenter les fonctionscount_distinct et sum_distinct
• [SPARK-41433] [SC-117596][CONNECT] Rendre max Arrow BatchSize configurable
• [SPARK-41397] [SC-117590][CONNECT][PYTHON] Implémenter une partie des fonctions string/binary
• [SPARK-41382] [SC-117588][CONNECT][PYTHON] Implémenter la fonctionproduct
• [SPARK-41403] [SC-117595][CONNECT][PYTHON] Implémenter DataFrame.describe
• [SPARK-41366] [SC-117580][CONNECT] DF.groupby.agg() doit être compatible
• [SPARK-41369] [SC-117584][CONNECT] Ajouter la connexion commune au fichier jar ombré des serveurs
• [SPARK-41411] [SC-117562][SS] Correctif de bogue de prise en charge de l’opérateur multi-état
• [SPARK-41176] [SC-116630][SQL] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_1042
• [SPARK-41380] [SC-117476][CONNECT][PYTHON][12.X] Implémenter des fonctions d’agrégation
• [SPARK-41363] [SC-117470][CONNECT][PYTHON][12.X] Implémenter des fonctions normales
• [SPARK-41305] [SC-117411][CONNECT] Amélioration de la documentation pour le proto de commande
• [SPARK-41372] [SC-117427][CONNECT][PYTHON] Implémenter DataFrame TempView
• [SPARK-41379] [SC-117420][SS][PYTHON] Fournir une session Spark cloné dans DataFrame dans la fonction utilisateur pour le récepteur foreachBatch dans PySpark
• [SPARK-41373] [SC-117405][SQL][ERROR] Renommer CAST_WITH_FUN_SUGGESTION en CAST_WITH_FUNC_SUGGESTION
• [SPARK-41358] [SC-117417][SQL] Refactoriser la méthode ColumnVectorUtils#populate à utiliser PhysicalDataType au lieu de DataType
• [SPARK-41355] [SC-117423][SQL] Problème de validation de nom de table hive de contournement
• [SPARK-41390] [SC-117429][SQL] Mettre à jour le script utilisé pour générer la fonctionregister dans UDFRegistration
• [SPARK-41206] [SC-117233][SC-116381][SQL] Renommer la classe d’erreur _LEGACY_ERROR_TEMP_1233en COLUMN_ALREADY_EXISTS
• [SPARK-41357] [SC-117310][CONNECT][PYTHON][12.X] Implémenter des fonctions mathématiques
• [SPARK-40970] [SC-117308][CONNECT][PYTHON] Liste de prise en charge[Colonne] pour l’argument on de Join
• [SPARK-41345] [SC-117178][CONNECT] Ajouter un indicateur à Connect Proto
• [SPARK-41226] [SC-117194][SQL][12.x] Refactoriser les types Spark en introduisant des types physiques
• [SPARK-41317] [SC-116902][CONNECT][PYTHON][12.X] Ajout de la prise en charge de base pour DataFrameWriter
• [SPARK-41347] [SC-117173][CONNECT] Ajout du cast au proto d’expression
• [SPARK-41323] [SC-117128][SQL] Prise en charge current_schema
• [SPARK-41339] [SC-117171][SQL] Fermer et recréer le lot d’écriture RocksDB au lieu de simplement effacer
• [SPARK-41227] [SC-117165][CONNECT][PYTHON] Implémenter la jointure croisée DataFrame
• [SPARK-41346] [SC-117176][CONNECT][PYTHON] Implémenter les fonctionsasc et desc
• [SPARK-41343] [SC-117166][CONNECT] Déplacer l’analyse FunctionName côté serveur
• [SPARK-41321] [SC-117163][CONNECT] Prise en charge du champ cible pour UnresolvedStar
• [SPARK-41237] [SC-117167][SQL] Réutiliser la classe d’erreurUNSUPPORTED_DATATYPE pour _LEGACY_ERROR_TEMP_0030
• [SPARK-41309] [SC-116916][SQL] Réutilisation INVALID_SCHEMA.NON_STRING_LITERAL au lieu de _LEGACY_ERROR_TEMP_1093
• [SPARK-41276] [SC-117136][SQL][ML][MLLIB][PROTOBUF][PYTHON][R][SS][AVRO] Optimiser l’utilisation du constructeur de StructType
• [SPARK-41335] [SC-117135][CONNECT][PYTHON] Prise en charge de IsNull et IsNotNull dans la colonne
• [SPARK-41332] [SC-117131][CONNECT][PYTHON] Correction nullOrdering dans SortOrder
• [SPARK-41325] [SC-117132][CONNECT][12.X] Correction d’avg() manquant pour GroupBy sur DF
• [SPARK-41327] [SC-117137][CORE] Correction SparkStatusTracker.getExecutorInfos par le commutateur On/OffHeapStorageMemory info
• [SPARK-41315] [SC-117129][CONNECT][PYTHON] Implémenter DataFrame.replace et DataFrame.na.replace
• [SPARK-41328] [SC-117125][CONNECT][PYTHON] Ajouter une API logique et une API de chaîne à column
• [SPARK-41331] [SC-117127][CONNECT][PYTHON] Ajouter orderBy et drop_duplicates
• [SPARK-40987] [SC-117124][CORE] BlockManager#removeBlockInternal doit s’assurer que le verrou est déverrouillé correctement
• [SPARK-41268] [SC-117102][SC-116970][CONNECT][PYTHON] Refactoriser « Column » pour la compatibilité des API
• [SPARK-41312] [SC-116881][CONNECT][PYTHON][12.X] Implémenter DataFrame.withColumnRenamed
• [SPARK-41221] [SC-116607][SQL] Ajouter la classe d’erreur INVALID_FORMAT
• [SPARK-41272] [SC-116742][SQL] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_2019
• [SPARK-41180] [SC-116760][SQL] Réutilisation INVALID_SCHEMA au lieu de _LEGACY_ERROR_TEMP_1227
• [SPARK-41260] [SC-116880][PYTHON][SS][12.X] Cast d’instances NumPy en types primitifs Python dans la mise à jour GroupState
• [SPARK-41174] [SC-116609][CORE][SQL] Propager une classe d’erreur aux utilisateurs pour format de to_binary() non valide
• [SPARK-41264] [SC-116971][CONNECT][PYTHON] Prise en charge d’autres types de données par littéral
• [SPARK-41326] [SC-116972] [CONNECT] Correction de l’entrée Dédupliquer manquant
• [SPARK-41316] [SC-116900][SQL] Activer la récursivité de la fin dans la mesure du possible
• [SPARK-41297] [SC-116931] [CONNECT] [PYTHON] Prise en charge des expressions de chaîne dans le filtre.
• [SPARK-41256] [SC-116932][SC-116883][CONNECT] Implémenter DataFrame.withColumn(s)
• [SPARK-41182] [SC-116632][SQL] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_1102
• [SPARK-41181] [SC-116680][SQL] Migrer les erreurs d’options de mappage vers des classes d’erreur
• [SPARK-40940] [SC-115993][12.x] Supprimer les vérificateurs d’opérateurs à plusieurs états pour les requêtes de streaming.
• [SPARK-41310] [SC-116885][CONNECT][PYTHON] Implémenter DataFrame.toDF
• [SPARK-41179] [SC-116631][SQL] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_1092
• [SPARK-41003] [SC-116741][SQL] BHJ LeftAnti ne met pas à jour numOutputRows lorsque codegen est désactivé
• [SPARK-41148] [SC-116878][CONNECT][PYTHON] Implémenter DataFrame.dropna et DataFrame.na.drop
• [SPARK-41217] [SC-116380][SQL] Ajouter la classe d’erreur FAILED_FUNCTION_CALL
• [SPARK-41308] [SC-116875][CONNECT][PYTHON] Améliorer DataFrame.count()
• [SPARK-41301] [SC-116786] [CONNECT] Homogénéiser le comportement pour SparkSession.range()
• [SPARK-41306] [SC-116860][CONNECT] Amélioration de la documentation proto d’expression connect
• [SPARK-41280] [SC-116733][CONNECT] Implémenter DataFrame.tail
• [SPARK-41300] [SC-116751] [CONNECT] Le schéma non défini est interprété comme un schéma
• [SPARK-41255] [SC-116730][SC-116695] [CONNECT] Renommer RemoteSparkSession
• [SPARK-41250] [SC-116788][SC-116633][CONNECT][PYTHON] DataFrame. toPandas ne doit pas retourner le dataframe pandas facultatif
• [SPARK-41291] [SC-116738][CONNECT][PYTHON] DataFrame.explain doit imprimer et renvoyer Aucun
• [SPARK-41278] [SC-116732][CONNECT] Nettoyer l’attribut QualifiedAttribute inutilisé dans Expression.proto
• [SPARK-41097] [SC-116653][CORE][SQL][SS][PROTOBUF] Suppression de la base de conversion de collection redondante sur le code Scala 2.13
• [SPARK-41261] [SC-116718][PYTHON][SS] Correction du problème pour applyInPandasWithState lorsque les colonnes de clés de regroupement ne sont pas placées dans l’ordre depuis le plus tôt
• [SPARK-40872] [SC-116717][3.3] Secours au bloc de lecture aléatoire d’origine lorsqu’un bloc aléatoire fusionné par push est de taille nulle
• [SPARK-41114] [SC-116628][CONNECT] Prise en charge des données locales pour LocalRelation
• [SPARK-41216] [SC-116678][CONNECT][PYTHON] Implémenter DataFrame.{isLocal, isStreaming, printSchema, inputFiles}
• [SPARK-41238] [SC-116670][CONNECT][PYTHON] Prise en charge d’autres types de données intégrés
• [SPARK-41230] [SC-116674][CONNECT][PYTHON] Supprimer str du type d’expression d’agrégation
• [SPARK-41224] [SC-116652][SPARK-41165][SPARK-41184][CONNECT] Implémentation optimisée de la collecte basée sur les flèches pour diffuser en continu du serveur au client
• [SPARK-41222] [SC-116625][CONNECT][PYTHON] Unifier les définitions de frappe
• [SPARK-41225] [SC-116623] [CONNECT] [PYTHON] Désactiver les fonctions non prises en charge.
• [SPARK-41201] [SC-116526][CONNECT][PYTHON] Implémenter DataFrame.SelectExpr dans le client Python
• [SPARK-41203] [SC-116258] [CONNECT] Prise en charge de Dataframe.tansform dans le client Python.
• [SPARK-41213] [SC-116375][CONNECT][PYTHON] Implémenter DataFrame.__repr__ et DataFrame.dtypes
• [SPARK-41169] [SC-116378][CONNECT][PYTHON] Implémenter DataFrame.drop
• [SPARK-41172] [SC-116245][SQL] Migrer l’erreur de référence ambiguë vers une classe d’erreur
• [SPARK-41122] [SC-116141][CONNECT] Expliquer que l’API peut prendre en charge différents modes
• [SPARK-41209] [SC-116584][SC-116376][PYTHON] Amélioration de l’inférence de type PySpark dans la méthode _merge_type
• [SPARK-41196] [SC-116555][SC-116179] [CONNECT] Homogénéiser la version protobuf sur le serveur Spark Connect pour utiliser la même version principale.
• [SPARK-35531] [SC-116409][SQL] Mettre à jour les statistiques des tables Hive sans conversion inutile
• [SPARK-41154] [SC-116289][SQL] Mise en cache de relation incorrecte pour les requêtes avec spécification de voyage dans le temps
• [SPARK-41212] [SC-116554][SC-116389][CONNECT][PYTHON] Implémenter DataFrame.isEmpty
• [SPARK-41135] [SC-116400][SQL] Renommer UNSUPPORTED_EMPTY_LOCATIONen INVALID_EMPTY_LOCATION
• [SPARK-41183] [SC-116265][SQL] Ajouter une API d’extension pour effectuer la normalisation du plan pour la mise en cache
• [SPARK-41054] [SC-116447][UI][CORE] Prise en charge de RocksDB en tant que KVStore dans l’interface utilisateur dynamique
• [SPARK-38550] [SC-115223]Rétablir « [SQL][CORE] Utiliser un magasin sur disque pour enregistrer plus d’informations de débogage pour l’interface utilisateur dynamique »
• [SPARK-41173] [SC-116185][SQL] Sortir require() des constructeurs d’expressions de chaîne
• [SPARK-41188] [SC-116242][CORE][ML] Définir executorEnv OMP_NUM_THREADS sur spark.task.cpus par défaut pour les processus JVM de l’exécuteur spark
• [SPARK-41130] [SC-116155][SQL] Renommer OUT_OF_DECIMAL_TYPE_RANGEen NUMERIC_OUT_OF_SUPPORTED_RANGE
• [SPARK-41175] [SC-116238][SQL] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_1078
• [SPARK-41106] [SC-116073][SQL] Réduire la conversion de collection lors de la création d’AttributeMap
• [SPARK-41139] [SC-115983][SQL] Amélioration de la classe d’erreur : PYTHON_UDF_IN_ON_CLAUSE
• [SPARK-40657] [SC-115997][PROTOBUF] Exiger l’ombrage pour le fichier jar de classe Java, améliorer la gestion des erreurs
• [SPARK-40999] [SC-116168] Propagation d’indicateurs vers des sous-requêtes
• [SPARK-41017] [SC-116054][SQL] Prise en charge de l’élagage de colonnes avec plusieurs filtres non déterministes
• [SPARK-40834] [SC-114773][SQL] Utiliser SparkListenerSQLExecutionEnd pour suivre l’état final de SQL dans l’interface utilisateur
• [SPARK-41118] [SC-116027][SQL] to_number/try_to_number doit retourner null lorsque le format est null
• [SPARK-39799] [SC-115984][SQL] DataSourceV2 : Afficher l’interface du catalogue
• [SPARK-40665] [SC-116210][SC-112300][CONNECT] Éviter d’incorporer Spark Connect dans la version binaire Apache Spark
• [SPARK-41048] [SC-116043][SQL] Améliorer le partitionnement et le classement de sortie avec le cache AQE
• [SPARK-41198] [SC-116256][SS] Correction des métriques dans la requête de streaming ayant une source de streaming CTE et DSv1
• [SPARK-41199] [SC-116244][SS] Correction du problème de métriques lorsque la source de streaming DSv1 et la source de streaming DSv2 sont co-utilisées
• [SPARK-40957] [SC-116261][SC-114706] Ajouter le cache de mémoire dans HDFSMetadataLog
• [SPARK-40940] Rétablir « [SC-115993] Supprimer les vérificateurs d’opérateurs à plusieurs états pour les requêtes de diffusion en continu ».
• [SPARK-41090] [SC-116040][SQL] Lever une exception pour db_name.view_name lors de la création d’une vue temporaire par l’API de jeu de données
• [SPARK-41133] [SC-116085][SQL] Intégration UNSCALED_VALUE_TOO_LARGE_FOR_PRECISION à NUMERIC_VALUE_OUT_OF_RANGE
• [SPARK-40557] [SC-116182][SC-111442][CONNECT] Code Dump 9 Commits
• [SPARK-40448] [SC-114447][SC-111314][CONNECT] Spark Connect construit en tant que plugin de pilote avec des dépendances ombrées
• [SPARK-41096] [SC-115812][SQL] Prise en charge de la lecture du type FIXED_LEN_BYTE_ARRAY parquet
• [SPARK-41140] [SC-115879][SQL] Renommez la classe d’erreur _LEGACY_ERROR_TEMP_2440en INVALID_WHERE_CONDITION
• [SPARK-40918] [SC-114438][SQL] Incompatibilité entre FileSourceScanExec et Orc et ParquetFileFormat lors de la production d’une sortie en colonnes
• [SPARK-41155] [SC-115991][SQL] Ajouter un message d’erreur à SchemaColumnConvertNotSupportedException
• [SPARK-40940] [SC-115993] Supprimer les vérificateurs d’opérateurs à plusieurs états pour les requêtes de streaming.
• [SPARK-41098] [SC-115790][SQL] Renommer GROUP_BY_POS_REFERS_AGG_EXPRen GROUP_BY_POS_AGGREGATE
• [SPARK-40755] [SC-115912][SQL] Migrer les échecs de vérification de type de la mise en forme des nombres vers les classes d’erreur
• [SPARK-41059] [SC-115658][SQL] Renommer_LEGACY_ERROR_TEMP_2420 en NESTED_AGGREGATE_FUNCTION
• [SPARK-41044] [SC-115662][SQL] Convertir DATATYPE_MISMATCH. UNSPECIFIED_FRAME à INTERNAL_ERROR
• [SPARK-40973] [SC-115132][SQL] Renommer_LEGACY_ERROR_TEMP_0055 en UNCLOSED_BRACKETED_COMMENT

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 12.1.

Environnement du système

• Système d’exploitation : Ubuntu 20.04.5 LTS
• Java: Zulu 8.64.0.19-CA-linux64
• Scala : 2.12.14
• Python : 3.9.5
• R: 4.2.2
• Delta Lake: 2.2.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 11/11/2022.

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)