Databricks Runtime 12.2 LTS

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 12.2 LTS, propulsé par Apache Spark 3.3.2.

Databricks a publié cette version en mars 2023.

Modifications de comportement

[Changement cassant] La nouvelle version de Python nécessite la mise à jour des clients Python Databricks Connect V1

Pour appliquer les correctifs de sécurité requis, la version Python dans Databricks Runtime 12.2 LTS est mise à niveau de 3.9.5 à 3.9.19. Étant donné que ces modifications peuvent entraîner des erreurs dans les clients qui utilisent des fonctions PySpark spécifiques, tous les clients qui utilisent Databricks Connect V1 pour Python avec Databricks Runtime 12.2 LTS doivent être mis à jour vers Python 3.9.7 ou version ultérieure.

Améliorations et nouvelles fonctionnalités

• L’évolution du schéma Delta Lake prend en charge la spécification de colonnes sources dans les instructions de fusion
• Les charges de travail Structured Streaming sont prises en charge sur les clusters avec mode d’accès partagé
• Nouvelles fonctionnalités pour les E/S prédictives
• Prise en charge implicite de l’aliasing de colonne latérale
• Nouvelle fonctionnalité forEachBatch
• Options de connexion standardisées pour la fédération des requêtes
• Bibliothèque de fonctions SQL étendue pour la gestion des tableaux
• Nouvelle fonction de masque pour anonymiser les chaînes
• Les conditions d’erreur courantes retournent maintenant des SQLSTATE
• Appeler les fonctions de génération dans la clause FROM
• La prise en charge des mémoires tampons de protocole est généralement disponible
• Atteindre la définition pour les variables et fonctions de notebook
• Correctif rapide du Notebook pour l’importation automatique de bibliothèques
• Correctifs de bogues

L’évolution du schéma Delta Lake prend en charge la spécification de colonnes sources dans les instructions de fusion

Vous pouvez désormais spécifier des colonnes présentes uniquement dans la table source dans les actions d’insertion ou de mise à jour pour les instructions de fusion, lorsque l’évolution du schéma est activée. Dans Databricks Runtime 12.1 et versions antérieures, seules des actions INSERT * ou UPDATE SET * peuvent être utilisées pour l’évolution du schéma avec la fusion. Consultez Évolution automatique du schéma pour la fusion Delta Lake.

Les charges de travail Structured Streaming sont prises en charge sur les clusters avec mode d’accès partagé

Vous pouvez maintenant utiliser Structured Streaming pour interagir avec Unity Catalog sur les clusters partagés. Certaines limitations s’appliquent. Consultez Quelle est la fonctionnalité Structured Streaming prise en charge par Unity Catalog ?.

Nouvelles fonctionnalités pour les E/S prédictives

La prise en charge de Photon pour le récepteur Foreachbatch est désormais disponible. Les charges de travail qui diffusent en continu à partir d’une source et fusionnent dans des tables Delta ou écrivent dans plusieurs récepteurs peuvent désormais tirer parti du récepteur Foreachbatch Photonisé.

Prise en charge implicite de l’aliasing de colonne latérale

Azure Databricks prend désormais en charge l’aliasing de colonne latérale implicite par défaut. Vous pouvez maintenant réutiliser une expression spécifiée précédemment dans la même liste SELECT. Par exemple, étant donné SELECT 1 AS a, a + 1 AS b, le a dans a + 1 peut être résolu comme le 1 AS a défini précédemment. Pour plus d’informations sur l’ordre de résolution, consultez Résolution de noms. Pour désactiver cette fonctionnalité, vous pouvez définir spark.sql.lateralColumnAlias.enableImplicitResolution sur false.

Nouvelle fonctionnalité forEachBatch

Photon est désormais pris en charge lors de l’utilisation de foreachBatch pour écrire dans un récepteur de données.

Options de connexion standardisées pour la fédération des requêtes

Vous pouvez maintenant utiliser un ensemble unifié d’options (hôte, port, base de données, utilisateur, mot de passe) pour vous connecter aux sources de données prises en charge dans Query Federation. Port est facultatif et utilise le numéro de port par défaut pour chaque source de données, sauf s’il est spécifié.

Bibliothèque de fonctions SQL étendue pour la gestion des tableaux

Supprimez tous les éléments NULL d’un tableau à l’aide d’array_compact. Pour ajouter des éléments à un tableau, utilisez array_append.

Nouvelle fonction de masque pour anonymiser les chaînes

Appelez la fonction de masque pour anonymiser les valeurs de chaîne sensibles.

Les conditions d’erreur courantes retournent maintenant des SQLSTATE

La plupart des conditions d’erreur que retourne Databricks Runtime incluent désormais des valeurs SQLSTATE documentées qui peuvent être utilisées pour tester les erreurs d’une manière conforme aux normes SQL.

Appeler les fonctions de génération dans la clause FROM

Vous pouvez maintenant appeler des fonctions de génération tabulaires comme explode dans la clause FROM régulière d’une requête. Cela aligne l’appel de fonction de génération avec d’autres fonctions de table intégrées et définies par l’utilisateur.

La prise en charge des mémoires tampons de protocole est généralement disponible

Vous pouvez utiliser les fonctions from_protobuf et to_protobuf pour échanger des données entre des types binaires et struct. Consultez Tampons de protocole de lecture et d’écriture.

Atteindre la définition pour les variables et fonctions de notebook

Dans les notebooks, vous pouvez rapidement accéder à la définition d’une variable, d’une fonction ou du code derrière une instruction %run en cliquant avec le bouton droit sur le nom de la variable ou de la fonction.

Correctif rapide du Notebook pour l’importation automatique de bibliothèques

Les Databricks Notebooks offrent désormais une fonction de correction rapide pour l'importation automatique de bibliothèques. Si vous oubliez d’importer une bibliothèque comme pandas, pointez sur l’avertissement de syntaxe souligné, puis cliquez sur correctif rapide, cette fonctionnalité nécessite que l’Assistant Databricks soit activé dans votre espace de travail.

Résolution des bogues

• Amélioration de la cohérence pour le comportement de validation Delta pour les transactions vides relatives aux commandes update, delete et merge. Au niveau d’isolation WriteSerializable, les commandes qui n’entraînent aucune modification créent désormais une validation vide. Au niveau d’isolation Serializable, de telles transactions vides ne créent plus de validation.

Changements de comportement

Changements de comportement avec la nouvelle fonctionnalité d’alias de colonne latérale

La nouvelle fonctionnalité d’alias de colonne latérale introduit des changements de comportement pour les cas suivants lors de la résolution de noms :

• L’alias de colonne latérale est désormais prioritaire sur les références corrélées portant le même nom. Par exemple, pour cette requête SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1), le c1 du c1 AS c2 intérieur a été résolu en référence corrélée t.c1, mais devient maintenant l’alias 1 AS c1de colonne latérale. La requête retourne maintenant NULL.
• L’alias de colonne latérale est désormais prioritaire sur les paramètres de fonction portant le même nom. Par exemple, pour la fonction CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, x, le x dans le corps de la fonction a été résolu en paramètre de fonction x, mais devient alias de colonne latérale x + 1 dans le corps de la fonction. La requête SELECT * FROM func(1) retourne maintenant 2, 2.
• Pour désactiver la fonctionnalité d’alias de colonne latérale, définissez spark.sql.lateralColumnAlias.enableImplicitResolution sur false. Pour plus d'informations, consultez Résolution de noms.

Mises à niveau de la bibliothèque

• Bibliothèques Python mises à niveau :
  • filelock de 3.8.2 à 3.9.0
  • joblib de 1.1.0 à 1.1.1
  • platformdirs de 2.6.0 à 2.6.2
  • whatthepatch de 1.0.3 à 1.0.4
• Bibliothèques R mises à niveau :
  • class de 7.3-20 à 7.3-21
  • codetools de 0.2-18 à 0.2-19
  • MASS de 7.3-58 à 7.3-58.2
  • nlme de 3.1-160 à 3.1-162
  • Rserve de 1.8-11 à 1.8-12
  • SparkR de 3.3.1 à 3.3.2

Changements de comportement

• Les utilisateurs doivent désormais disposer des privilèges SELECT et MODIFY sur tout fichier lors de la création d’un schéma avec un emplacement défini.

Apache Spark

Databricks Runtime 12.2 inclut Apache Spark 3.3.2. Cette version comprend l’ensemble des correctifs et améliorations Spark figurant dans Databricks Runtime 12.1 (EoS), ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

• [SPARK-42416] [SC-123205][SC-122851][SQL] Les opérations d’ensemble de dates ne doivent pas résoudre à nouveau le plan logique analysé
• [SPARK-41848] Rétablir “[CHERRY-PICK][12.x][12.1][12.0][SC-120037][CORE] Correction de la tâche sur-planifiée avec TaskResourceProfile”
• [SPARK-42162] [SC-122711][ES-556261] Introduire l’expression MultiCommutativeOp comme optimisation de la mémoire pour canoniser de grandes arborescences d’expressions commutatives
• [SPARK-42406] [SC-122998][PROTOBUF][Cherry-pick] Correction du paramètre de profondeur récursive des fonctions Protobuf
• [SPARK-42002] [SC-122476][CONNECT][PYTHON] Implémenter DataFrameWriterV2
• [SPARK-41716] [SC-122545][CONNECT] Renommer _catalog_to_pandas en _execute_and_fetch dans le catalogue
• [SPARK-41490] [SC-121774][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_2441
• [SPARK-41600] [SC-122538][SPARK-41623][SPARK-41612][CONNECT] Implémenter Catalog.cacheTable, isCached et uncache
• [SPARK-42191] [SC-121990][SQL] Prise en charge de l’UDF 'luhn_check'
• [SPARK-42253] [SC-121976][PYTHON] Ajouter un test de détection d’une classe d’erreur en double
• [SPARK-42268] [SC-122251][CONNECT][PYTHON] Ajouter UserDefinedType dans protos
• [SPARK-42231] [SC-121841][SQL] Transformer MISSING_STATIC_PARTITION_COLUMN en internalError
• [SPARK-42136] [SC-122554] Refactoriser le calcul de partitionnement de la sortie BroadcastHashJoinExec
• [SPARK-42158] [SC-121610][SQL] Intégrer _LEGACY_ERROR_TEMP_1003 dans FIELD_NOT_FOUND
• [SPARK-42192] [12.x][SC-121820][PYTHON] Migrer le TypeError de pyspark/sql/dataframe.py vers PySparkTypeError
• [SPARK-35240] Rétablir “[SC-118242][SS] Utiliser CheckpointFileManager ....
• [SPARK-41488] [SC-121858][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_1176 (et 1177)
• [SPARK-42232] [SC-122267][SQL] Renommer la classe d’erreur : UNSUPPORTED_FEATURE.JDBC_TRANSACTION
• [SPARK-42346] [SC-122480][SQL] Réécrire des agrégats distincts après la fusion de sous-requête
• [SPARK-42306] [SC-122539][SQL] Intégrer _LEGACY_ERROR_TEMP_1317 dans UNRESOLVED_COLUMN.WITH_SUGGESTION
• [SPARK-42234] [SC-122354][SQL] Renommer la classe d’erreur : UNSUPPORTED_FEATURE.REPEATED_PIVOT
• [SPARK-42343] [SC-122437][CORE] Ignorer IOException dans handleBlockRemovalFailure si SparkContext est arrêté
• [SPARK-41295] [SC-122442][SPARK-41296][SQL] Renommer les classes d’erreur
• [SPARK-42320] [SC-122478][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_2188
• [SPARK-42255] [SC-122483][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_2430
• [SPARK-42156] [SC-121851][CONNECT] SparkConnectClient prend désormais en charge RetryPolicies
• [SPARK-38728] [SC-116723][SQL] Tester la classe d’erreur : FAILED_RENAME_PATH
• [SPARK-40005] [12.X] Exemples autonomes dans PySpark
• [SPARK-39347] [SC-122457][SS] Corriger les bogues du calcul de la fenêtre de temps lorsque l’heure de l’évènement < 0
• [SPARK-42336] [SC-122458][CORE] Utiliser getOrElse() au lieu de contains() dans ResourceAllocator
• [SPARK-42125] [SC-121827][CONNECT][PYTHON] UDF Pandas dans Spark Connect
• [SPARK-42217] [SC-122263][SQL] Prendre en charge la résolution d’alias de colonne latérale dans les requêtes avec Fenêtre
• [SPARK-35240] [SC-118242][SS] Utiliser CheckpointFileManager pour la manipulation du fichier de point de contrôle
• [SPARK-42294] [SC-122337][SQL] Inclure les valeurs par défaut des colonnes dans la sortie DESCRIBE des tables V2
• [SPARK-41979] Rétablir “Revert “[12.x][SC-121190][SQL] Ajouter les points manquants pour les messages d’erreur des classes d’erreur.””
• [SPARK-42286] [SC-122336][SQL] Secours vers le chemin de code codegen précédent pour une expression complexe avec CAST
• [SPARK-42275] [SC-122249][CONNECT][PYTHON] Éviter d’utiliser la liste intégrée, dicter dans le typage statique
• [SPARK-41985] [SC-122172][SQL] Centraliser d’autres règles de résolution de colonne
• [SPARK-42126] [SC-122330][PYTHON][CONNECT] Accepter le type de retour dans les chaînes DDL pour les UDF scalaires Python dans Spark Connect
• [SPARK-42197] [SC-122328][SC-121514][CONNECT] Réutilise l’initialisation JVM et sépare les groupes de configuration à définir en mode local/distant
• [SPARK-41575] [SC-120118][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_2054
• [SPARK-41985] Rétablir “[SC-122172][SQL] Centraliser d’autres règles de résolution de colonne”
• [SPARK-42123] [SC-122234][SC-121453][SQL] Inclure les valeurs par défaut des colonnes dans la sortie DESCRIBE et SHOW CREATE TABLE
• [SPARK-41985] [SC-122172][SQL] Centraliser d’autres règles de résolution de colonne
• [SPARK-42284] [SC-122233][CONNECT] Vérifier que l’assembly de serveur de connexion est généré avant d’exécuter des tests clients - SBT
• [SPARK-42239] [SC-121790][SQL] Intégrer MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
• [SPARK-42278] [SC-122170][SQL] DS V2 pushdown prend en charge la compilation SortOrder des dialectes JDBC par eux-mêmes
• [SPARK-42259] [SC-122168][SQL] ResolveGroupingAnalytics doit faire attention à Python UDAF
• [SPARK-41979] Rétablir “[12.x][SC-121190][SQL] Ajouter les points manquants des messages d’erreur des classes d’erreur.”
• [SPARK-42224] [12.x][SC-121708][CONNECT] Migrer TypeError dans l’infrastructure d’erreur des fonctions Spark Connect
• [SPARK-41712] [12.x][SC-121189][PYTHON][CONNECT] Migrer les erreurs Spark Connect dans l’infrastructure d’erreurs PySpark.
• [SPARK-42119] [SC-121913][SC-121342][SQL] Ajouter des fonctions tabulaires intégrées inline et inline_outer
• [SPARK-41489] [SC-121713][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_2415
• [SPARK-42082] [12.x][SC-121163][SPARK-41598][PYTHON][CONNECT] Présenter PySparkValueError et PySparkTypeError
• [SPARK-42081] [SC-121723][SQL] Améliorer la validation des modifications de plan
• [SPARK-42225] [12.x][SC-121714][CONNECT] Ajouter SparkConnectIllegalArgumentException pour gérer l’erreur Spark Connect avec précision.
• [SPARK-42044] [12.x][SC-121280][SQL] Corriger un message d’erreur incorrect de MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
• [SPARK-42194] [12.x][SC-121712][PS] Autoriser le paramètre de colonnes lors de la création d’un DataFrame avec Series.
• [SPARK-42078] [12.x][SC-120761][PYTHON] Migrer les erreurs levées par JVM dans PySparkException.
• [SPARK-42133] [12.x][SC-121250] Ajouter des méthodes d’API de jeu de données de base à SparkConnect Scala Client
• [SPARK-41979] [12.x][SC-121190][SQL] Ajouter les points manquants pour les messages d’erreur des classes d’erreur.
• [SPARK-42124] [12.x][SC-121420][PYTHON][CONNECT] UDF Python scalaire inline Scalar dans Spark Connect
• [SPARK-42051] [SC-121994][SQL] Prise en charge de HiveGenericUDF par Codegen
• [SPARK-42257] [SC-121948][CORE] Supprimer un trieur externe de variable inutilisé
• [SPARK-41735] [SC-121771][SQL] Utiliser MINIMAL au lieu de STANDARD pour SparkListenerSQLExecutionEnd
• [SPARK-42236] [SC-121882][SQL] Affiner NULLABLE_ARRAY_OR_MAP_ELEMENT
• [SPARK-42233] [SC-121775][SQL] Améliorer le message d’erreur de PIVOT_AFTER_GROUP_BY
• [SPARK-42229] [SC-121856][CORE] Migrer SparkCoreErrors vers les classes d’erreur
• [SPARK-42163] [SC-121839][SQL] Corriger l’élagage du schéma pour l’index de tableau non pliable ou la clé de carte
• [SPARK-40711] [SC-119990][SQL] Ajouter des métriques de taille de débordement pour la fenêtre
• [SPARK-42023] [SC-121847][SPARK-42024][CONNECT][PYTHON] Faire prendre en charge le forçage de type AtomicType -> StringType par createDataFrame
• [SPARK-42202] [SC-121837][Connect][Test] Améliorer la logique d’arrêt du serveur de test E2E
• SPARK-41167 [SC-117425][SQL] Améliorer les performances de type multi en créant un prédicat d’arborescence de l’expression équilibré
• [SPARK-41931] [SC-121618][SQL] Améliorer le message d’erreur pour une définition de type complexe incomplète
• [SPARK-36124] [SC-121339][SC-110446][SQL] Prendre en charge les sous-requêtes avec corrélation via UNION
• [SPARK-42090] [SC-121290][3.3] Introduire le nombre de nouvelles tentatives sasl dans RetryingBlockTransferor
• [SPARK-42157] [SC-121264][CORE] spark.scheduler.mode=FAIR doit fournir le planificateur FAIR
• [SPARK-41572] [SC-120772][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_2149
• [SPARK-41983] [SC-121224][SQL] Renommer et améliorer le message d’erreur de NULL_COMPARISON_RESULT
• [SPARK-41976] [SC-121024][SQL] Améliorer le message d’erreur de INDEX_NOT_FOUND
• [SPARK-41994] [SC-121210][SC-120573] Affecter SQLSTATE (1/2)
• [SPARK-41415] [SC-121117][3.3] Nouvelles tentatives de requête SASL
• SPARK-38591[SC-121018][SQL] Ajouter flatMapSortedGroups et cogroupSorted
• [SPARK-41975] [SC-120767][SQL] Améliorer le message d’erreur de INDEX_ALREADY_EXISTS
• [SPARK-42056] [SC-121158][SQL][PROTOBUF] Ajouter des options manquantes aux fonctions Protobuf
• [SPARK-41984] [SC-120769][SQL] Renommer et améliorer le message d’erreur de RESET_PERMISSION_TO_ORIGINAL
• [SPARK-41948] [SC-121196][SQL] Corriger NPE pour les classes d’erreur : CANNOT_PARSE_JSON_FIELD
• [SPARK-41772] [SC-121176][CONNECT][PYTHON] Corriger un nom de colonne incorrect dans le doctest de withField
• [SPARK-41283] [SC-121175][CONNECT][PYTHON] Ajouter array_append à Connect
• [SPARK-41960] [SC-120773][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_1056
• [SPARK-42134] [SC-121116][SQL] Corriger getPartitionFiltersAndDataFilters() pour gérer les filtres sans attributs référencés
• [SPARK-42096] [SC-121012][CONNECT] Nettoyer le code du module connect
• [SPARK-42099] [SC-121114][SPARK-41845][CONNECT][PYTHON] Corriger count(*) et count(col(*))
• [SPARK-42045] [SC-120958][SC-120450][SQL] Mode SQL ANSI : Round/Bround doit retourner une erreur sur le dépassement d’entier
• [SPARK-42043] [SC-120968][CONNECT] Résultat du client Scala aux tests E2E
• [SPARK-41884] [SC-121022][CONNECT] Prendre en charge le tuple naïf en tant que ligne imbriquée
• [SPARK-42112] [SC-121011][SQL][SS] Ajouter une vérification null avant le dataWriter de fermeture de la fonction ContinuousWriteRDD#compute
• [SPARK-42077] [SC-120553][CONNECT][PYTHON] Le littéral doit lever TypeError pour un DataType non pris en charge
• [SPARK-42108] [SC-120898][SQL] Faire transformer Count(*) en Count(1) par l’analyseur
• [SPARK-41666] [SC-120928][SC-119009][PYTHON] Prendre en charge SQL paramétré par sql()
• [SPARK-40599] [SC-120930][SQL] Assouplir le type de règle multiTransform pour permettre aux alternatives d’être n’importe quel type de Seq
• [SPARK-41574] [SC-120771][SQL] Mettre à jour _LEGACY_ERROR_TEMP_2009 en tant que INTERNAL_ERROR.
• [SPARK-41579] [SC-120770][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_1249
• [SPARK-41974] [SC-120766][SQL] Transformer INCORRECT_END_OFFSET en INTERNAL_ERROR
• [SPARK-41530] [SC-120916][SC-118513][CORE] Renommer MedianHeap en PercentileMap et prendre en charge le centile
• [SPARK-41757] [SC-120608][SPARK-41901][CONNECT] Corriger la représentation sous forme de chaîne de la classe Column
• [SPARK-42084] [SC-120775][SQL] Éviter la fuite de la restriction d’accès qualifié uniquement
• [SPARK-41973] [SC-120765][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_1311
• [SPARK-42039] [SC-120655][SQL] SPJ : Supprimer une option dans KeyGroupedPartitioning#partitionValuesOpt
• [SPARK-42079] [SC-120712][CONNECT][PYTHON] Renommer les messages proto pour toDF et withColumnsRenamed
• [SPARK-42089] [SC-120605][CONNECT][PYTHON] Corriger les problèmes de nom de variable dans les fonctions lambda imbriquées
• [SPARK-41982] [SC-120604][SQL] Les partitions de type chaîne ne doivent pas être traitées comme des types numériques
• [SPARK-40599] [SC-120620][SQL] Ajouter des méthodes multiTransform à TreeNode pour générer des alternatives
• [SPARK-42085] [SC-120556][CONNECT][PYTHON] Faire prendre en charge les types imbriqués par from_arrow_schema
• [SPARK-42057] [SC-120507][SQL][PROTOBUF] Corriger la façon dont l’exception est gérée dans les rapports d’erreur.
• [SPARK-41586] [12.x][ALL TESTS][SC-120544][PYTHON] Introduire pyspark.errors et les classes d’erreur pour PySpark.
• [SPARK-41903] [SC-120543][CONNECT][PYTHON] Literal doit prendre en charge 1-dim ndarray
• [SPARK-42021] [SC-120584][CONNECT][PYTHON] Faire prendre en charge array.array par createDataFrame
• [SPARK-41896] [SC-120506][SQL] Le filtrage par index de ligne retourne des résultats vides
• [SPARK-41162][SC-119742][SQL] Corriger l’anti-jointure et la semi-jointure pour la jointure réflexive avec agrégations
• [SPARK-41961] [SC-120501][SQL] Prendre en charge les fonctions tabulaires avec LATERAL
• [SPARK-41752] [SC-120550][SQL][UI] Regrouper les exécutions imbriquées sous l’exécution racine
• [SPARK-42047] [SC-120586][SPARK-41900][CONNECT][PYTHON][12.X] Le littéral doit prendre en charge les types de données Numpy
• [SPARK-42028] [SC-120344][CONNECT][PYTHON] Tronquer les timestamps en nanosecondes
• [SPARK-42011] [SC-120534][CONNECT][PYTHON] Implémenter DataFrameReader.csv
• [SPARK-41990] [SC-120532][SQL] Utiliser FieldReference.column au lieu de apply dans la conversion de filtre V1 en V2
• [SPARK-39217] [SC-120446][SQL] Faire prendre en charge le côté élagage d’Union par DPP
• [SPARK-42076] [SC-120551][CONNECT][PYTHON] Factoriser la conversion de données arrow -> rows en conversion.py
• [SPARK-42074] [SC-120540][SQL] Activer KryoSerializer dans TPCDSQueryBenchmark pour appliquer l’inscription de classe SQL
• [SPARK-42012] [SC-120517][CONNECT][PYTHON] Implémenter DataFrameReader.orc
• [SPARK-41832] [SC-120513][CONNECT][PYTHON] Corriger DataFrame.unionByName, ajouter allow_missing_columns
• [SPARK-38651] [SC-120514][SQL] Ajouter spark.sql.legacy.allowEmptySchemaWrite
• [SPARK-41991] [SC-120406][SQL] CheckOverflowInTableInsert doit accepter ExpressionProxy comme enfant
• [SPARK-41232] [SC-120073][SQL][PYTHON] Ajouter la fonction array_append
• [SPARK-42041] [SC-120512][SPARK-42013][CONNECT][PYTHON] DataFrameReader doit prendre en charge la liste des chemins d’accès
• [SPARK-42071] [SC-120533][CORE] Inscrire scala.math.Ordering$Reverse auprès de KryoSerializer
• [SPARK-41986] [SC-120429][SQL] Introduction de la lecture aléatoire sur SinglePartition
• [SPARK-42016] [SC-120428][CONNECT][PYTHON] Activer les tests liés à la colonne imbriquée
• [SPARK-42042] [SC-120427][CONNECT][PYTHON] DataFrameReader doit prendre en charge le schéma StructType
• [SPARK-42031] [SC-120389][CORE][SQL] Nettoyer les méthodes remove qui n’ont pas besoin de remplacement
• [SPARK-41746] [SC-120463][SPARK-41838][SPARK-41837][SPARK-41835][SPARK-41836][SPARK-41847][CONNECT][PYTHON] Faire prendre en charge les types imbriqués par createDataFrame(rows/lists/tuples/dicts)
• [SPARK-41437] [SC-117601][SQL] Ne pas optimiser la requête d’entrée deux fois pour le secours en écriture v1
• [SPARK-41840] [SC-119719][CONNECT][PYTHON] Ajout de l’alias manquant groupby
• [SPARK-41846] [SC-119717][CONNECT][PYTHON] Activer les doctests pour les fonctions de fenêtre
• [SPARK-41914] [SC-120094][SQL] FileFormatWriter matérialise le plan AQE avant d’accéder à outputOrdering
• [SPARK-41805] [SC-119992][SQL] Réutiliser des expressions dans WindowSpecDefinition
• [SPARK-41977] [SC-120269][SPARK-41978][CONNECT] SparkSession.range doit prendre float comme arguments
• [SPARK-42029] [SC-120336][CONNECT] Ajouter des règles de shading Guava à connect-common pour éviter un échec de démarrage
• [SPARK-41989] [SC-120334][PYTHON] Éviter d’interrompre la configuration de la journalisation de pyspark.pandas
• [SPARK-42003] [SC-120331][SQL] Réduire le code en double dans ResolveGroupByAll
• [SPARK-41635] [SC-120313][SQL] Correction des rapports d’erreur de la clause group by all
• [SPARK-41047] [SC-120291][SQL] Améliorer la documentation relative à round
• [SPARK-41822] [SC-120122][CONNECT] Configurer la connexion gRPC pour le client Scala/JVM
• [SPARK-41879] [SC-120264][CONNECT][PYTHON] Faire prendre en charge les types imbriqués par DataFrame.collect
• [SPARK-41887] [SC-120268][CONNECT][PYTHON] Faire accepter par DataFrame.hint le paramètre de type liste
• [SPARK-41964] [SC-120210][CONNECT][PYTHON] Ajouter la liste des fonctions d’E/S non prises en charge
• [SPARK-41595] [SC-120097][SQL] Prendre en charge la fonction de génération explode/explode_outer dans la clause FROM
• [SPARK-41957] [SC-120121][CONNECT][PYTHON] Activer le doctest pour DataFrame.hint
• [SPARK-41886] [SC-120141][CONNECT][PYTHON] La sortie du doctest DataFrame.intersect a un ordre différent
• [SPARK-41442] [SC-117795][SQL][ALL TESTS] Ne mettre à jour la valeur SQLMetric qu’en cas de fusion avec une métrique valide
• [SPARK-41944] [SC-120046][CONNECT] Passer des configurations lorsque le mode distant local est activé
• [SPARK-41708] [SC-119838][SQL] Extraire les informations v1write vers WriteFiles
• [SPARK-41780] [SC-120000][SQL] Doit lever INVALID_PARAMETER_VALUE. PATTERN lorsque les paramètres regexp sont non valides
• [SPARK-41889] [SC-119975][SQL] Attacher la cause racine à invalidPatternError et refactoriser les classes d’erreur INVALID_PARAMETER_VALUE
• [SPARK-41860] [SC-120028][SQL] Créer des classes de cas AvroScanBuilder et JsonScanBuilder
• [SPARK-41945] [SC-120010][CONNECT][PYTHON] Python : connecter les données de colonne perdues du client avec pyarrow.Table.to_pylist
• [SPARK-41690] [SC-119102][SC-119087][SQL][CONNECT] Encodeurs agnostiques
• [SPARK-41354] [SC-119995][CONNECT][PYTHON] Implémenter RepartitionByExpression
• [SPARK-41581] [SC-119997][SQL] Mettre à jour _LEGACY_ERROR_TEMP_1230 en tant que INTERNAL_ERROR
• [SPARK-41928] [SC-119972][CONNECT][PYTHON] Ajouter la liste de non prise en charge pour functions
• [SPARK-41933] [SC-119980][CONNECT] Fournir un mode local qui démarre automatiquement le serveur
• [SPARK-41899] [SC-119971][CONNECT][PYTHON] createDataFrame doit respecter le schéma DDL fourni par l’utilisateur
• [SPARK-41936] [SC-119978][CONNECT][PYTHON] Faire réutiliser le proto withColumns par withMetadata
• [SPARK-41898] [SC-119931][CONNECT][PYTHON] Parité de vérification de type des paramètres Window.rowsBetween et Window.rangeBetween avec pyspark
• [SPARK-41939] [SC-119977][CONNECT][PYTHON] Ajouter la liste de non prise en charge des fonctions catalog
• [SPARK-41924] [SC-119946][CONNECT][PYTHON] Faire prendre en charge les métadonnées par StructType et implémenter DataFrame.withMetadata
• [SPARK-41934] [SC-119967][CONNECT][PYTHON] Ajouter la liste des fonctions non prises en charge pour session
• [SPARK-41875] [SC-119969][CONNECT][PYTHON] Ajouter des cas de test pour Dataset.to()
• [SPARK-41824] [SC-119970][CONNECT][PYTHON] Ignorer le doctest pour expliquer la fonctionnalité connect
• [SPARK-41880] [SC-119959][CONNECT][PYTHON] Faire en sorte que la fonction from_json accepte un schéma non littéral
• [SPARK-41927] [SC-119952][CONNECT][PYTHON] Ajouter la liste de non prise en charge de GroupedData
• [SPARK-41929] [SC-119949][CONNECT][PYTHON] Ajouter la fonction array_compact
• [SPARK-41827] [SC-119841][CONNECT][PYTHON] Faire accepter la liste de colonnes par GroupBy
• [SPARK-41925] [SC-119905][SQL] Activer spark.sql.orc.enableNestedColumnVectorizedReader par défaut
• [SPARK-41831] [SC-119853][CONNECT][PYTHON] Faire accepter la liste de colonnes par DataFrame.select
• [SPARK-41455] [SC-119858][CONNECT][PYTHON] Faire abandonner les informations de fuseau horaire à DataFrame.collect
• [SPARK-41923] [SC-119861][CONNECT][PYTHON] Ajouter DataFrame.writeTo à la liste de non prise en charge
• [SPARK-41912] [SC-119837][SQL] La sous-requête ne doit pas valider la CTE
• [SPARK-41828] [SC-119832][CONNECT][PYTHON][12.X] Faire prendre en charge les dataframes vides par createDataFrame
• [SPARK-41905] [SC-119848][CONNECT] Prendre charge les noms en tant que chaînes dans le slice
• [SPARK-41869] [SC-119845][CONNECT] Rejeter une chaîne unique dans dropDuplicates
• [SPARK-41830] [SC-119840][CONNECT][PYTHON] Faire accepter à DataFrame.sample les mêmes paramètres que PySpark
• [SPARK-41849] [SC-119835][CONNECT] Implémenter DataFrameReader.text
• [SPARK-41861] [SC-119834][SQL] Faire que la build() de v2 ScanBuilders retourne une analyse typée
• [SPARK-41825] [SC-119710][CONNECT][PYTHON] Activer les doctests liés à DataFrame.show
• [SPARK-41855] [SC-119804][SC-119410][SPARK-41814][SPARK-41851][SPARK-41852][CONNECT][PYTHON][12.X] Faire que createDataFrame gère None/NaN correctement
• [SPARK-41833] [SC-119685][SPARK-41881][SPARK-41815][CONNECT][PYTHON] Faire que DataFrame.collect gère None/NaN/Array/Binary correctement
• [SPARK-39318] [SC-119713][SQL] Supprimer les fichiers de référence WithStats tpch-plan-stability
• [SPARK-41791] [SC-119745] Ajouter de nouveaux types de colonnes de métadonnées de source de fichier
• [SPARK-41790] [SC-119729][SQL] Définir correctement le format du lecteur et de l’enregistreur TRANSFORM
• [SPARK-41829] [SC-119725][CONNECT][PYTHON] Ajouter le paramètre de classement manquant dans Sort et sortWithinPartitions
• [SPARK-41576] [SC-119718][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_2051
• [SPARK-41821] [SC-119716][CONNECT][PYTHON] Corriger le test de documentation pour DataFrame.describe
• [SPARK-41871] [SC-119714][CONNECT] Le paramètre d’indicateur DataFrame peut être str, float ou int
• [SPARK-41720] [SC-119076][SQL] Renommer UnresolvedFunc en UnresolvedFunctionName
• [SPARK-41573] [SC-119567][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_2136
• [SPARK-41862] [SC-119492][SQL] Corriger un bogue d’exactitude lié aux valeurs DEFAULT dans le lecteur Orc
• [SPARK-41582] [SC-119482][SC-118701][CORE][SQL] Réutiliser INVALID_TYPED_LITERAL au lieu de _LEGACY_ERROR_TEMP_0022

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 12.2.

Environnement du système

• Système d’exploitation : Ubuntu 20.04.5 LTS
• Java  Zulu 8.68.0.21-CA-linux64
• Scala : 2.12.15
• Python : 3.9.19
• R: 4.2.2
• Delta Lake: 2.2.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 11/11/2022.

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)