Databricks Runtime 10.0 (EoS)

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 10.0 et Databricks Runtime 10.0 Photon, avec Apache Spark 3.2.0. Databricks a publié cette version en octobre 2021. Photon est en préversion publique.

Améliorations et nouvelles fonctionnalités

• Nouvelle version de Apache Spark
• L’instruction SELECT prend désormais en charge la clause QUALIFY pour filtrer les résultats de fonctions de fenêtre
• Prise en charge des clusters pour JDK 11 (préversion publique)
• Auto Loader traite désormais les schémas comme pouvant accepter la valeur null

Nouvelle version d’Apache Spark

Databricks Runtime 10.0 et Databricks Runtime 10.0 Photon incluent Apache Spark 3.2.0. Pour plus d’informations, consultez Apache Spark.

L’instruction SELECT prend désormais en charge la clause QUALIFY pour filtrer les résultats d’une fonction de fenêtre

L’instruction SELECT prend désormais en charge la clause QUALIFY. La clause QUALIFY peut être utilisée pour filtrer les résultats de fonctions de fenêtre. Une ou plusieurs fonctions de fenêtre doivent être présentes dans la liste SELECT ou la condition QUALIFY. Par exemple :

SELECT * FROM t QUALIFY SUM(c2) OVER (PARTITION BY c1) > 0;

Prise en charge des clusters pour JDK 11 (préversion publique)

Databricks fournit désormais la prise en charge des clusters pour le kit de développement Java (JDK) 11.

Lorsque vous créez un cluster, vous pouvez spécifier que celui-ci utilise JDK 11 (tant pour le pilote que pour l’exécuteur). Pour ce faire, ajoutez la variable d’environnement suivante à Options avancées > Spark > Variables d’environnement :

JNAME=zulu11-ca-amd64

Auto Loader traite désormais les schémas comme pouvant accepter la valeur null

Auto Loader traite désormais par défaut tous les schémas inférés et fournis par l’utilisateur comme pouvant accepter la valeur null. Cela permet d’éviter une éventuelle altération des données quand celles-ci contiennent des champs null pour des colonnes ne pouvant pas accepter la valeur null. Une nouvelle configuration est introduite pour suivre ce comportement, spark.databricks.cloudFiles.schema.forceNullable. Par défaut, cette configuration contient le paramètre spark.sql.streaming.fileSource.schema.forceNullable que la FileStreamSource dans Apache Spark utilise et qui a la valeur true par défaut.

Changements cassants

Changements cassants pour tous les utilisateurs de Spark SQL

• Nouvelle configuration de spark.databricks.behaviorChange.SC78546CorrelatedPredicate.enabled : si la valeur est définie sur true, autorise un sous-ensemble de prédicats d’égalité corrélés quand une sous-requête est agrégée. La valeur par défaut est true.
• Nouvelle configuration de spark.databricks.behaviorChange.SC82201BlockAutoAlias.enabled : si la valeur est définie sur true, bloque les alias générés automatiquement lors de la création d’affichages. La valeur par défaut est true.
• Nouvelle configuration de spark.databricks.behaviorChange.SC81078CTASWithLocation.enabled : si la valeur est définie sur true, interdit CREATE TABLE AS SELECT avec un emplacement non vide. La valeur par défaut est true. Notez que quand spark.sql.legacy.allowNonEmptyLocationInCTAS est également défini sur true, cette configuration est sans effet, et CREATE TABLE AS SELECT avec un emplacement non vide est toujours autorisé.

Changements cassants pour les utilisateurs de Spark SQL qui activent le mode ANSI

Pour plus d’informations sur le mode ANSI, consultez Conformité ANSI dans Databricks Runtime.

• Nouvelle configuration de spark.databricks.behaviorChange.SC83587NextDayDOW.enabled : si la valeur est définie sur true, un argument dayOfWeek non valide pour la fonction next_day lève une exception IllegalArgumentException en mode ANSI ; sinon, retourne null. La valeur par défaut est true.
• Nouvelle configuration de spark.databricks.behaviorChange.SC83796CanCast.enabled : si la valeur est définie sur true, active de nouvelles règles de syntaxe de cast explicite en mode ANSI. La valeur par défaut est true.
• Nouvelle configuration de spark.databricks.behaviorChange.SC79099CastStringToBoolean.enabled : si la valeur est définie sur true, une exception d’erreur d’analyse est levée lors du cast d’une chaîne en valeur booléenne ; sinon, retourne null. La valeur par défaut est true.
• Nouvelle configuration de spark.databricks.behaviorChange.SC79064AbsOutsideRange.enabled : si la valeur est définie sur true, la fonction abs lève une exception si l’entrée est hors limites. La valeur par défaut est true.

Changements cassants pour tous les utilisateurs de Python

• L’API Python delta.tables.DeltaTable.convertToDelta retourne désormais l’objet Python DeltaTable correct qui peut être utilisé pour exécuter des commandes Delta Lake. Auparavant, elle retournait un objet interne qui ne pouvait pas être appelé directement.

Mises à niveau de la bibliothèque

Mise à niveau d’Apache Hadoop 3

• Databricks Runtime 10.0 met à niveau la dépendance Hadoop de Hadoop 2.7.4 vers Hadoop 3.3.1.

Changements de comportement

• Hadoop 3 utilise les bibliothèques hadoop-client-api et hadoop-client-runtime au lieu de la bibliothèque hadoop-common qui ombre certaines dépendances tierces qui pourraient être utilisées dans des API ou extensions publiques Hadoop.
• Les options de configuration de Hadoop 3 ont changé par rapport à Hadoop 2. Pour les options de Hadoop 3.3.1, consultez core-default.xml.
• Databricks a mis à jour certaines configurations par défaut pour Hadoop 3 de façon à ce qu’elles soient cohérentes avec Hadoop 2, pour s’assurer que les connecteurs de stockage aient par défaut les mêmes paramètres d’authentification et niveaux de performances :
  • fs.azure.authorization.caching.enable = false
  • fs.s3a.attempts.maximum = 10
  • fs.s3a.block.size = 67108864
  • fs.s3a.connection.timeout = 50000
  • fs.s3a.max.total.tasks = 1000
  • fs.s3a.retry.limit = 20
  • fs.s3a.retry.throttle.interval = 500ms
  • fs.s3a.assumed.role.credentials.provider = com.amazonaws.auth.InstanceProfileCredentialsProvider
  • fs.s3a.aws.credentials.provider = BasicAWSCredentialsProvider, DatabricksInstanceProfileCredentialsProvider, EnvironmentVariableCredentialsProvider, AnonymousAWSCredentialsProvider
• Le connecteur Google Cloud Stockage (GCS) a été mis à niveau de 2.1.6 à 2.2.2.
• Le connecteur Amazon Redshift utilise désormais le schéma s3a://. Le schéma s3n:// est déconseillé.
• Gère les noms de classes OSS pour l’API Amazon S3 MetadataStore en plus des classes ombrées. Cela permet de traiter des configurations OSS sans exiger des noms de classe ombrées.
  • Par exemple, vous pouvez spécifier la classe org.apache.hadoop.fs.s3a.s3guard.NullMetadataStore dans la configuration d’Hadoop.
• Rend les configuration new Configuration() et sparkContext.hadoopConfiguration cohérentes.
  • Désormais, chaque fois qu’une nouvelle configuration d’Hadoop est créée, elle est cohérente avec la configuration d’Hadoop prédéfinie dans sparkContext.hadoopConfiguration dans le Databricks Runtime, y compris avec les schémas du système de fichiers et leur configuration par défaut.
• Bien que les connecteurs de stockage Hadoop inclus dans les Databricks Runtime soient entièrement compatibles avec Hadoop 3.3.1, il n’est pas garanti qu’ils soient synchronisés avec les connecteurs OSS Hadoop 3.3.1 et ils pourraient présenter un comportement différent.
  • Le connecteur Amazon S3 autorise toujours (bien qu’avec un avertissement) l’authentification par user:secret dans les URL S3, au contraire de HADOOP-14833 qui la supprime.
• globStatus retourne désormais toujours des résultats triés (HADOOP-10798)
• Ajout de fs.s3a.endpoint si non défini et la région fs.s3a.endpoint est null (SPARK-35878)
  • La résolution automatique de la région Amazon S3 fournie par Databricks pourrait ne pas être déclenchée dans certains cas, en raison du fait que le point de terminaison global est défini. Ce n’est pas un problème, car le Kit de développement logiciel (SDK) AWS peut résoudre la région correctement.
• Ajouter fs.s3a.downgrade.syncable.exceptions si non définies (SPARK-35868)
• Les codecs LZ4 et Snappy ne reposent pas sur la bibliothèque Hadoop native (Hadoop-17125)

Problèmes connus

• SPARK-36681 L’utilisation de SnappyCodec pour écrire un fichier de séquence échoue avec l’erreur UnsatisfiedLinkError en raison d’un problème connu dans Hadoop 3.3.1 (Hadoop-17891)

Apache Spark

Databricks Runtime 10.0 inclut Apache Spark 3.2.0.

Dans cette section :

• Points forts
• Core et Spark SQL
• Structured Streaming
• PySpark
• MLlib
• Désapprobations et suppressions

Points forts

• Prise en charge de la couche API Pandas sur PySpark (SPARK-34849)
• EventTime basée sur une mise en session (fenêtre de session) (SPARK-10816)
• Prise en charge des types ANSI SQL INTERVAL (SPARK-27790)
• Mode ANSI en disponibilité générale (SPARK-35030)
• Standardisation des messages d’exception dans Spark (SPARK-33539)

Core et Spark SQL

Améliorations de la compatibilité ANSI SQL

• Prise en charge des types ANSI SQL INTERVAL (SPARK-27790)
• Nouvelles règles de syntaxe de forçage de type en mode ANSI (SPARK-34246)

Une amélioration du niveau de performance

• Optimisation des requêtes
  • Suppression des agrégats redondants dans l’Optimiseur (SPARK-33122)
  • Limite d’envoi via Project avec Join (SPARK-34622)
  • Estimation de la cardinalité de l’opérateur union, sort et range (SPARK-33411)
  • Prédicat In/InSet de prise en charge de UnwrapCastInBinaryComparison (SPARK-35316)
  • Conservation des statistiques nécessaires après nettoyage de partition (SPARK-34119)
• Exécution d’une requête
  • Activation du pool de mémoires tampons Zstandard par défaut (SPARK-34340, SPARK-34390)
  • Ajout de code-gen pour tous les types de jointures de la jointure par tri-fusion (SPARK-34705)
  • Amélioration de la jointure de boucle imbriquée de diffusion (SPARK-34706)
  • Prise en charge de deux niveaux de tables de hachage pour l’agrégation de hachage finale (SPARK-35141)
  • Autorisation des enregistreurs simultanés pour l’écriture de partitions dynamiques et de table de compartiments (SPARK-26164)
  • Amélioration des performances de traitement de FETCH_PRIOR dans Thriftserver (SPARK-33655)

Améliorations des connecteurs

• Parquet
  • Mise à niveau de Parquet vers 1.12.1 (SPARK-36726)
  • Lecture des types non signés Parquet qui sont stockés en tant que type physique Int32 dans Parquet (SPARK-34817)
  • Lecture de type logique Int64 non signé Parquet stocké en tant que type physique Int64 signé au format décimal (20, 0) (SPARK-34786)
  • Amélioration de Parquet dans le pushdown de filtre (SPARK-32792)
• ORC
  • Mise à niveau d’ORC vers la version 1.6.11 (SPARK-36482)
  • Prise en charge de l’évolution de position forcée ORC (SPARK-32864)
  • Prise en charge de colonne imbriquée dans le lecteur vectorisé ORC (SPARK-34862)
  • Prise en charge de la compression ZSTD et LZ4 dans la source de données ORC (SPARK-33978, SPARK-35612)
• Avro
  • Mise à niveau d’Avro vers la version 1.10.2 (SPARK-34778)
  • Prise en charge de l’évolution du schéma Avro pour les tables Hive partitionnées avec « avro.schema.literal » (SPARK-26836)
  • Ajout de nouvelles options de source de données Avro pour contrôler le rebasage de dateheure en lecture (SPARK-34404)
  • Ajout de la prise en charge de l’URL de schéma fournie par l’utilisateur dans Avro (SPARK-34416)
  • Ajout de la prise en charge de la correspondance de schéma Catalyst-to-Avro positionnel (SPARK-34365)
• JSON
  • Mise à niveau de Jackson vers la version 2.12.3 (SPARK-35550)
  • Autorisation aux sources de données Json d’écrire des caractères non-ascii sous la forme de points de code (SPARK-35047)
• JDBC
  • Calcul d’une méthode stride de partition plus précise dans JDBCRelation (SPARK-34843)
• Filtre de prise en charge du metastore Hive par not-in (SPARK-34538)

Améliorations de la fonctionnalité

• Sous-requête
  • Amélioration des sous-requêtes corrélées (SPARK-35553)
• Nouvelles fonctions intégrées
  • ilike (SPARK-36674, SPARK-36736)
  • current_user (SPARK-21957)
  • product (SPARK-33678)
  • regexp_like,regexp (SPARK-33597, SPARK-34376)
  • try_add (SPARK-35162)
  • try_divide (SPARK-35162)
  • bit_get (SPARK-33245)
• Utilisation d’Apache Hadoop 3.3.1 par défaut (SPARK-29250)
• Ajout de somme de contrôle pour les blocs de lecture aléatoire (SPARK-35275)
• Activation de spark.storage.replication.proactive par défaut (SPARK-33870)
• Prise en charge du nettoyage du stockage de secours lors de l’arrêt de SparkContext (SPARK-34142)
• Prise en charge des énumérations Java à partir de l’API Scala DataSet (SPARK-23862)
• ADD JAR avec des coordonnées ivy doit être compatible avec le comportement transitif Hive (SPARK-34506)
• Prise en charge des commandes ADD ARCHIVE et LIST ARCHIVES (SPARK-34603)
• Prise en charge de plusieurs chemins d’accès pour les commandes ADD FILE/JAR/ARCHIVE (SPARK-35105)
• Prise en charge de fichiers d’archive en tant que ressources pour la syntaxe CREATE FUNCTION USING (SPARK-35236)
• Chargement de SparkSessionExtensions à partir de ServiceLoader (SPARK-35380)
• Ajout de la fonction sentences à fonctions.{scala,py} (SPARK-35418)
• Application de spark.sql.hive.metastorePartitionPruning pour les tables non Hive qui utilisent le metastore Hive pour la gestion des partitions (SPARK-36128)
• Propagation de la raison de la perte d’exec à l’interface utilisateur web (SPARK-34764)
• Évitement de l’incorporation non déterministe avec-CTEs (SPARK-36447)
• Prise en charge de l’analyse de toutes les tables dans une base de données spécifique (SPARK-33687)
• Standardisation des messages d’exception dans Spark (SPARK-33539)
• Prise en charge de (IGNORE | RESPECT) NULLS pour LEAD/LAG/NTH_VALUE/FIRST_VALUE/LAST_VALUE(SPARK-30789)

Autres changements notables

• Superviser
  • Nouvelles métriques pour ExternalShuffleService (SPARK-35258)
  • Ajout de nouveaux paramètres et API REST au niveau de la phase (SPARK-26399)
  • Pris en charge des distributions de métriques de tâche et d’exécuteur dans l’API REST (SPARK-34488)
  • Ajout de métriques de secours pour l’agrégat de hachage (SPARK-35529)
• Ajout de count_distinct en tant qu’option à Dataset#summary (SPARK-34165)
• Implémentation de ScriptTransform dans sql/core (SPARK-31936)
• Configurabilité du délai d’expiration de pulsation du pilote BlockManagerMaster (SPARK-34278)
• Configurabilité du nom de service aléatoire côté client et autorisation du remplacement de configuration basée sur classpath côté serveur (SPARK-34828)
• ExecutorMetricsPoller doit conserver l’entrée intermédiaire dans stageTCMP jusqu’à ce qu’une pulsation se produise (SPARK-34779)
• Remplacement de if par clause filter dans RewriteDistinctAggregates (SPARK-34882)
• Corriger l’échec lors de l’application de CostBasedJoinReorder sur une jointure réflexive (SPARK-34354)
• CREATE TABLE LIKEE devrait respecter les propriétés de table réservée (SPARK-34935)
• Envoi du fichier ivySettings au pilote en mode cluster YARN (SPARK-34472)
• Résolution des colonnes courantes en double à partir de USING/NATURAL JOIN (SPARK-34527)
• Masquage des propriétés d’affichage interne pour la commande DESCRIBE TABLE (SPARK-35318)
• Prise en charge de la résolution d’attributs manquants pour indicateur distribution/cluster by/repartition (SPARK-35331)
• Ignorer l’erreur lors de la vérification du chemin d’accès dans FileStreamSink.hasMetadata (SPARK-34526)
• Amélioration de la prise en charge du validateur magique s3a en inférant les configurations manquantes (SPARK-35383)
• Autorisation d’omission de : dans la chaîne de type STRUCT (Spark-35706)
• Ajout d’un nouvel opérateur pour déterminer si AQE peut optimiser en toute sécurité (SPARK-35786)
• Ajout de nouveaux champs struct imbriqués plutôt que sort pour unionByName avec remplissage de null (SPARK-35290)
• ArraysZip devrait conserver les noms de champs afin d’éviter qu’ils soient réécrits par l’analyseur/optimiseur (SPARK-35876)
• Utilisez Coid comme nom de type NullType (SPARK-36224)
• Introduction d’une nouvelle API pour que FileCommitProtocol autorise le nommage de fichier flexible (SPARK-33298)

Changements de comportement

Consultez les guides de migration pour chaque composant : Spark Core.

Structured Streaming

Fonctionnalités majeures

• EventTime basée sur une mise en session (fenêtre de session) (SPARK-10816)
• Mise à niveau du client Kafka vers 2.8.0 (SPARK-33913)
• Trigger.AvailableNow pour l’exécution de requêtes de streaming comme Trigger.Once dans plusieurs lots dans Scala (SPARK-36533)

Autres changements notables

• Introduction d’une nouvelle option dans la source Kafka pour spécifier un nombre minimal d’enregistrements à lire par déclencheur (SPARK-35312)
• Ajout des derniers décalages à la progression de la source (SPARK-33955)

PySpark

Project Zen

• API Pandas sur Spark (SPARK-34849)
  • Activation de mypy pour pandas-on-Spark (SPARK-34941)
  • Implémentation de la prise en charge de CategoricalDtype (SPARK-35997, SPARK-36185)
  • Accomplissement des opérations de base des séries et des index (SPARK-36103, SPARK-36104, SPARK-36192)
  • Mise en correspondance des comportements avec 1.3 pandas (SPARK-36367)
  • Mise en correspondance des comportements sur les séries avec NaN vers pandas (SPARK-36031, SPARK-36310)
  • Implémentation de l’opérateur unaire « Invert » des séries et index intégraux (SPARK-36003)
  • Implémentation de CategoricalIndex.map et DatetimeIndex.map (SPARK-36470)
  • Implémentation de Index.map (SPARK-36469)
• Prise en charge de faulthanlder pour worker Python bloqué (SPARK-36062)
• Utilisation la règle de nommage Snake sur les API de fonction (SPARK-34306)
• Activation de spark.sql.execution.pyspark.udf.simplifiedTraceback.enabled par défaut (SPARK-35419)
• Prise en charge du dict imbriqué d’inférence en tant que struct lors de la création d’une tramedonnées (SPARK-35929)

Autres changements notables

• Activation du mode thread épinglé par défaut (SPARK-35303)
• Ajout de la prise en charge de NullType pour les exécutions Arrow (SPARK-33489)
• Ajout de la prise en charge de self_destruct Arrow à toPandas (SPARK-32953)
• Ajout d’API de wrapper cible de thread pour le mode thread épinglé pyspark (SPARK-35498)

Changements de comportement

Consultez les guides de migration.

MLlib

Optimisation des performances

• Optimisation de la transformation BucketedRandomProjectionLSH (SPARK-34220)
• Optimisation de w2v findSynonyms (SPARK-34189)
• Optimisation de GEMM épars en ignorant la vérification des limites (SPARK-35707)
• Amélioration des performances de ML ALS recommendForAll par GEMV (SPARK-33518)

Améliorations de l’apprentissage du modèle

• Refactorisation de l’agrégateur logistique - Prise en charge du centrage virtuel (SPARK-34797)
• Régression logistique binaire avec centrage de support d’interception (SPARK-34858, SPARK-34448)
• Régression logistique multinomiale avec centrage de support d’interception (SPARK-34860)

Améliorations de BLAS

• Remplacement entier de com.github.fommil.netlib par dev.ludovic.netlib:2.0 (SPARK-35295)
• Ajout d’une implémentation de BLAS vectorisée (SPARK-33882)
• Accélération de BLAS de secours avec dev.ludovic.netlib (SPARK-35150)

Autres changements notables

• Transformation OVR corrigeant un conflit de colonne potentiel (SPARK-34356)

Désapprobations et suppressions

• Désapprobation de spark.launcher.childConnectionTimeout (SPARK-33717)
• désapprobation de GROUP BY... GROUPING SETS (…) et promotion de GROUP BY GROUPING SETS (…)(SPARK-34932)
• Dépréciation de l’API ps.broadcast (SPARK-35810)
• Dépréciation de l’argument num_files (SPARK-35807)
• Dépréciation de DataFrame.to_spark_io (SPARK-35811)

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 10.0.

Environnement du système

• Système d’exploitation : Ubuntu 20.04.3 LTS
• Java : Zulu 8.56.0.21-CA-linux64
• Scala : 2.12.14
• Python : 3.8.10
• R : 4.1.1
• Delta Lake : 1.0.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 21/09/2021.

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)