Databricks Runtime 6.3 (EoS)

Databricks a publié cette version en janvier 2020.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 6.3 optimisé par Apache Spark.

Nouvelles fonctionnalités

Delta Lake

Cette version offre une meilleure concurrence. Les fonctionnalités clés sont les suivantes :

• Amélioration de la concurrence pour toutes les opérations Delta Lake : Vous pouvez maintenant exécuter plusieurs opérations Delta Lake simultanément. Le contrôle de l’accès concurrentiel optimiste de Delta Lake a été amélioré en rendant la détection des conflits plus fine. Il est ainsi plus facile d’exécuter des flux de travail complexes sur des tables Delta. Par exemple :

  • Exécution des suppressions (par exemple, pour la conformité RGPD) simultanément sur les partitions plus anciennes, tandis que les partitions plus récentes sont ajoutées.
  • Exécution simultanée des mises à jour et des fusions sur des ensembles de partitions disjointes.
  • Exécution des compressions de fichiers simultanément avec les ajouts.

  Consultez Niveaux d’isolation et conflits d’écriture sur Azure Databricks.

• Amélioration de la prise en charge de la compression de fichiers : Cous pouvez désormais comprimer des fichiers en les réécrivant avec DataFrameWriter l'option dataChange définie sur false. Cette option permet à une opération de compression de s’exécuter simultanément avec d’autres opérations de traitement par lots et de streaming. Pour plus d’informations, consultez Compresser des fichiers.

• Amélioration des performances pour la fusion en insertion seule. Delta Lake propose désormais des performances optimisées pour les opérations de fusion qui ont uniquement des clauses d’insertion et aucune clause de mise à jour. En outre, Delta Lake garantit que les écritures de ces fusions en insertion seule ajoutent uniquement de nouvelles données à la table. Par conséquent, vous pouvez désormais utiliser Structured Streaming et les fusions en insertion seule pour effectuer une déduplication continue des données (par exemple, des journaux). Pour plus d’informations, consultez Déduplication des données lors de l’écriture dans les tables Delta.

Ajouter des ports supplémentaires à la liste d’autorisation lorsque l’isolement des processus est activé

Lorsque vous activez des fonctionnalités de sécurité telles que les listes de contrôle d’accès de table ou les informations d’identification intermédiaires sur le cluster, vous pouvez spécifier des ports de sortie supplémentaires auxquels vous souhaitez que les processus Python puissent accéder en définissant la Configuration Sparkspark.databricks.pyspark.iptable.outbound.whitelisted.ports sur les ports à autoriser. Le format pris en charge pour la valeur de configuration est [port[:port][,port[:port]]...], par exemple : 21,22,9000:9999. Le port doit être compris dans la plage valide, c.-à-d. 0-65535.

Désactiver la sortie des travaux pour les travaux Scala

La sortie des travaux, telle que la sortie de journal émise vers stdout, est soumise à une limite de taille de 20 Mo. Vous pouvez empêcher le renvoi de stdout du pilote à Azure Databricks en définissant la configuration Spark spark.databricks.driver.disableScalaOutput sur true. L’indicateur contrôle la sortie des cellules pour les travaux JAR Scala et les notebooks Scala. Consultez Limites de taille de sortie pour les travaux JAR.

Les figures Matplotlib inline sont désormais prises en charge dans les notebooks Azure Databricks (préversion publique)

Vous pouvez dorénavant afficher automatiquement des figures Matplotlib sans avoir à passer la figure à la méthode display. Pour plus d’informations, consultez Matplotlib.

Nouveau paramètre ajouté à Azure Synapse Analytics

Par défaut, le paramètre applicationName est défini sur Databricks-User-Query. Avec la valeur par défaut, l’outil Azure DB Monitoring ne peut pas déclencher d’alertes d’injection SQL parasites sur des requêtes. Si l’étiquette n’est pas spécifiée ou si sa valeur est une chaîne vide, la valeur par défaut de l’étiquette est ajoutée à l’URL JDBC. Consultez Informations de référence sur les options de connecteur Azure Databricks Synapse.

Améliorations

• shutil.copytree travaillez maintenant pour /dbfs.
• Lors de l’exécution de travaux de production Structured Streaming sur des clusters en mode Concurrence élevée, le redémarrage d’un travail pouvait parfois échouer, car le travail précédemment exécuté n’était pas terminé correctement. Pour vous assurer que l’exécution précédente s’arrête, définissez la configuration SQL spark.sql.streaming.stopActiveRunOnRestart true sur votre cluster. Si le flux ne peut pas être arrêté correctement, une exception de délai d’attente est levée au bout de 15 secondes. Dans ce cas, nous vous recommandons de redémarrer votre cluster.
• Mise à niveau de plusieurs bibliothèques R installées. Consultez Bibliothèques R installées.

Apache Spark

Databricks Runtime 6.3 comprend Apache Spark 2.4.4. Cette version inclut tous les correctifs et améliorations Spark figurant dans Databricks Runtime 6.2 (EoS) ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

• [SPARK-30198][CORE] BytesToBytesMap n’augmente pas le tableau long interne comme prévu
• [SPARK-29918][SQL] RecordBinaryComparator doit vérifier endianness en cas de comparaison par long
• [SPARK-30274][CORE] Éviter que la recherche BytesToBytesMap se bloque de façon permanente quand des clés tenues atteignent la capacité maximale
• [SPARK-25392][CORE][WEBUI] Empêcher la page d’erreur lors de l’accès à la page pools depuis le serveur d’historique
• [SPARK-30263][CORE] Ne pas consigner la valeur potentiellement sensible des propriétés non-Spark ignorées dans spark-submit
• [SPARK-28637][SQL] Thriftserver prendre en charge le type d’intervalle
• [SPARK-30238][SQL] Le nettoyage de la partition hive peut uniquement prendre en charge les types chaîne et intégral
• [SPARK-30198][CORE] BytesToBytesMap n’augmente pas le tableau long interne comme prévu
• [SPARK-24666][ML] Corriger des vecteurs infinis produits par Word2Vec lorsque les numIterations sont volumineux
• [SPARK-30129][CORE] Définir l’ID du client dans TransportClient après une authentification réussie
• [SPARK-30050][SQL] Analyser la table et renommer la table ne doit pas effacer les informations de compartimentation de table hive
• [SPARK-28152][SQL] ShortType mappé à SMALLINT et FloatType à REAL pour MsSqlServerDialect
• [SPARK-29971][CORE] Corriger des fuites de mémoire tampon dans TransportFrameDecoder/TransportCipher
• [SPARK-29970][WEBUI] État d’ouverture/fermeture de préserveur de Timelineview
• [SPARK-29949][SQL] Corriger la mise en forme des timestamps par des sources de source de type JSON/CSV
• [SPARK-27558][CORE] Nettoyer normalement la tâche lorsqu’elle échoue avec l’exception OOM
• [SPARK-29758][SQL] Corriger la troncation des champs de chaîne demandés dans json_tuple
• [SPARK-29949][SQL] Corriger la mise en forme des timestamps par des sources de source de type JSON/CSV
• [SPARK-29936][R] Corriger les erreurs lint SparkR et ajouter une action lint-r GitHub
• [SPARK-29904][SQL] Analyse des timestamps avec une précision de l’ordre de la microseconde par des sources de données JSON/CSV
• [SPARK-29904][SQL] Analyse des timestamps avec une précision de l’ordre de la microseconde par des sources de données JSON/CSV
• [SPARK-26499][SQL] JdbcUtils.makeGetter ne gère pas ByteType
• [SPARK-29682][SQL] Résoudre correctement les attributs en conflit dans Expand
• [SPARK-29875][PYTHON][SQL] Évite d’utiliser l’API déconseillée pyarrow.open_stream dans SPARK 2.4.x
• [SPARK-29850][SQL] sort-merge-join une table vide ne doit pas présenter de fuite de mémoire
• [SPARK-28939][SQL] Propager SQLConf pour les plans exécutés par toRdd

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 6.3.

Environnement du système

• Système d’exploitation : Ubuntu 16.04.6 LTS
• Java : 1.8.0_252
• Scala : 2.11.12
• Python : 3.7.3
• R : R version 3.6.2 (2019-12-12)
• Delta Lake : 0.5.0

Dans cette section :

• Bibliothèques Python installées
• Bibliothèques R installées
• Bibliothèques Java et Scala installées (version de cluster Scala 2.11)

Bibliothèques Python installées

Bibliothèques R installées

Bibliothèques Java et Scala installées (version de cluster Scala 2.11)