Databricks Runtime 9.0 pour ML (EoS)

Databricks a publié cette version en août 2021.

Databricks Runtime 9.0 for Machine Learning fournit un environnement prêt à l’emploi pour l’apprentissage automatique et la science des données basé sur Databricks Runtime 9.0 (EoS). Databricks Runtime ML contient de nombreuses bibliothèques populaires de Machine Learning, notamment TensorFlow, PyTorch et XGBoost. Il prend également en charge la formation de Deep Learning distribué avec Horovod.

Pour plus d’informations, y compris les instructions relatives à la création d’un cluster Databricks Runtime ML, consultez IA et machine learning sur Databricks.

Correction

Une version précédente de ces notes de publication indiquait que la prise en charge du monitoring des métriques GPU des clusters avec Ganglia était désactivée dans Databricks Runtime 9.0 ML GPU. Cela était vrai pour Databricks Runtime 9.0 ML version bêta, mais le problème a été corrigé avec Databricks Runtime 9.0 ML GA. La déclaration a été supprimée.

Améliorations et nouvelles fonctionnalités

Databricks Runtime 9.0 ML s’appuie sur Databricks Runtime 9.0. Pour plus d’informations sur les nouveautés de Databricks Runtime 9.0, notamment Apache Spark MLlib et SparkR, consultez les notes de publication de Databricks Runtime 9.0 (EoS).

Databricks Autologging (Préversion publique)

Databricks Autologging est désormais disponible pour Databricks Runtime 9.0 pour le Machine Learning dans certaines régions. Databricks Autologging est une solution sans code qui assure le suivi automatique des expériences pour les sessions de formation d'apprentissage automatique sur Azure Databricks. Avec Databricks Autologging, les paramètres des modèles, les métriques, les fichiers et les informations de lignage sont automatiquement capturés lorsque vous formez des modèles à partir d'une variété de bibliothèques d'apprentissage automatique populaires. Les sessions de formation sont enregistrées en tant qu’exécutions de suivi MLflow. Les fichiers de modèle sont également suivis afin que vous puissiez facilement les enregistrer dans le registre de modèles MLflow et les déployer pour un scoring en temps réel avec MLflow Model Serving.

Pour plus d’informations sur Databricks Autologging, consultez Databricks Autologging.

Améliorations apportées au magasin de caractéristiques Databricks

Les performances lors de la création d’un jeu de formation ont été améliorées en réduisant le nombre de jointures entre les tables de fonctionnalités sources.

L’intégration de XGBoost à PySpark prend désormais en charge la formation distribuée et les clusters GPU

Pour plus d’informations, consultez Utiliser XGBoost sur Azure Databricks.

Changements importants apportés à l’environnement Python de Databricks Runtime ML

Les environnements Conda, ainsi que la commande %conda, sont supprimés. Databricks Runtime 9.0 ML est construit avec pip et virtualenv. Les images personnalisées utilisant des environnements Conda avec Databricks Container Services seront toujours prises en charge, mais ne disposeront pas des capacités de la bibliothèque étendue au notebook. Databricks recommande d’utiliser des environnements basés sur virtualenv avec Databricks Container Services et %pip pour toutes les bibliothèques étendues au notebook.

Consultez Databricks Runtime 9.0 (EoS) pour connaître les modifications majeures apportées à l’environnement Python de Databricks Runtime. Pour obtenir la liste complète des packages Python installés et leurs versions, consultez Bibliothèques Python.

Mise à niveau des packages Python

• mlflow 1.18.0 -> 1.19.0
• nltk 3.5 -> 3.6.1

Ajout de packages Python

• prophet 1.0.1

Packages Python supprimés

• MKL
• azure-core
• azure-storage-blob
• msrest
• docker
• querystring-parser
• intel-openmp

Dépréciations et fonctionnalités non prises en charge

• Dans Databricks Runtime 9.0 ML, HorovodRunner ne prend pas en charge le paramètre np=0, où np correspond au nombre de processus parallèles à utiliser pour le travail Horovod.
• Databricks Runtime 9.0 ML inclut r-base 4.1.0 avec le moteur graphique R version 14. Cela n’est pas pris en charge par la version 1.2.x de RStudio Server.
• nvprof est supprimé dans Databricks Runtime 9.0 ML GPU.

Environnement du système

L’environnement système de Databricks Runtime 9.0 ML diffère de celui de Databricks Runtime 9.0 comme suit :

• DBUtils : Databricks Runtime ML n’inclut pas L’Utilitaire de bibliothèque (dbutils.library) (hérité). Utilisez les commandes %pip à la place. Consultez Bibliothèques Python délimitées à un notebook.
• Pour les clusters GPU, Databricks Runtime ML inclut les bibliothèques GPU NVIDIA suivantes :
  • CUDA 11.0
  • cuDNN 8.1.0.77
  • NCCL 2.10.3
  • TensorRT 7.2.2

Bibliothèques

Les sections suivantes répertorient les bibliothèques incluses dans Databricks Runtime 9.0 ML qui diffèrent de celles incluses dans Databricks Runtime 9.0.

Dans cette section :

• Bibliothèques de niveau supérieur
• Bibliothèques Python
• Bibliothèques R
• Bibliothèques Java et Scala (cluster Scala 2.12)

Bibliothèques de niveau supérieur

Databricks Runtime 9.0 ML comprend les bibliothèques de niveau supérieur suivantes :

• GraphFrames
• Horovod et HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard

Bibliothèques Python

Databricks Runtime 9.0 ML utilise Virtualenv pour la gestion des packages Python et comprend de nombreux packages ML populaires.

En plus des packages spécifiés dans les sections suivantes, Databricks Runtime 9.0 ML comprend également les packages suivants :

• hyperopt 0.2.5.db2
• sparkdl 2.2.0_db1
• feature_store 0.3.3
• automl 1.1.1

Bibliothèques Python sur les clusters UC

Bibliothèques Python sur les clusters GPU

Packages Spark contenant des modules Python

Bibliothèques R

Les bibliothèques R sont identiques aux bibliothèques R de Databricks Runtime 9.0.

Bibliothèques Java et Scala (cluster Scala 2.12)

En plus des bibliothèques Java et Scala de Databricks Runtime 9.0, Databricks Runtime 9.0 ML contient les fichiers JAR suivants :

Clusters UC

Clusters GPU