Databricks Runtime 10.1 pour ML (EoS)

Databricks Runtime 10.1 pour Machine Learning fournit un environnement prêt à l’emploi pour Machine Learning et la science des données basé sur Databricks Runtime 10.1 (EoS). Databricks Runtime ML contient de nombreuses bibliothèques populaires de Machine Learning, notamment TensorFlow, PyTorch et XGBoost. Il prend également en charge la formation de Deep Learning distribué avec Horovod.

Pour plus d’informations, notamment les instructions relatives à la création d’un groupement Databricks Runtime ML, consultez IA et apprentissage automatique sur Databricks.

Améliorations et nouvelles fonctionnalités

Databricks Runtime 10.1 ML s’appuie sur Databricks Runtime 10.1. Pour plus d'informations sur les nouveautés de Databricks Runtime 10.1, notamment Apache Spark MLlib et SparkR, consultez les notes de publication de Databricks Runtime 10.1 (EoS).

Améliorations apportées à AutoML

Dans Databricks Runtime 10.1, AutoML inclut une détection de type sémantique améliorée, de nouvelles alertes pour les problèmes de données potentiels pendant l’entraînement, de nouvelles fonctionnalités pour empêcher le surajustement des modèles et la possibilité de fractionner le jeu de données d’entrée en jeux d’apprentissage, de validation et de test chronologiquement.

Détection de type sémantique supplémentaire

AutoML prend désormais en charge une détection de type sémantique supplémentaire :

• Les colonnes numériques qui contiennent des étiquettes catégorielles sont traitées comme un type catégoriel.
• Les colonnes de type chaîne qui contiennent du texte en anglais sont traitées comme une fonctionnalité de texte.

Vous pouvez désormais également ajouter des annotations pour spécifier un type de données de colonne. Pour plus d’informations, consultez Détection de type sémantique.

Alertes pour d’éventuels problèmes de données survenant en cours d’apprentissage

AutoML détecte et génère désormais des alertes pour d’éventuels problèmes liés au jeu de données. Les exemples d’alertes incluent des types de colonnes non pris en charge et des colonnes de cardinalité élevée. Ces alertes s’affichent dans la page d’expérience sous le nouvel onglet Alertes. Des informations supplémentaires sur les alertes sont incluses dans le notebook d’exploration de données. Pour plus d’informations, consultez Exécuter l’expérience et surveiller les résultats.

Réduction du surajustement de modèle

Deux nouvelles fonctionnalités réduisent le risque de surajustement d’un modèle lors de l’utilisation d’AutoML :

• AutoML rend compte désormais de métriques de test en plus des métriques de validation et d’apprentissage.
• AutoML utilise désormais un arrêt précoce. Il arrête les modèles de formation et de réglage si la métrique de validation ne s’améliore plus.

Fractionner le jeu de données dans un ordre chronologique en jeux d’apprentissage, de validation et de test

Pour les problèmes de classification et de régression, vous pouvez fractionner le jeu de données dans un ordre chronologique en jeux d’apprentissage, de validation et de test. Pour obtenir plus de détails, consultez Fractionner des données en jeux de formation, de validation et de test.

Améliorations apportées à Databricks Feature Store

Le magasin de composants Databricks prend désormais en charge des types de données supplémentaires pour les tables de composants : BinaryType, DecimalType et MapType.

Mlflow

Les améliorations suivantes sont disponibles à partir de la version 1.21.0 de Mlflow, qui est incluse dans Databricks Runtime 10.1  ML.

• [Modèles] Mise à niveau de la version de modèle fastai pour prendre en charge fastai v2 (2.4.1 et versions ultérieures).
• [Modèles] Introduction d’une version de modèle mlflow.prophet pour les modèles de série chronologique Prophet.
• [Scoring] Correction d’une erreur d’application de schéma qui convertit erronément les chaînes de type date en objets DateHeure.

Hyperopt

SparkTrials prend désormais en charge le early_stopping_fn paramètre pour fmin. Vous pouvez utiliser la fonction d’arrêt précoce pour spécifier les conditions dans lesquelles Hyperopt devrait arrêter un réglage d’hyperparamètre avant que le nombre maximal d’évaluations soit atteint. Par exemple, vous pouvez utiliser ce paramètre pour mettre fin au réglage si la fonction objective ne diminue plus. Pour plus d’informations, consultez fmin().

Changements importants apportés à l’environnement Python de Databricks Runtime ML

Mise à niveau des packages Python

• automl 1.3.1 => 1.4.1
• feature_store 0.3.4 => 0.3.5
• holidays 0.11.2 => 0.11.3.1
• horovod 0.22.1 => 0.23.0
• hyperopt 0.2.5.db2 => 0.2.5.db4
• imbalanced-learn 0.8.0 => 0.8.1
• lightgbm 3.1.1 => 3.3.0
• mlflow 1.20.2 => 1.21.0
• petastorm 0.11.2 => 0.11.3
• plotly 5.1.0 => 5.3.0
• pytorch 1.9.0 => 1.9.1
• spacy 3.1.2 => 3.1.3
• sparkdl 2.2.0_db3 => 2.2.0_db4
• torchvision 0.10.0 => 0.10.1
• transformers 4.9.2 => 4.11.3

Ajout de packages Python

• fasttext => 0.9.2
• tensorboard-plugin-profile => 2.5.0

Dépréciations

Le suivi MLflow automatisé de MLlib est déconseillé sur des clusters exécutant Databricks Runtime 10.1 ML et versions ultérieures. À la place, utilisez la journalisation automatique MLflow PySpark ML en appelant la commande mlflow.pyspark.ml.autolog(). La journalisation est activée par défaut avec Databricks Autologging.

Environnement du système

L’environnement système de Databricks Runtime 10.1 ML diffère de Databricks Runtime 10.1 comme suit :

• DBUtils : Databricks Runtime ML n’inclut pas L’Utilitaire de bibliothèque (dbutils.library) (hérité). Utilisez les commandes %pip à la place. Consultez Bibliothèques Python délimitées à un notebook.
• Pour les clusters GPU, Databricks Runtime ML inclut les bibliothèques GPU NVIDIA suivantes :
  • CUDA 11.0
  • cuDNN 8.0.5.39
  • NCCL 2.10.3
  • TensorRT 7.2.2

Bibliothèques

Les sections suivantes répertorient les bibliothèques incluses dans Databricks Runtime ML 10.1 qui diffèrent de celles incluses dans Databricks Runtime 10.1.

Dans cette section :

• Bibliothèques de niveau supérieur
• Bibliothèques Python
• Bibliothèques R
• Bibliothèques Java et Scala (cluster Scala 2.12)

Bibliothèques de niveau supérieur

Databricks Runtime 10.1 ML comprend les bibliothèquesde niveau supérieur suivantes :

• GraphFrames
• Horovod et HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard

Bibliothèques Python

Databricks Runtime 10.1 ML utilise Virtualenv pour la gestion des packages Python et comprend de nombreux packages ML populaires.

En plus des packages spécifiés dans les sections suivantes, Databricks Runtime 10.1 ML comprend également les packages suivants :

• hyperopt 0.2.5.db4
• sparkdl 2.2.0.db4
• feature_store 0.3.5
• automl 1.4.0

#!/bin/bash

set -e

pip install --upgrade "scikit-learn>=1.0,<1.1"

Bibliothèques Python sur les clusters UC

Bibliothèques Python sur les clusters GPU

Packages Spark contenant des modules Python

Bibliothèques R

Les bibliothèques R sont identiques aux bibliothèques R dans Databricks Runtime 10.1.

Bibliothèques Java et Scala (cluster Scala 2.12)

En plus des bibliothèques Java et Scala dans Databricks Runtime 10.1, Databricks Runtime 10.1 ML contient les fichiers jar suivants :

Clusters UC

Clusters GPU