Exemples d’entraînement de modèle
Cette section comprend des exemples illustrant comment former des modèles d’apprentissage automatique sur Azure Databricks à l’aide de nombreuses bibliothèques open source populaires.
Vous pouvez également utiliser AutoML, qui prépare automatiquement un jeu de données pour l’entraînement du modèle, effectue une set d’essais à l’aide de bibliothèques open source telles que scikit-learn et XGBoost, et crée un notebook Python avec le code source pour chaque exécution d’évaluation afin de pouvoir passer en revue, reproduire et modifier le code.
Exemples de machine learning
| Package | Notebook(s) | Fonctionnalités |
|---|---|---|
| scikit-learn | Didacticiel de Machine Learning | Unity Catalog, modèle de classification, MLflow, réglage automatisé des hyperparamètres avec Hyperopt et MLflow |
| scikit-learn | Exemple de bout en bout | Unity Catalog, modèle de classification, MLflow, réglage automatisé des hyperparamètres avec Hyperopt et MLflow, XGBoost |
| MLlib | Exemples de MLlib | Classification binaire, arbres de décision, régression GBT, Structured Streaming, transformateur personnalisé |
| xgboost | Exemples de XGBoost | Python, PySpark et Scala, charges de travail mononœuds et entraînement distribué |
Exemple de réglage des hyperparamètres
Pour obtenir des informations générales sur le réglage des hyperparamètres dans Azure Databricks, consultez Réglage des hyperparamètres.
| Package | Notebook | Fonctionnalités |
|---|---|---|
| Optuna | Get a démarré avec Optuna | Optuna, Optuna distribué, scikit-learn, MLflow |
| Hyperopt | Hyperopt distribué | Hyperopt distribué, scikit-learn, MLflow |
| Hyperopt | Comparer des modèles | Utiliser l’hyperopt distribué pour rechercher simultanément l’espace des hyperparamètres de différents types de modèles |
| Hyperopt | Algorithmes d’entraînement distribué et hyperopt | Hyperopt, MLlib |
| Hyperopt | Bonnes pratiques pour Hyperopt | Bonnes pratiques pour les jeux de données de différentes tailles |