Partager via


MpiStep Classe

Crée une étape de pipeline Azure Machine Learning pour exécuter une tâche MPI.

Pour obtenir un exemple d’utilisation de MpiStep, consultez le notebook https://aka.ms/pl-style-trans.

Créez une étape de pipeline Azure ML pour exécuter un travail MPI.

DÉPRÉCIÉ. Utilisez plutôt CommandStep. Pour obtenir un exemple, consultez Comment exécuter un entraînement distribué dans des pipelines avec CommandStep.

Héritage

Constructeur

MpiStep(name=None, source_directory=None, script_name=None, arguments=None, compute_target=None, node_count=None, process_count_per_node=None, inputs=None, outputs=None, allow_reuse=True, version=None, hash_paths=None, **kwargs)

Paramètres

Nom Description
name
str

[Obligatoire] Nom du module.

Valeur par défaut: None
source_directory
str

[Obligatoire] Dossier qui contient le script Python, l’environnement Conda et d’autres ressources utilisées lors de cette étape.

Valeur par défaut: None
script_name
str

[Obligatoire] Nom d’un script Python relatif à source_directory.

Valeur par défaut: None
arguments

[Obligatoire] Liste des arguments de ligne de commande.

Valeur par défaut: None
compute_target

[Obligatoire] Cible de calcul à utiliser.

Valeur par défaut: None
node_count
int

[Obligatoire] Nombre de nœuds dans la cible de calcul utilisée pour l’apprentissage. Si la valeur est supérieure à 1, un travail distribué MPI est exécuté. Seule la cible de calcul AmlCompute est prise en charge pour les travaux distribués. Les valeurs PipelineParameter sont prises en charge.

Valeur par défaut: None
process_count_per_node
int

[Obligatoire] Nombre de processus par nœud. Si la valeur est supérieure à 1, un travail distribué MPI est exécuté. Seule la cible de calcul AmlCompute est prise en charge pour les travaux distribués. Les valeurs PipelineParameter sont prises en charge.

Valeur par défaut: None
inputs

Liste des liaisons de port d’entrée.

Valeur par défaut: None
outputs

Liste des liaisons de port de sortie.

Valeur par défaut: None
params
Obligatoire

Dictionnaire des paires nom-valeur inscrites en tant que variables d’environnement avec « AML_PARAMETER_ ».

allow_reuse

Indique si l’étape doit réutiliser les résultats précédents lorsqu’elle est exécutée avec les mêmes paramètres. La réutilisation est activée par défaut. Si le contenu de l’étape (scripts/dépendances) ainsi que les entrées et les paramètres restent inchangés, la sortie de l’exécution précédente de cette étape est réutilisée. Lors de la réutilisation de l’étape, au lieu de soumettre le travail au calcul, les résultats de l’exécution précédente sont immédiatement mis à la disposition des étapes suivantes. Si vous utilisez des jeux de données Azure Machine Learning comme entrées, la réutilisation est déterminée par le fait que la définition du jeu de données a changé ou pas, non par la modification éventuelle des données sous-jacentes.

Valeur par défaut: True
version
str

Balise de version facultative pour indiquer une modification de fonctionnalité pour le module.

Valeur par défaut: None
hash_paths

DÉPRÉCIÉ : n’est plus nécessaire.

Liste de chemins à hacher lors de la recherche des modifications apportées au contenu de l’étape. Si aucune modification n’est détectée, le pipeline réutilise le contenu de l’étape d’une exécution précédente. Par défaut, le contenu de source_directory est haché (à l’exception des fichiers répertoriés dans .amlignore ou .gitignore).

Valeur par défaut: None
use_gpu
Obligatoire

Indique si l’environnement d’exécution de l’expérience doit prendre en charge les GPU. Si la valeur est True, une image Docker par défaut basée sur le GPU est utilisée dans l’environnement. Si False est défini, une image basée sur l’UC est utilisée. Les images Docker par défaut (processeur ou GPU) sont utilisées uniquement si le paramètre custom_docker_image n’est pas défini. Ce paramètre est utilisé uniquement dans les cibles de calcul compatibles avec Docker.

use_docker
Obligatoire

Indique si l’environnement d’exécution de l’expérience doit être basé sur Docker.

custom_docker_image
Obligatoire
str

Nom de l’image Docker à partir de laquelle l’image à utiliser pour la formation sera générée. Si la valeur n’est pas définie, une image par défaut basée sur l’UC est utilisée comme image de base.

image_registry_details
Obligatoire

Détails du registre de l’image Docker.

user_managed
Obligatoire

Indique si Azure ML réutilise un environnement Python existant ; la valeur False signifie qu’Azure ML va créer un environnement Python basé sur la spécification de dépendances Conda.

conda_packages
Obligatoire

Liste des chaînes représentant les packages Conda à ajouter à l’environnement Python.

pip_packages
Obligatoire

Liste des chaînes représentant les packages pip à ajouter à l’environnement Python.

pip_requirements_file_path
Obligatoire
str

Chemin d’accès relatif au fichier texte des spécifications pip. Ce paramètre peut être spécifié en association avec le paramètre pip_packages.

environment_definition
Obligatoire

EnvironmentDefinition pour l’expérience. Cela inclut PythonSection, DockerSection et les variables d’environnement. Toute option d’environnement qui n’est pas directement exposée par le biais d’autres paramètres à la construction MpiStep peut être définie à l’aide du paramètre environment_definition. Si ce paramètre est spécifié, il a la priorité sur les autres paramètres liés à l’environnement, comme use_gpu, custom_docker_image, conda_packages ou pip_packages et des erreurs sur ces combinaisons non valides sont signalées.

name
Obligatoire
str

[Obligatoire] Nom du module.

source_directory
Obligatoire
str

[Obligatoire] Dossier qui contient le script Python, l’environnement Conda et d’autres ressources utilisées lors de cette étape.

script_name
Obligatoire
str

[Obligatoire] Nom d’un script Python relatif à source_directory.

arguments
Obligatoire

[Obligatoire] Liste des arguments de ligne de commande.

compute_target
Obligatoire
<xref:azureml.core.compute.AmlComputeCompute>, str

[Obligatoire] Cible de calcul à utiliser.

node_count
Obligatoire
int

[Obligatoire] Nombre de nœuds dans la cible de calcul utilisée pour l’entraînement. S’il est supérieur à 1, le travail distribué mpi est exécuté. Seule la cible de calcul AmlCompute est prise en charge pour les travaux distribués. Les valeurs PipelineParameter sont prises en charge.

process_count_per_node
Obligatoire
int

[Obligatoire] Nombre de processus par nœud. S’il est supérieur à 1, le travail distribué mpi est exécuté. Seule la cible de calcul AmlCompute est prise en charge pour les travaux distribués. Les valeurs PipelineParameter sont prises en charge.

inputs
Obligatoire

Liste des liaisons de port d’entrée.

outputs
Obligatoire

Liste des liaisons de port de sortie.

params
Obligatoire

Dictionnaire de paires nom-valeur inscrites en tant que variables d’environnement avec «>> AML_PARAMETER_<< ».

allow_reuse
Obligatoire

Indique si l’étape doit réutiliser les résultats précédents lors de la réexécutation avec les mêmes paramètres, la sortie de l’exécution précédente de cette étape est réutilisée. Lors de la réutilisation de l’étape, au lieu de soumettre le travail au calcul, les résultats de l’exécution précédente sont immédiatement mis à la disposition des étapes suivantes. Si vous utilisez des jeux de données Azure Machine Learning comme entrées, la réutilisation est déterminée par le fait que la définition du jeu de données a changé ou pas, non par la modification éventuelle des données sous-jacentes.

version
Obligatoire
str

Balise de version facultative pour indiquer une modification des fonctionnalités du module

hash_paths
Obligatoire

DÉPRÉCIÉ : n’est plus nécessaire.

Liste de chemins à hacher lors de la recherche des modifications apportées au contenu de l’étape. Si aucune modification n’est détectée, le pipeline réutilise le contenu de l’étape d’une exécution précédente. Par défaut, le contenu de source_directory est haché (à l’exception des fichiers répertoriés dans .amlignore ou .gitignore).

use_gpu
Obligatoire

Indique si l’environnement d’exécution de l’expérience doit prendre en charge les GPU. Si la valeur est True, une image Docker par défaut basée sur le GPU est utilisée dans l’environnement. Si False est défini, une image basée sur l’UC est utilisée. Les images Docker par défaut (processeur ou GPU) sont utilisées uniquement si le paramètre custom_docker_image n’est pas défini. Ce paramètre est utilisé uniquement dans les cibles de calcul compatibles avec Docker.

use_docker
Obligatoire

Indique si l’environnement d’exécution de l’expérience doit être basé sur Docker. custom_docker_image (str) : nom de l’image Docker à partir de laquelle l’image à utiliser pour le travail mpi sera générée. Si la valeur n’est pas définie, une image par défaut basée sur l’UC sera utilisée comme image de base.

custom_docker_image
Obligatoire
str

Nom de l’image Docker à partir de laquelle l’image à utiliser pour la formation sera générée. Si la valeur n’est pas définie, une image par défaut basée sur l’UC est utilisée comme image de base.

image_registry_details
Obligatoire

Détails du registre de l’image Docker.

user_managed
Obligatoire

Indique si Azure ML réutilise un environnement Python existant ; la valeur False signifie qu’Azure ML va créer un environnement Python basé sur la spécification de dépendances Conda.

conda_packages
Obligatoire

Liste des chaînes représentant les packages Conda à ajouter à l’environnement Python.

pip_packages
Obligatoire

Liste des chaînes représentant les packages pip à ajouter à l’environnement Python.

pip_requirements_file_path
Obligatoire
str

Chemin d’accès relatif au fichier texte des spécifications pip. Ce paramètre peut être spécifié en association avec le paramètre pip_packages.

environment_definition
Obligatoire

EnvironmentDefinition pour l’expérience. Cela inclut PythonSection, DockerSection et les variables d’environnement. Toute option d’environnement qui n’est pas directement exposée par le biais d’autres paramètres à la construction MpiStep peut être définie à l’aide du paramètre environment_definition. Si ce paramètre est spécifié, il a la priorité sur les autres paramètres liés à l’environnement, comme use_gpu, custom_docker_image, conda_packages ou pip_packages et des erreurs sur ces combinaisons non valides sont signalées.