MpiStep Classe
Crée une étape de pipeline Azure Machine Learning pour exécuter une tâche MPI.
Pour obtenir un exemple d’utilisation de MpiStep, consultez le notebook https://aka.ms/pl-style-trans.
Créez une étape de pipeline Azure ML pour exécuter un travail MPI.
DÉPRÉCIÉ. Utilisez plutôt CommandStep. Pour obtenir un exemple, consultez Comment exécuter un entraînement distribué dans des pipelines avec CommandStep.
- Héritage
-
MpiStep
Constructeur
MpiStep(name=None, source_directory=None, script_name=None, arguments=None, compute_target=None, node_count=None, process_count_per_node=None, inputs=None, outputs=None, allow_reuse=True, version=None, hash_paths=None, **kwargs)
Paramètres
Nom | Description |
---|---|
name
|
[Obligatoire] Nom du module. Valeur par défaut: None
|
source_directory
|
[Obligatoire] Dossier qui contient le script Python, l’environnement Conda et d’autres ressources utilisées lors de cette étape. Valeur par défaut: None
|
script_name
|
[Obligatoire] Nom d’un script Python relatif à Valeur par défaut: None
|
arguments
|
[Obligatoire] Liste des arguments de ligne de commande. Valeur par défaut: None
|
compute_target
|
[Obligatoire] Cible de calcul à utiliser. Valeur par défaut: None
|
node_count
|
[Obligatoire] Nombre de nœuds dans la cible de calcul utilisée pour l’apprentissage. Si la valeur est supérieure à 1, un travail distribué MPI est exécuté. Seule la cible de calcul AmlCompute est prise en charge pour les travaux distribués. Les valeurs PipelineParameter sont prises en charge. Valeur par défaut: None
|
process_count_per_node
|
[Obligatoire] Nombre de processus par nœud. Si la valeur est supérieure à 1, un travail distribué MPI est exécuté. Seule la cible de calcul AmlCompute est prise en charge pour les travaux distribués. Les valeurs PipelineParameter sont prises en charge. Valeur par défaut: None
|
inputs
|
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]]
Liste des liaisons de port d’entrée. Valeur par défaut: None
|
outputs
|
Liste des liaisons de port de sortie. Valeur par défaut: None
|
params
Obligatoire
|
Dictionnaire des paires nom-valeur inscrites en tant que variables d’environnement avec « AML_PARAMETER_ ». |
allow_reuse
|
Indique si l’étape doit réutiliser les résultats précédents lorsqu’elle est exécutée avec les mêmes paramètres. La réutilisation est activée par défaut. Si le contenu de l’étape (scripts/dépendances) ainsi que les entrées et les paramètres restent inchangés, la sortie de l’exécution précédente de cette étape est réutilisée. Lors de la réutilisation de l’étape, au lieu de soumettre le travail au calcul, les résultats de l’exécution précédente sont immédiatement mis à la disposition des étapes suivantes. Si vous utilisez des jeux de données Azure Machine Learning comme entrées, la réutilisation est déterminée par le fait que la définition du jeu de données a changé ou pas, non par la modification éventuelle des données sous-jacentes. Valeur par défaut: True
|
version
|
Balise de version facultative pour indiquer une modification de fonctionnalité pour le module. Valeur par défaut: None
|
hash_paths
|
DÉPRÉCIÉ : n’est plus nécessaire. Liste de chemins à hacher lors de la recherche des modifications apportées au contenu de l’étape. Si aucune modification n’est détectée, le pipeline réutilise le contenu de l’étape d’une exécution précédente. Par défaut, le contenu de Valeur par défaut: None
|
use_gpu
Obligatoire
|
Indique si l’environnement d’exécution de l’expérience doit prendre en charge les GPU.
Si la valeur est True, une image Docker par défaut basée sur le GPU est utilisée dans l’environnement. Si False est défini, une image basée sur l’UC est utilisée. Les images Docker par défaut (processeur ou GPU) sont utilisées uniquement si le paramètre |
use_docker
Obligatoire
|
Indique si l’environnement d’exécution de l’expérience doit être basé sur Docker. |
custom_docker_image
Obligatoire
|
Nom de l’image Docker à partir de laquelle l’image à utiliser pour la formation sera générée. Si la valeur n’est pas définie, une image par défaut basée sur l’UC est utilisée comme image de base. |
image_registry_details
Obligatoire
|
Détails du registre de l’image Docker. |
user_managed
Obligatoire
|
Indique si Azure ML réutilise un environnement Python existant ; la valeur False signifie qu’Azure ML va créer un environnement Python basé sur la spécification de dépendances Conda. |
conda_packages
Obligatoire
|
Liste des chaînes représentant les packages Conda à ajouter à l’environnement Python. |
pip_packages
Obligatoire
|
Liste des chaînes représentant les packages pip à ajouter à l’environnement Python. |
pip_requirements_file_path
Obligatoire
|
Chemin d’accès relatif au fichier texte des spécifications pip.
Ce paramètre peut être spécifié en association avec le paramètre |
environment_definition
Obligatoire
|
EnvironmentDefinition pour l’expérience. Cela inclut PythonSection, DockerSection et les variables d’environnement. Toute option d’environnement qui n’est pas directement exposée par le biais d’autres paramètres à la construction MpiStep peut être définie à l’aide du paramètre environment_definition. Si ce paramètre est spécifié, il a la priorité sur les autres paramètres liés à l’environnement, comme use_gpu, custom_docker_image, conda_packages ou pip_packages et des erreurs sur ces combinaisons non valides sont signalées. |
name
Obligatoire
|
[Obligatoire] Nom du module. |
source_directory
Obligatoire
|
[Obligatoire] Dossier qui contient le script Python, l’environnement Conda et d’autres ressources utilisées lors de cette étape. |
script_name
Obligatoire
|
[Obligatoire] Nom d’un script Python relatif à |
arguments
Obligatoire
|
[Obligatoire] Liste des arguments de ligne de commande. |
compute_target
Obligatoire
|
<xref:azureml.core.compute.AmlComputeCompute>, str
[Obligatoire] Cible de calcul à utiliser. |
node_count
Obligatoire
|
[Obligatoire] Nombre de nœuds dans la cible de calcul utilisée pour l’entraînement. S’il est supérieur à 1, le travail distribué mpi est exécuté. Seule la cible de calcul AmlCompute est prise en charge pour les travaux distribués. Les valeurs PipelineParameter sont prises en charge. |
process_count_per_node
Obligatoire
|
[Obligatoire] Nombre de processus par nœud. S’il est supérieur à 1, le travail distribué mpi est exécuté. Seule la cible de calcul AmlCompute est prise en charge pour les travaux distribués. Les valeurs PipelineParameter sont prises en charge. |
inputs
Obligatoire
|
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]]
Liste des liaisons de port d’entrée. |
outputs
Obligatoire
|
Liste des liaisons de port de sortie. |
params
Obligatoire
|
Dictionnaire de paires nom-valeur inscrites en tant que variables d’environnement avec «>> AML_PARAMETER_<< ». |
allow_reuse
Obligatoire
|
Indique si l’étape doit réutiliser les résultats précédents lorsque la réexécutation avec les mêmes paramètres reste inchangée. La sortie de l’exécution précédente de cette étape est réutilisée. Lors de la réutilisation de l’étape, au lieu de soumettre le travail au calcul, les résultats de l’exécution précédente sont immédiatement mis à la disposition des étapes suivantes. Si vous utilisez des jeux de données Azure Machine Learning comme entrées, la réutilisation est déterminée par le fait que la définition du jeu de données a changé ou pas, non par la modification éventuelle des données sous-jacentes. |
version
Obligatoire
|
Balise de version facultative pour indiquer une modification des fonctionnalités du module |
hash_paths
Obligatoire
|
DÉPRÉCIÉ : n’est plus nécessaire. Liste de chemins à hacher lors de la recherche des modifications apportées au contenu de l’étape. Si aucune modification n’est détectée, le pipeline réutilise le contenu de l’étape d’une exécution précédente. Par défaut, le contenu de |
use_gpu
Obligatoire
|
Indique si l’environnement d’exécution de l’expérience doit prendre en charge les GPU.
Si la valeur est True, une image Docker par défaut basée sur le GPU est utilisée dans l’environnement. Si False est défini, une image basée sur l’UC est utilisée. Les images Docker par défaut (processeur ou GPU) sont utilisées uniquement si le paramètre |
use_docker
Obligatoire
|
Indique si l’environnement d’exécution de l’expérience doit être basé sur Docker. custom_docker_image (str) : nom de l’image Docker à partir de laquelle l’image à utiliser pour le travail mpi sera générée. Si la valeur n’est pas définie, une image par défaut basée sur l’UC sera utilisée comme image de base. |
custom_docker_image
Obligatoire
|
Nom de l’image Docker à partir de laquelle l’image à utiliser pour la formation sera générée. Si la valeur n’est pas définie, une image par défaut basée sur l’UC est utilisée comme image de base. |
image_registry_details
Obligatoire
|
Détails du registre de l’image Docker. |
user_managed
Obligatoire
|
Indique si Azure ML réutilise un environnement Python existant ; la valeur False signifie qu’Azure ML va créer un environnement Python basé sur la spécification de dépendances Conda. |
conda_packages
Obligatoire
|
Liste des chaînes représentant les packages Conda à ajouter à l’environnement Python. |
pip_packages
Obligatoire
|
Liste des chaînes représentant les packages pip à ajouter à l’environnement Python. |
pip_requirements_file_path
Obligatoire
|
Chemin d’accès relatif au fichier texte des spécifications pip.
Ce paramètre peut être spécifié en association avec le paramètre |
environment_definition
Obligatoire
|
EnvironmentDefinition pour l’expérience. Cela inclut PythonSection, DockerSection et les variables d’environnement. Toute option d’environnement qui n’est pas directement exposée par le biais d’autres paramètres à la construction MpiStep peut être définie à l’aide du paramètre environment_definition. Si ce paramètre est spécifié, il a la priorité sur les autres paramètres liés à l’environnement, comme use_gpu, custom_docker_image, conda_packages ou pip_packages et des erreurs sur ces combinaisons non valides sont signalées. |