PythonScriptStep Classe

Référence

Crée une étape de pipeline ML Azure qui exécute un script Python.

Pour obtenir un exemple d’utilisation de PythonScriptStep, consultez le notebook https://aka.ms/pl-get-started.

Créez une étape de pipeline Azure ML qui exécute un script Python.

Héritage: azureml.pipeline.core._python_script_step_base._PythonScriptStepBase

PythonScriptStep

Constructeur

PythonScriptStep(script_name, name=None, arguments=None, compute_target=None, runconfig=None, runconfig_pipeline_params=None, inputs=None, outputs=None, params=None, source_directory=None, allow_reuse=True, version=None, hash_paths=None)

Paramètres

Nom	Description
script_name Obligatoire	str [Obligatoire] Nom d’un script Python relatif à `source_directory`.
name	str Nom de l'étape. S’il n’est pas spécifié, `script_name` est utilisé. Valeur par défaut: None
arguments	list Arguments de ligne de commande pour le fichier de script Python. Les arguments sont transférés au calcul via le paramètre `arguments` dans RunConfiguration. Pour plus d’informations sur la façon de gérer des arguments tels que les symboles spéciaux, consultez RunConfiguration. Valeur par défaut: None
compute_target	Union[DsvmCompute, AmlCompute, RemoteCompute, HDInsightCompute, str, tuple] [Obligatoire] Cible de calcul à utiliser. Si elle n’est pas spécifiée, la cible du runconfig sera utilisée. Ce paramètre peut être spécifié sous la forme d’un objet de cible de calcul ou du nom de chaîne d’une cible de calcul dans l’espace de travail. Éventuellement, si la cible de calcul n’est pas disponible au moment de la création du pipeline, vous pouvez spécifier un tuple de (« Compute Target Name », « Compute Target type ») pour éviter l’extraction de l’objet cible de calcul (le type AmlCompute est « AmlCompute » et le type RemoteCompute est « VirtualMachine »). Valeur par défaut: None
runconfig	RunConfiguration RunConfiguration facultatif à utiliser. Un RunConfiguration peut être utilisé pour spécifier des exigences supplémentaires pour l’exécution, telles que les dépendances Conda et l’image Docker. S’il n’est pas spécifié, un runconfig par défaut est créé. Valeur par défaut: None
runconfig_pipeline_params	dict[str, PipelineParameter] Remplacement des propriétés runconfig au moment de l’exécution à l’aide de paires clé-valeur, chacune avec le nom de la propriété runconfig et PipelineParameter pour cette propriété. Valeurs prises en charge : « NodeCount », « MpiProcessCountPerNode », « TensorflowWorkerCount », « TensorflowParameterServerCount » Valeur par défaut: None
inputs	list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputFileDataset, PipelineOutputTabularDataset, DatasetConsumptionConfig]] Liste des liaisons de port d’entrée. Valeur par défaut: None
outputs	list[Union[PipelineData, OutputDatasetConfig, PipelineOutputFileDataset, PipelineOutputTabularDataset, OutputPortBinding]] Liste des liaisons de port de sortie. Valeur par défaut: None
params	dict Dictionnaire des paires nom-valeur inscrites en tant que variables d’environnement avec « AML_PARAMETER_ ». Valeur par défaut: None
source_directory	str Dossier qui contient le script Python, l’environnement Conda et d’autres ressources utilisées lors de cette étape. Valeur par défaut: None
allow_reuse	bool Indique si l’étape doit réutiliser les résultats précédents lorsqu’elle est exécutée avec les mêmes paramètres. La réutilisation est activée par défaut. Si le contenu de l’étape (scripts/dépendances) ainsi que les entrées et les paramètres restent inchangés, la sortie de l’exécution précédente de cette étape est réutilisée. Lors de la réutilisation de l’étape, au lieu de soumettre le travail au calcul, les résultats de l’exécution précédente sont immédiatement mis à la disposition des étapes suivantes. Si vous utilisez des jeux de données Azure Machine Learning comme entrées, la réutilisation est déterminée par le fait que la définition du jeu de données a changé ou pas, non par la modification éventuelle des données sous-jacentes. Valeur par défaut: True
version	str Balise de version facultative pour indiquer une modification de fonctionnalité pour l’étape. Valeur par défaut: None
hash_paths	list DÉCONSEILLÉ : n’est plus nécessaire. Liste de chemins à hacher lors de la recherche des modifications apportées au contenu de l’étape. Si aucune modification n’est détectée, le pipeline réutilise le contenu de l’étape d’une exécution précédente. Par défaut, le contenu de `source_directory` est haché (à l’exception des fichiers listés dans.amlignore ou .gitignore). Valeur par défaut: None
script_name Obligatoire	str [Obligatoire] Nom d’un script Python relatif à `source_directory`.
name Obligatoire	str Nom de l'étape. S’il n’est pas spécifié, `script_name` est utilisé.
arguments Obligatoire	[str] Arguments de ligne de commande pour le fichier de script Python. Les arguments sont transférés au calcul via le paramètre `arguments` dans RunConfiguration. Pour plus d’informations sur la façon de gérer des arguments tels que les symboles spéciaux, consultez RunConfiguration.
compute_target Obligatoire	Union[DsvmCompute, AmlCompute, RemoteCompute, HDInsightCompute, str, tuple] [Obligatoire] Cible de calcul à utiliser. Si elle n’est pas spécifiée, la cible du runconfig sera utilisée. Ce paramètre peut être spécifié sous la forme d’un objet de cible de calcul ou du nom de chaîne d’une cible de calcul dans l’espace de travail. Éventuellement, si la cible de calcul n’est pas disponible au moment de la création du pipeline, vous pouvez spécifier un tuple de (« Compute Target Name », « Compute Target type ») pour éviter l’extraction de l’objet cible de calcul (le type AmlCompute est « AmlCompute » et le type RemoteCompute est « VirtualMachine »).
runconfig Obligatoire	RunConfiguration RunConfiguration facultatif à utiliser. RunConfiguration peut être utilisé pour spécifier des exigences supplémentaires pour l’exécution, telles que les dépendances conda et une image Docker. S’il n’est pas spécifié, un runconfig par défaut est créé.
runconfig_pipeline_params Obligatoire	dict[str, PipelineParameter] Remplacement des propriétés runconfig au moment de l’exécution à l’aide de paires clé-valeur, chacune avec le nom de la propriété runconfig et PipelineParameter pour cette propriété. Valeurs prises en charge : « NodeCount », « MpiProcessCountPerNode », « TensorflowWorkerCount », « TensorflowParameterServerCount »
inputs Obligatoire	list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputFileDataset, PipelineOutputTabularDataset, DatasetConsumptionConfig]] Liste des liaisons de port d’entrée.
outputs Obligatoire	list[Union[PipelineData, OutputDatasetConfig, PipelineOutputFileDataset, PipelineOutputTabularDataset, OutputPortBinding]] Liste des liaisons de port de sortie.
params Obligatoire	<xref:<xref:{str: str}>> Dictionnaire des paires nom-valeur. Inscrites en tant que variables d’environnement avec «>> AML_PARAMETER_<< ».
source_directory Obligatoire	str Dossier qui contient le script Python, l’environnement Conda et d’autres ressources utilisées lors de cette étape.
allow_reuse Obligatoire	bool Indique si l’étape doit réutiliser les résultats précédents lorsqu’elle est exécutée avec les mêmes paramètres. La réutilisation est activée par défaut. Si le contenu de l’étape (scripts/dépendances) ainsi que les entrées et les paramètres restent inchangés, la sortie de l’exécution précédente de cette étape est réutilisée. Lors de la réutilisation de l’étape, au lieu de soumettre le travail au calcul, les résultats de l’exécution précédente sont immédiatement mis à la disposition des étapes suivantes. Si vous utilisez des jeux de données Azure Machine Learning comme entrées, la réutilisation est déterminée par le fait que la définition du jeu de données a changé ou pas, non par la modification éventuelle des données sous-jacentes.
version Obligatoire	str Balise de version facultative pour indiquer une modification de fonctionnalité pour l’étape.
hash_paths Obligatoire	list DÉCONSEILLÉ : n’est plus nécessaire. Liste de chemins à hacher lors de la recherche des modifications apportées au contenu de l’étape. Si aucune modification n’est détectée, le pipeline réutilise le contenu de l’étape d’une exécution précédente. Par défaut, le contenu de `source_directory` est haché (à l’exception des fichiers listés dans.amlignore ou.gitignore).

Remarques

Un PythonScriptStep est une étape intégrée et de base pour exécuter un script Python sur une cible de calcul. Il accepte un nom de script et d’autres paramètres facultatifs, comme des arguments pour le script, la cible de calcul, les entrées et les sorties. Si aucune cible de calcul n’est spécifiée, la cible de calcul par défaut de l’espace de travail est utilisée. Vous pouvez également utiliser un RunConfiguration pour spécifier les exigences pour le PythonScriptStep, telles que les dépendances Conda et l’image Docker.

La meilleure pratique pour l’utilisation de PythonScriptStep consiste à utiliser un dossier distinct pour les scripts et tous les fichiers dépendants associés à l’étape, et à spécifier ce dossier avec le paramètre source_directory. Suivre cette bonne pratique présente deux avantages. En premier lieu, cela permet de réduire la taille de l’instantané créé pour l’étape, car seuls les éléments nécessaires à l’étape sont capturés. Deuxièmement, la sortie de l’étape d’une exécution précédente peut être réutilisée si aucune modification n’est apportée au source_directory. La présence de modifications déclenche un nouveau téléchargement de l’instantané.

L’exemple de code suivant illustre l’utilisation d’un PythonScriptStep dans un scénario de formation Machine Learning. Pour plus d’informations sur cet exemple, consultez https://aka.ms/pl-first-pipeline.


   from azureml.pipeline.steps import PythonScriptStep

   trainStep = PythonScriptStep(
       script_name="train.py",
       arguments=["--input", blob_input_data, "--output", output_data1],
       inputs=[blob_input_data],
       outputs=[output_data1],
       compute_target=compute_target,
       source_directory=project_folder
   )

PythonScriptStep prend en charge un certain nombre de types d’entrée et de sortie. Il s’agit notamment de DatasetConsumptionConfig pour les entrées et OutputDatasetConfig, PipelineOutputAbstractDataset et PipelineData pour les entrées et les sorties.

Voici un exemple d’utilisation de Dataset en tant qu’entrée et sortie de l’étape :


   from azureml.core import Dataset
   from azureml.pipeline.steps import PythonScriptStep
   from azureml.pipeline.core import Pipeline, PipelineData

   # get input dataset
   input_ds = Dataset.get_by_name(workspace, 'weather_ds')

   # register pipeline output as dataset
   output_ds = PipelineData('prepared_weather_ds', datastore=datastore).as_dataset()
   output_ds = output_ds.register(name='prepared_weather_ds', create_new_version=True)

   # configure pipeline step to use dataset as the input and output
   prep_step = PythonScriptStep(script_name="prepare.py",
                                inputs=[input_ds.as_named_input('weather_ds')],
                                outputs=[output_ds],
                                compute_target=compute_target,
                                source_directory=project_folder)

Pour obtenir des exemples d’utilisation d’autres types d’entrée/sortie, reportez-vous aux pages correspondantes dans la documentation.

Méthodes

create_node

Créez un nœud pour PythonScriptStep et ajoutez-le au graphique spécifié.

Cette méthode n’est pas destinée à être utilisée directement. Lorsqu’un pipeline est instancié avec cette étape, Azure ML transmet automatiquement les paramètres requis via cette méthode afin que l’étape puisse être ajoutée à un graphique de pipeline qui représente le workflow.

create_node

Créez un nœud pour PythonScriptStep et ajoutez-le au graphique spécifié.

create_node(graph, default_datastore, context)

Paramètres

Nom	Description
graph Obligatoire	Graph Objet graphique auquel ajouter le nœud.
default_datastore Obligatoire	Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore] Magasin de données par défaut.
context Obligatoire	<xref:azureml.pipeline.core._GraphContext> Contexte du graphique.

Retours

Type	Description
Node	Nœud créé.

Partager via

PythonScriptStep Classe

Constructeur

Paramètres

Remarques

Méthodes

create_node

Paramètres

Retours

Commentaires

Ressources supplémentaires