RunConfiguration Classe
Representa a configuração para execuções de experimentos visando diferentes destinos de computação no Azure Machine Learning.
O objeto RunConfiguration encapsula as informações necessárias para enviar uma execução de treinamento em um experimento. Normalmente, você não criará um objeto RunConfiguration diretamente, mas obterá um de um método que o retorne, como o método submit da classe Experiment.
O RunConfiguration é uma configuração de ambiente base que também é usada em outros tipos de etapas de configuração que dependem do tipo de execução que você está disparando. Por exemplo, ao configurar um PythonScriptStep, você pode acessar o objeto RunConfiguration da etapa e configurar as dependências do Conda ou acessar as propriedades do ambiente para a execução.
Para obter exemplos de configurações de execução, consulte Selecionar e usar um destino de computação para treinar seu modelo.
Inicialize um RunConfiguration com as configurações padrão.
- Herança
-
azureml._base_sdk_common.abstract_run_config_element._AbstractRunConfigElementRunConfiguration
Construtor
RunConfiguration(script=None, arguments=None, framework=None, communicator=None, conda_dependencies=None, _history_enabled=None, _path=None, _name=None, command=None)
Parâmetros
Nome | Description |
---|---|
script
|
O caminho relativo para o arquivo de script Python. O caminho do arquivo é relativo para o diretório de origem passado para submit. Valor padrão: None
|
arguments
|
Argumentos de linha de comando para o arquivo de script Python. Valor padrão: None
|
framework
|
A estrutura de destino usada na execução. As estruturas com suporte são Python, PySpark, TensorFlow e PyTorch. Valor padrão: None
|
communicator
|
O comunicador usado na execução. Os comunicadores com suporte são None, ParameterServer, OpenMpi e IntelMpi. Tenha em mente que o OpenMpi requer uma imagem personalizada com o OpenMpi instalado. Use ParameterServer ou OpenMpi para clusters AmlCompute. Use IntelMpi para trabalhos de treinamento distribuídos. Valor padrão: None
|
conda_dependencies
|
Quando deixado no valor padrão False, o sistema cria um ambiente Python, que inclui os pacotes especificados em Valor padrão: None
|
auto_prepare_environment
Obrigatório
|
PRETERIDO. Essa configuração não é mais usada. |
command
|
O comando a ser enviado à execução. A propriedade command também pode ser usada em vez de script/arguments. As propriedades command e script/arguments não podem ser usadas juntas para enviar uma execução. Para enviar um arquivo de script usando a propriedade command – ['python', 'train.py', '–arg1', arg1_val] Para executar um comando propriamente dito – ['ls'] Valor padrão: None
|
_history_enabled
|
Valor padrão: None
|
_path
|
Valor padrão: None
|
_name
|
Valor padrão: None
|
Comentários
Normalmente, criamos sistemas de aprendizado de máquina para resolver um problema específico. Por exemplo, podemos estar interessados em encontrar o melhor modelo que classifica páginas da Web que podem atuar como resultados da pesquisa correspondentes a uma consulta. Nossa pesquisa pelo melhor modelo de aprendizado de máquina pode exigir que experimentemos algoritmos diferentes ou consideremos diferentes configurações de parâmetros etc.
No SDK do Azure Machine Learning, usamos o conceito de um experimento para capturar a noção de que diferentes execuções de treinamento estão relacionadas ao problema que estão tentando resolver. Então, um Experiment atua como contêiner lógico para essas execuções de treinamento, facilitando o controle de andamento entre as execuções de treinamento, a comparação direta de duas sequências de treinamento etc.
O RunConfiguration encapsula as configurações de ambiente de execução necessárias para enviar uma execução de treinamento em um experimento. Ele captura a estrutura compartilhada de execuções de treinamento projetadas para resolver o mesmo problema de machine learning, bem como as diferenças nos parâmetros de configuração (por exemplo, taxa de aprendizado, função de perda etc.) que distinguem execuções de treinamento distintas umas das outras.
Nos cenários normais de treinamento, RunConfiguration é usado criando um objeto ScriptRunConfig que reúne um objeto RunConfiguration e um script de execução para treinamento.
A configuração de RunConfiguration inclui:
Agrupamento do diretório de origem do experimento, incluindo o script enviado.
Configuração dos argumentos de linha de comando para o script enviado.
Configuração do caminho para o interpretador Python.
Obtenha a configuração do Conda para gerenciar as dependências do aplicativo. O processo de envio de trabalho pode usar a configuração para provisionar um ambiente temporário do Conda e iniciar o aplicativo. Os ambientes temporários são armazenados em cache e reutilizados nas execuções subsequentes.
Uso opcional de Docker e imagens base personalizadas.
Opção de enviar o experimento para vários tipos de computação do Azure.
Opção de configurar como materializar entradas e carregar saídas.
Configurações avançadas de runtime para runtimes comuns, como Spark e TensorFlow.
O exemplo a seguir mostra como enviar um script de treinamento no computador local.
from azureml.core import ScriptRunConfig, RunConfiguration, Experiment
# create or load an experiment
experiment = Experiment(workspace, "MyExperiment")
# run a trial from the train.py code in your current directory
config = ScriptRunConfig(source_directory='.', script='train.py',
run_config=RunConfiguration())
run = experiment.submit(config)
O exemplo a seguir mostra como enviar um script de treinamento no cluster usando a propriedade de comando em vez do script e argumentos.
from azureml.core import ScriptRunConfig, Experiment
# create or load an experiment
experiment = Experiment(workspace, 'MyExperiment')
# create or retrieve a compute target
cluster = workspace.compute_targets['MyCluster']
# create or retrieve an environment
env = Environment.get(ws, name='MyEnvironment')
# configure and submit your training run
config = ScriptRunConfig(source_directory='.',
command=['python', 'train.py', '--arg1', arg1_val],
compute_target=cluster,
environment=env)
script_run = experiment.submit(config)
O exemplo a seguir mostra como executar um comando no cluster.
from azureml.core import ScriptRunConfig, Experiment
# create or load an experiment
experiment = Experiment(workspace, 'MyExperiment')
# create or retrieve a compute target
cluster = workspace.compute_targets['MyCluster']
# create or retrieve an environment
env = Environment.get(ws, name='MyEnvironment')
# configure and submit your training run
config = ScriptRunConfig(source_directory='.',
command=['ls', '-l'],
compute_target=cluster,
environment=env)
script_run = experiment.submit(config)
Variáveis
Nome | Description |
---|---|
environment
|
A definição de ambiente. Esse campo configura o ambiente do Python. Ele pode ser configurado para usar um ambiente do Python existente ou para configurar um ambiente temporário para o experimento. A definição também é responsável por definir as dependências do aplicativo necessárias. |
max_run_duration_seconds
|
O tempo máximo permitido para a execução. O sistema tentará cancelar automaticamente a execução, se demorar mais do que esse valor. |
node_count
|
O número de nós que serão usados para o trabalho. |
priority
|
A prioridade do trabalho para a política de agendamento. |
history
|
A seção de configuração usada para habilitar e desabilitar recursos de registro em log de histórico de experimentos. |
spark
|
Quando a plataforma é definida como PySpark, a seção de configuração do Spark é usada para definir o SparkConf padrão para o trabalho enviado. |
hdi
|
A seção de configuração do HDI entra em vigor somente quando o destino é definido como computação do Azure HDI. A Configuração do HDI é usada para definir o modo de implantação YARN. O modo de implantação padrão é o cluster. |
docker
|
A seção de configuração do Docker é usada para definir variáveis para o ambiente do Docker. |
tensorflow
|
A seção de configuração usada para configurar os parâmetros distribuídos do TensorFlow.
Esse parâmetro entra em vigor somente quando o |
mpi
|
A seção de configuração usada para configurar os parâmetros distribuídos de trabalho do MPI.
Esse parâmetro entra em vigor somente quando o |
pytorch
|
A seção de configuração usada para configurar os parâmetros distribuídos de trabalho da PyTorch.
Esse parâmetro entra em vigor somente quando |
paralleltask
|
A seção de configuração usada para configurar os parâmetros distribuídos de trabalho do ParallelTask.
Esse parâmetro entra em vigor somente quando o |
data_references
|
Todas as fontes de dados estão disponíveis para execução durante a execução com base em cada configuração. Para cada item do dicionário, a chave é um nome dado à fonte de dados e o valor é um DataReferenceConfiguration. |
data
|
Todos os dados a serem disponibilizados para a execução durante a execução. |
datacaches
|
<xref:buildin.list>[DatacacheConfiguration]
Todos os dados para disponibilizar o cache de dados para a execução durante a operação. |
output_data
|
Todas as saídas que devem ser carregadas e rastreadas para esta execução. |
source_directory_data_store
|
O armazenamento de dados de suporte para o compartilhamento de projeto. |
amlcompute
|
Os detalhes do destino de computação a ser criado durante o experimento. A configuração só entra em vigor quando o destino de computação é AmlCompute. |
kubernetescompute
|
Os detalhes do destino de computação a ser usado durante o experimento. A configuração só entra em vigor quando o destino de computação é KubernetesCompute. |
services
|
Pontos de extremidade para interagir com o recurso de computação. Os pontos de extremidade permitidos são Jupyter, JupyterLab, VS Code, Tensorboard, SSH e portas personalizadas. |
Métodos
delete |
Exclua um arquivo de configuração de execução. Gera um UserErrorException se o arquivo de configuração não for encontrado. |
load |
Carregue um arquivo de configuração de execução salvo anteriormente em um arquivo no disco. Se Se |
save |
Salve o RunConfiguration em um arquivo no disco. Um UserErrorException é gerado quando:
Se Se Esse método é útil ao editar a configuração manualmente ou ao compartilhar a configuração com a CLI. |
delete
Exclua um arquivo de configuração de execução.
Gera um UserErrorException se o arquivo de configuração não for encontrado.
static delete(path, name)
Parâmetros
Nome | Description |
---|---|
path
Obrigatório
|
Um diretório raiz selecionado pelo usuário para configurações de execução. Normalmente, esse é o Repositório Git ou o diretório raiz do projeto Python. A configuração é excluída de um subdiretório chamado .azureml. |
name
Obrigatório
|
O nome do arquivo de configuração. |
Exceções
Tipo | Description |
---|---|
UserErrorException
|
load
Carregue um arquivo de configuração de execução salvo anteriormente em um arquivo no disco.
Se path
apontar para um arquivo, o RunConfiguration será carregado nesse arquivo.
Se path
apontar para um diretório, que deve ser um diretório de projeto, RunConfiguration será carregado em <path>/.azureml/<name> ou <path>/aml_config/<name>.
static load(path, name=None)
Parâmetros
Nome | Description |
---|---|
path
Obrigatório
|
Um diretório raiz selecionado pelo usuário para configurações de execução. Normalmente, esse é o Repositório Git ou o diretório raiz do projeto Python. Para compatibilidade com versões anteriores, a configuração também será carregada no subdiretório .azureml ou aml_config. Se o arquivo não estiver nesses diretórios, ele será carregado no caminho especificado. |
name
|
O nome do arquivo de configuração. Valor padrão: None
|
Retornos
Tipo | Description |
---|---|
O objeto de configuração de execução. |
Exceções
Tipo | Description |
---|---|
UserErrorException
|
save
Salve o RunConfiguration em um arquivo no disco.
Um UserErrorException é gerado quando:
O RunConfiguration não pode ser salvo com o nome especificado.
Nenhum parâmetro
name
foi especificado.O parâmetro
path
é inválido.
Se path
for do formato <dir_path>/<file_name>, onde <dir_path> é um diretório válido, o RunConfiguration será salvo em <dir_path>/<file_name>.
Se path
apontar para um diretório, que deve ser um diretório de projeto, RunConfiguration será salvo em <path>/.azureml/<name> ou <path>/aml_config/<name>.
Esse método é útil ao editar a configuração manualmente ou ao compartilhar a configuração com a CLI.
save(path=None, name=None, separate_environment_yaml=False)
Parâmetros
Nome | Description |
---|---|
separate_environment_yaml
|
Indica se a configuração de ambiente do Conda deve ser salva. Se True, a configuração de ambiente do Conda será salva em um arquivo YAML chamado 'environment.yml'. Valor padrão: False
|
path
|
Um diretório raiz selecionado pelo usuário para configurações de execução. Normalmente, esse é o Repositório Git ou o diretório raiz do projeto Python. A configuração é salva em um subdiretório chamado .azureml. Valor padrão: None
|
name
|
[Obrigatório] O nome do arquivo de configuração. Valor padrão: None
|
Retornos
Tipo | Description |
---|---|
Exceções
Tipo | Description |
---|---|
UserErrorException
|
Atributos
auto_prepare_environment
Obter o parâmetro auto_prepare_environment
. Esta é uma configuração preterida e não utilizada.
environment_variables
target
Obter o destino de computação em que a execução do trabalho está agendada.
O destino padrão é "local" e se refere ao computador local. Os destinos de computação em nuvem disponíveis podem ser encontrados usando a função compute_targets.
Retornos
Tipo | Description |
---|---|
O nome de destino |