Compartilhar via


ml Pacote

Pacotes

automl

Contém classes de machine learning automatizadas para o SDKv2 do Azure Machine Learning.

As principais áreas incluem o gerenciamento de tarefas autoML.

constants

Esse pacote define constantes usadas no SDKv2 do Azure Machine Learning.

data_transfer
dsl
entities

Contém entidades e objetos SDK para o SDKv2 do Azure Machine Learning.

As principais áreas incluem gerenciamento de destinos de computação, criação/gerenciamento de workspaces e trabalhos e envio/acesso de modelo, execuções e execução de saída/registro em log etc.

identity

Contém a Configuração de Identidade para o SDKv2 do Azure Machine Learning.

operations

Contém operações com suporte para o SDKv2 do Azure Machine Learning.

As operações são classes que contêm lógica para interagir com serviços de back-end, geralmente chamadas de operações geradas automaticamente.

parallel
sweep

Módulos

exceptions

Contém o módulo de exceção no SDKv2 do Azure Machine Learning.

Isso inclui enumerações e classes para exceções.

Classes

AmlTokenConfiguration

Configuração de identidade do Token AzureML.

Input

Inicialize um objeto Input.

MLClient

Uma classe cliente para interagir com os serviços do Azure ML.

Use esse cliente para gerenciar recursos do Azure ML, como workspaces, trabalhos, modelos e assim por diante.

ManagedIdentityConfiguration

Configuração de credencial de Identidade Gerenciada.

MpiDistribution

Configuração de distribuição de MPI.

Output
PyTorchDistribution

Configuração de distribuição do PyTorch.

RayDistribution

Observação

Essa é uma classe experimental e pode mudar a qualquer momento. Consulte https://aka.ms/azuremlexperimental para obter mais informações.

Configuração de distribuição de raios.

TensorFlowDistribution

Configuração de distribuição do TensorFlow.

UserIdentityConfiguration

Configuração de identidade do usuário.

Funções

command

Cria um objeto Command que pode ser usado dentro de uma função dsl.pipeline ou usado como um trabalho de Comando autônomo.

command(*, name: str | None = None, description: str | None = None, tags: Dict | None = None, properties: Dict | None = None, display_name: str | None = None, command: str | None = None, experiment_name: str | None = None, environment: str | Environment | None = None, environment_variables: Dict | None = None, distribution: Dict | MpiDistribution | TensorFlowDistribution | PyTorchDistribution | RayDistribution | None = None, compute: str | None = None, inputs: Dict | None = None, outputs: Dict | None = None, instance_count: int | None = None, instance_type: str | None = None, locations: List[str] | None = None, docker_args: str | None = None, shm_size: str | None = None, timeout: int | None = None, code: PathLike | str | None = None, identity: ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, is_deterministic: bool = True, services: Dict[str, JobService | JupyterLabJobService | SshJobService | TensorBoardJobService | VsCodeJobService] | None = None, job_tier: str | None = None, priority: str | None = None, **kwargs) -> Command

Parâmetros

name
Optional[str]

O nome do trabalho ou componente Command.

description
Optional[str]

A descrição do Comando. Assume o valor padrão de Nenhum.

tags
Optional[dict[str, str]]

Dicionário de marcas. As marcas podem ser adicionadas, removidas e atualizadas. Assume o valor padrão de Nenhum.

properties
Optional[dict[str, str]]

O dicionário de propriedades do trabalho. Assume o valor padrão de Nenhum.

display_name
Optional[str]

O nome para exibição do trabalho. O padrão é um nome gerado aleatoriamente.

command
Optional[str]

O comando a ser executado. Assume o valor padrão de Nenhum.

experiment_name
Optional[str]

O nome do experimento no qual o trabalho será criado. O padrão é o nome do diretório atual.

environment
Optional[Union[str, Environment]]

O ambiente no qual o trabalho será executado.

environment_variables
Optional[dict[str, str]]

Um dicionário de nomes e valores de variáveis de ambiente. Essas variáveis de ambiente são definidas no processo em que o script do usuário está sendo executado. Assume o valor padrão de Nenhum.

distribution
Optional[Union[dict, PyTorchDistribution, MpiDistribution, TensorFlowDistribution, RayDistribution]]

A configuração para trabalhos distribuídos. Assume o valor padrão de Nenhum.

compute
Optional[str]

O destino de computação em que o trabalho será executado. O padrão é a computação padrão.

inputs
Optional[dict[str, Union[Input, str, bool, int, float, <xref:Enum>]]]

Um mapeamento de nomes de entrada para fontes de dados de entrada usadas no trabalho. Assume o valor padrão de Nenhum.

outputs
Optional[dict[str, Union[str, Output]]]

Um mapeamento de nomes de saída para gerar fontes de dados usadas no trabalho. Assume o valor padrão de Nenhum.

instance_count
Optional[int]

O número de instâncias ou nós a serem usados pelo destino de computação. O valor padrão é 1.

instance_type
Optional[str]

O tipo de VM a ser usado pelo destino de computação.

locations
Optional[list[str]]

A lista de locais em que o trabalho será executado.

docker_args
Optional[str]

Argumentos adicionais a serem passados para o comando docker run. Isso substituiria todos os parâmetros que já foram definidos pelo sistema ou nesta seção. Esse parâmetro só tem suporte para tipos de computação do Azure ML. Assume o valor padrão de Nenhum.

shm_size
Optional[str]

O tamanho do bloco de memória compartilhada do contêiner do Docker. Isso deve estar no formato de (número)(unidade) em que o número deve ser maior que 0 e a unidade pode ser um dos b(bytes), k(kilobytes), m(megabytes) ou g(gigabytes).

timeout
Optional[int]

O número, em segundos, após o qual o trabalho será cancelado.

code
Optional[Union[str, PathLike]]

O código-fonte para executar o trabalho. Pode ser um caminho local ou uma URL "http:", "https:" ou "azureml:" apontando para um local remoto.

identity
Optional[Union[ ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]

A identidade que o trabalho de comando usará durante a execução na computação.

is_deterministic
bool

Especifica se o Comando retornará a mesma saída dada a mesma entrada. O padrão é True. Quando True, se um componente de comando for determinístico e tiver sido executado antes no workspace atual com a mesma entrada e configurações, ele reutilizará os resultados de um trabalho enviado anteriormente quando usado como um nó ou etapa em um pipeline. Nesse cenário, nenhum recurso de computação será usado.

services
Optional[dict[str, Union[JobService, JupyterLabJobService, SshJobService, TensorBoardJobService, VsCodeJobService]]]

Os serviços interativos para o nó. Assume o valor padrão de Nenhum. Esse é um parâmetro experimental e pode ser alterado a qualquer momento. Consulte https://aka.ms/azuremlexperimental para obter mais informações.

job_tier
Optional[str]

A camada de trabalho. Os valores aceitos são "Spot", "Basic", "Standard" ou "Premium".

priority
Optional[str]

A prioridade do trabalho na computação. Os valores aceitos são "baixo", "médio" e "alto". O padrão é "medium".

Retornos

Um objeto Command.

Tipo de retorno

Exemplos

Criando um trabalho de comando usando o método command() builder.


   from azure.ai.ml import Input, Output, command

   train_func = command(
       environment="AzureML-sklearn-1.0-ubuntu20.04-py38-cpu:33",
       command='echo "hello world"',
       distribution={"type": "Pytorch", "process_count_per_instance": 2},
       inputs={
           "training_data": Input(type="uri_folder"),
           "max_epochs": 20,
           "learning_rate": 1.8,
           "learning_rate_schedule": "time-based",
       },
       outputs={"model_output": Output(type="uri_folder")},
   )

load_batch_deployment

Construa um objeto de implantação em lote a partir do arquivo yaml.

load_batch_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> BatchDeployment

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Obrigatório

A origem yaml local de um objeto de implantação em lote. Deve ser um caminho para um arquivo local ou um arquivo já aberto. Se a origem for um caminho, ela será aberta e lida. Uma exceção será gerada se o arquivo não existir. Se a origem for um arquivo aberto, o arquivo será lido diretamente e uma exceção será gerada se o arquivo não for legível.

relative_origin
str

A origem a ser usada ao deduzir os locais relativos dos arquivos referenciados no yaml analisado. O padrão será o diretório da origem inserida se for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
List[Dict]

Campos a serem substituídos na parte superior do arquivo yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Retornos

Objeto de implantação em lote construído.

Tipo de retorno

load_batch_endpoint

Construa um objeto de ponto de extremidade em lote a partir do arquivo yaml.

load_batch_endpoint(source: str | PathLike | IO, relative_origin: str | None = None, **kwargs) -> BatchEndpoint

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Obrigatório

A origem yaml local de um objeto de ponto de extremidade em lote. Deve ser um caminho para um arquivo local ou um arquivo já aberto. Se a origem for um caminho, ela será aberta e lida. Uma exceção será gerada se o arquivo não existir. Se a origem for um arquivo aberto, o arquivo será lido diretamente e uma exceção será gerada se o arquivo não for legível.

relative_origin
str
valor padrão: None

A origem a ser usada ao deduzir os locais relativos dos arquivos referenciados no yaml analisado. O padrão será o diretório da origem inserida se for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
List[Dict]

Campos a serem substituídos na parte superior do arquivo yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Retornos

Objeto de ponto de extremidade em lote construído.

Tipo de retorno

load_component

Carregue o componente de local ou remoto para uma função de componente.

load_component(source: str | PathLike | IO | None = None, *, relative_origin: str | None = None, **kwargs) -> CommandComponent | ParallelComponent | PipelineComponent

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
valor padrão: None

A origem yaml local de um componente. Deve ser um caminho para um arquivo local ou um arquivo já aberto. Se a origem for um caminho, ela será aberta e lida. Uma exceção será gerada se o arquivo não existir. Se a origem for um arquivo aberto, o arquivo será lido diretamente e uma exceção será gerada se o arquivo não for legível.

relative_origin
str

A origem a ser usada ao deduzir os locais relativos dos arquivos referenciados no yaml analisado. O padrão será o diretório da origem inserida se for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
List[Dict]

Campos a serem substituídos na parte superior do arquivo yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Retornos

Um objeto Component

Tipo de retorno

Exemplos

Carregando um objeto Component de um arquivo YAML, substituindo sua versão para "1.0.2" e registrando-o remotamente.


   from azure.ai.ml import load_component

   component = load_component(
       source="./sdk/ml/azure-ai-ml/tests/test_configs/components/helloworld_component.yml",
       params_override=[{"version": "1.0.2"}],
   )
   registered_component = ml_client.components.create_or_update(component)

load_compute

Construa um objeto de computação a partir de um arquivo yaml.

load_compute(source: str | PathLike | IO, *, relative_origin: str | None = None, params_override: List[Dict[str, str]] | None = None, **kwargs) -> Compute

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Obrigatório

A origem yaml local de uma computação. Deve ser um caminho para um arquivo local ou um arquivo já aberto. Se a origem for um caminho, ela será aberta e lida. Uma exceção será gerada se o arquivo não existir. Se a origem for um arquivo aberto, o arquivo será lido diretamente e uma exceção será gerada se o arquivo não for legível.

relative_origin
Optional[str]

A origem a ser usada ao deduzir os locais relativos dos arquivos referenciados no yaml analisado. O padrão será o diretório da origem inserida se for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
Optional[List[Dict]]

Campos a serem substituídos na parte superior do arquivo yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Retornos

Objeto de computação carregado.

Tipo de retorno

Exemplos

Carregando um objeto Compute de um arquivo YAML e substituindo sua descrição.


   from azure.ai.ml import load_compute

   compute = load_compute(
       "../tests/test_configs/compute/compute-vm.yaml",
       params_override=[{"description": "loaded from compute-vm.yaml"}],
   )

load_data

Construa um objeto de dados do arquivo yaml.

load_data(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Data

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Obrigatório

A origem yaml local de um objeto de dados. Deve ser um caminho para um arquivo local ou um arquivo já aberto. Se a origem for um caminho, ela será aberta e lida. Uma exceção será gerada se o arquivo não existir. Se a origem for um arquivo aberto, o arquivo será lido diretamente e uma exceção será gerada se o arquivo não for legível.

relative_origin
str

A origem a ser usada ao deduzir os locais relativos dos arquivos referenciados no yaml analisado. O padrão será o diretório da origem inserida se for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
List[Dict]

Campos a serem substituídos na parte superior do arquivo yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Retornos

Dados construídos ou objeto DataImport.

Tipo de retorno

Exceções

Gerado se Os dados não puderem ser validados com êxito. Os detalhes serão fornecidos na mensagem de erro.

load_datastore

Construa um objeto de armazenamento de dados a partir de um arquivo yaml.

load_datastore(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Datastore

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Obrigatório

A fonte yaml local de um armazenamento de dados. Deve ser um caminho para um arquivo local ou um arquivo já aberto. Se a origem for um caminho, ela será aberta e lida. Uma exceção será gerada se o arquivo não existir. Se a origem for um arquivo aberto, o arquivo será lido diretamente e uma exceção será gerada se o arquivo não for legível.

relative_origin
str

A origem a ser usada ao deduzir os locais relativos dos arquivos referenciados no yaml analisado. O padrão será o diretório da origem inserida se for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
List[Dict]

Campos a serem substituídos na parte superior do arquivo yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Retornos

Objeto de armazenamento de dados carregado.

Tipo de retorno

Exceções

Gerado se o Armazenamento de Dados não puder ser validado com êxito. Os detalhes serão fornecidos na mensagem de erro.

load_environment

Construa um objeto de ambiente a partir do arquivo yaml.

load_environment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Environment

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Obrigatório

A origem yaml local de um ambiente. Deve ser um caminho para um arquivo local ou um arquivo já aberto. Se a origem for um caminho, ela será aberta e lida. Uma exceção será gerada se o arquivo não existir. Se a origem for um arquivo aberto, o arquivo será lido diretamente e uma exceção será gerada se o arquivo não for legível.

relative_origin
str

A origem a ser usada ao deduzir os locais relativos dos arquivos referenciados no yaml analisado. O padrão será o diretório da origem inserida se for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
List[Dict]

Campos a serem substituídos na parte superior do arquivo yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Retornos

Objeto de ambiente construído.

Tipo de retorno

Exceções

Gerado se Ambiente não puder ser validado com êxito. Os detalhes serão fornecidos na mensagem de erro.

load_job

Constrói um objeto Job a partir de um arquivo YAML.

load_job(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Job

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Obrigatório

Um caminho para um arquivo YAML local ou um objeto de arquivo já aberto que contém uma configuração de trabalho. Se a origem for um caminho, ela será aberta e lida. Se a origem for um arquivo aberto, o arquivo será lido diretamente.

relative_origin
Optional[str]

O diretório raiz do YAML. Esse diretório será usado como a origem para deduzir os locais relativos dos arquivos referenciados no YAML analisado. O padrão será o mesmo diretório que a origem se a origem for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
Optional[list[dict]]

Campos de parâmetro para substituir valores no arquivo YAML.

Retornos

Um objeto Job carregado.

Tipo de retorno

Job

Exceções

Gerado se Job não puder ser validado com êxito. Os detalhes serão fornecidos na mensagem de erro.

Exemplos

Carregando um trabalho de um arquivo de configuração YAML.


   from azure.ai.ml import load_job

   job = load_job(source="./sdk/ml/azure-ai-ml/tests/test_configs/command_job/command_job_test_local_env.yml")

load_model

Constrói um objeto Model a partir de um arquivo YAML.

load_model(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Model

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Obrigatório

Um caminho para um arquivo YAML local ou um objeto de arquivo já aberto que contém uma configuração de trabalho. Se a origem for um caminho, ela será aberta e lida. Se a origem for um arquivo aberto, o arquivo será lido diretamente.

relative_origin
Optional[str]

O diretório raiz do YAML. Esse diretório será usado como a origem para deduzir os locais relativos dos arquivos referenciados no YAML analisado. O padrão será o mesmo diretório que a origem se a origem for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
Optional[list[dict]]

Campos de parâmetro para substituir valores no arquivo YAML.

Retornos

Um objeto Model carregado.

Tipo de retorno

Exceções

Gerado se Job não puder ser validado com êxito. Os detalhes serão fornecidos na mensagem de erro.

Exemplos

Carregando um modelo de um arquivo de configuração YAML, substituindo os parâmetros de nome e versão.


   from azure.ai.ml import load_model

   model = load_model(
       source="./sdk/ml/azure-ai-ml/tests/test_configs/model/model_with_stage.yml",
       params_override=[{"name": "new_model_name"}, {"version": "1"}],
   )

load_model_package

Observação

Esse é um método experimental e pode mudar a qualquer momento. Consulte https://aka.ms/azuremlexperimental para obter mais informações.

Constrói um objeto ModelPackage de um arquivo YAML.

load_model_package(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> ModelPackage

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Obrigatório

Um caminho para um arquivo YAML local ou um objeto de arquivo já aberto que contém uma configuração de trabalho. Se a origem for um caminho, ela será aberta e lida. Se a origem for um arquivo aberto, o arquivo será lido diretamente.

relative_origin
Optional[str]

O diretório raiz do YAML. Esse diretório será usado como a origem para deduzer os locais relativos dos arquivos referenciados no YAML analisado. O padrão será o mesmo diretório que source se source for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
Optional[list[dict]]

Campos de parâmetro para substituir valores no arquivo YAML.

Retornos

Um objeto ModelPackage carregado.

Tipo de retorno

Exceções

Gerado se Job não puder ser validado com êxito. Os detalhes serão fornecidos na mensagem de erro.

Exemplos

Carregando um ModelPackage de um arquivo de configuração YAML.


   from azure.ai.ml import load_model_package

   model_package = load_model_package(
       "./sdk/ml/azure-ai-ml/tests/test_configs/model_package/model_package_simple.yml"
   )

load_online_deployment

Construa um objeto de implantação online do arquivo yaml.

load_online_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineDeployment

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Obrigatório

A origem yaml local de um objeto de implantação online. Deve ser um caminho para um arquivo local ou um arquivo já aberto. Se a origem for um caminho, ela será aberta e lida. Uma exceção será gerada se o arquivo não existir. Se a origem for um arquivo aberto, o arquivo será lido diretamente e uma exceção será gerada se o arquivo não for legível.

relative_origin
str

A origem a ser usada ao deduzer os locais relativos dos arquivos referenciados no yaml analisado. O padrão será o diretório da origem inserida se for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
List[Dict]

Campos a serem substituídos sobre o arquivo yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Retornos

Objeto de implantação online construído.

Tipo de retorno

Exceções

Gerado se a Implantação Online não puder ser validada com êxito. Os detalhes serão fornecidos na mensagem de erro.

load_online_endpoint

Construa um objeto de ponto de extremidade online do arquivo yaml.

load_online_endpoint(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineEndpoint

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Obrigatório

A origem yaml local de um objeto de ponto de extremidade online. Deve ser um caminho para um arquivo local ou um arquivo já aberto. Se a origem for um caminho, ela será aberta e lida. Uma exceção será gerada se o arquivo não existir. Se a origem for um arquivo aberto, o arquivo será lido diretamente e uma exceção será gerada se o arquivo não for legível.

relative_origin
str

A origem a ser usada ao deduzer os locais relativos dos arquivos referenciados no yaml analisado. O padrão será o diretório da origem inserida se for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
List[Dict]

Campos a serem substituídos sobre o arquivo yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Retornos

Objeto de ponto de extremidade online construído.

Tipo de retorno

Exceções

Gerado se o ponto de extremidade online não puder ser validado com êxito. Os detalhes serão fornecidos na mensagem de erro.

load_registry

Carregue um objeto do Registro de um arquivo yaml.

load_registry(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Registry

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Obrigatório

A origem yaml local de um registro. Deve ser um caminho para um arquivo local ou um arquivo já aberto. Se a origem for um caminho, ela será aberta e lida. Uma exceção será gerada se o arquivo não existir. Se a origem for um arquivo aberto, o arquivo será lido diretamente e uma exceção será gerada se o arquivo não for legível.

relative_origin
str

A origem a ser usada ao deduzer os locais relativos dos arquivos referenciados no yaml analisado. O padrão será o diretório da origem inserida se for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
List[Dict]

Campos a serem substituídos sobre o arquivo yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Retornos

Objeto de registro carregado.

Tipo de retorno

load_workspace

Carregue um objeto de workspace de um arquivo yaml.

load_workspace(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Workspace

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Obrigatório

A origem yaml local de um workspace. Deve ser um caminho para um arquivo local ou um arquivo já aberto. Se a origem for um caminho, ela será aberta e lida. Uma exceção será gerada se o arquivo não existir. Se a origem for um arquivo aberto, o arquivo será lido diretamente e uma exceção será gerada se o arquivo não for legível.

relative_origin
str

A origem a ser usada ao deduzer os locais relativos dos arquivos referenciados no yaml analisado. O padrão será o diretório da origem inserida se for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
List[Dict]

Campos a serem substituídos sobre o arquivo yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Retornos

Objeto de workspace carregado.

Tipo de retorno

load_workspace_connection

Construa um objeto de conexão de workspace do arquivo yaml.

load_workspace_connection(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceConnection

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Obrigatório

A origem yaml local de um objeto de conexão de workspace. Deve ser um caminho para um arquivo local ou um arquivo já aberto. Se a origem for um caminho, ela será aberta e lida. Uma exceção será gerada se o arquivo não existir. Se a origem for um arquivo aberto, o arquivo será lido diretamente e uma exceção será gerada se o arquivo não for legível.

relative_origin
str

A origem a ser usada ao deduzer os locais relativos dos arquivos referenciados no yaml analisado. O padrão será o diretório da origem inserida se for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
List[Dict]

Campos a serem substituídos sobre o arquivo yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Retornos

Objeto de conexão de workspace construído.

Tipo de retorno

load_workspace_hub

Observação

Esse é um método experimental e pode mudar a qualquer momento. Consulte https://aka.ms/azuremlexperimental para obter mais informações.

Carregue um objeto WorkspaceHub de um arquivo yaml.

load_workspace_hub(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceHub

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Obrigatório

A origem yaml local de um WorkspaceHub. Deve ser um caminho para um arquivo local ou um arquivo já aberto. Se a origem for um caminho, ela será aberta e lida. Uma exceção será gerada se o arquivo não existir. Se a origem for um arquivo aberto, o arquivo será lido diretamente e uma exceção será gerada se o arquivo não for legível.

relative_origin
str

A origem a ser usada ao deduzer os locais relativos dos arquivos referenciados no yaml analisado. O padrão será o diretório da origem inserida se for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
List[Dict]

Campos a serem substituídos sobre o arquivo yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Retornos

Objeto WorkspaceHub carregado.

Tipo de retorno

spark

Cria um objeto Spark que pode ser usado dentro de uma função dsl.pipeline ou usado como um trabalho autônomo do Spark.

spark(*, experiment_name: str | None = None, name: str | None = None, display_name: str | None = None, description: str | None = None, tags: Dict | None = None, code: PathLike | str | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, identity: Dict[str, str] | ManagedIdentity | AmlToken | UserIdentity | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, environment: str | Environment | None = None, inputs: Dict | None = None, outputs: Dict | None = None, args: str | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, **kwargs) -> Spark

Parâmetros

experiment_name
Optional[str]

O nome do experimento em que o trabalho será criado.

name
Optional[str]

O nome do trabalho.

display_name
Optional[str]

O nome de exibição do trabalho.

description
Optional[str]

A descrição do trabalho. Assume o valor padrão de Nenhum.

tags
Optional[dict[str, str]]

O dicionário de marcas para o trabalho. As marcas podem ser adicionadas, removidas e atualizadas. Assume o valor padrão de Nenhum.

code

O código-fonte para executar o trabalho. Pode ser um caminho local ou uma URL "http:", "https:" ou "azureml:" apontando para um local remoto.

entry
Optional[Union[dict[str, str], SparkJobEntry]]

O ponto de entrada de arquivo ou classe.

py_files
Optional[list[str]]

A lista de arquivos .zip, .egg ou .py a serem colocados nos aplicativos PYTHONPATH para Python. Assume o valor padrão de Nenhum.

jars
Optional[list[str]]

A lista de . Arquivos JAR a serem incluídos nos caminhos de classe driver e executor. Assume o valor padrão de Nenhum.

files
Optional[list[str]]

A lista de arquivos a serem colocados no diretório de trabalho de cada executor. Assume o valor padrão de Nenhum.

archives
Optional[list[str]]

A lista de arquivos a serem extraídos no diretório de trabalho de cada executor. Assume o valor padrão de Nenhum.

identity
Optional[Union[ dict[str, str], ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]

A identidade que o trabalho do Spark usará durante a execução na computação.

driver_cores
Optional[int]

O número de núcleos a serem usados para o processo de driver, somente no modo de cluster.

driver_memory
Optional[str]

A quantidade de memória a ser usada para o processo de driver, formatada como cadeias de caracteres com um sufixo de unidade de tamanho ("k", "m", "g" ou "t") (por exemplo, "512m", "2g").

executor_cores
Optional[int]

O número de núcleos a serem usados em cada executor.

executor_memory
Optional[str]

A quantidade de memória a ser usada por processo de executor, formatada como cadeias de caracteres com um sufixo de unidade de tamanho ("k", "m", "g" ou "t") (por exemplo, "512m", "2g").

executor_instances
Optional[int]

O número inicial de executores.

dynamic_allocation_enabled
Optional[bool]

Se deseja usar a alocação dinâmica de recursos, o que dimensiona o número de executores registrados com esse aplicativo para cima e para baixo com base na carga de trabalho.

dynamic_allocation_min_executors
Optional[int]

O limite inferior para o número de executores se a alocação dinâmica estiver habilitada.

dynamic_allocation_max_executors
Optional[int]

O limite superior para o número de executores se a alocação dinâmica estiver habilitada.

conf
Optional[dict[str, str]]

Um dicionário com valores e chave de configurações do Spark predefinidos. Assume o valor padrão de Nenhum.

environment
Optional[Union[str, Environment]]

O ambiente do Azure ML no qual executar o trabalho.

inputs
Optional[dict[str, Input]]

Um mapeamento de nomes de entrada para inserir dados usados no trabalho. Assume o valor padrão de Nenhum.

outputs
Optional[dict[str, Output]]

Um mapeamento de nomes de saída para gerar dados usados no trabalho. Assume o valor padrão de Nenhum.

args
Optional[str]

Os argumentos para o trabalho.

compute
Optional[str]

O recurso de computação em que o trabalho é executado.

resources
Optional[Union[dict, SparkResourceConfiguration]]

A configuração do recurso de computação para o trabalho.

Retornos

Um objeto Spark.

Tipo de retorno

Exemplos

Criando um pipeline do Spark usando o decorador de pipeline DSL


   from azure.ai.ml import Input, Output, dsl, spark
   from azure.ai.ml.constants import AssetTypes, InputOutputModes

   # define the spark task
   first_step = spark(
       code="/src",
       entry={"file": "add_greeting_column.py"},
       py_files=["utils.zip"],
       files=["my_files.txt"],
       driver_cores=2,
       driver_memory="1g",
       executor_cores=1,
       executor_memory="1g",
       executor_instances=1,
       inputs=dict(
           file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
       ),
       args="--file_input ${{inputs.file_input}}",
       resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
   )

   second_step = spark(
       code="/src",
       entry={"file": "count_by_row.py"},
       jars=["scala_project.jar"],
       files=["my_files.txt"],
       driver_cores=2,
       driver_memory="1g",
       executor_cores=1,
       executor_memory="1g",
       executor_instances=1,
       inputs=dict(
           file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
       ),
       outputs=dict(output=Output(type="uri_folder", mode=InputOutputModes.DIRECT)),
       args="--file_input ${{inputs.file_input}} --output ${{outputs.output}}",
       resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
   )

   # Define pipeline
   @dsl.pipeline(description="submit a pipeline with spark job")
   def spark_pipeline_from_builder(data):
       add_greeting_column = first_step(file_input=data)
       count_by_row = second_step(file_input=data)
       return {"output": count_by_row.outputs.output}

   pipeline = spark_pipeline_from_builder(
       data=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT),
   )