Spark Classe
Classe base para o nó spark, usado para consumo de versão do componente spark.
Você não deve instanciar essa classe diretamente. Em vez disso, você deve criá-lo a partir da função de construtor: spark.
] :p ou saídas: um mapeamento de nomes de saída para fontes de dados de saída usadas no trabalho. :type outputs: Dict[str, Union[str, ~azure.ai.ml.Output]] :p aram args: os argumentos para o trabalho. :type args: str :p aram compute: o recurso de computação em que o trabalho é executado. :type compute: str :p aram resources: a configuração de recurso de computação para o trabalho. :type resources: Union[Dict, ~azure.ai.ml.entities.SparkResourceConfiguration] :p aram entry: The file or class entry point. :type entry: Dict[str, str] :p aram py_files: a lista de arquivos .zip, .egg ou .py a serem colocados no PYTHONPATH para aplicativos Python. :type py_files: List[str] :p aram jars: a lista de . Arquivos JAR a serem incluídos nos caminhos de classe do driver e do executor. :type jars: List[str] :p aram files: a lista de arquivos a serem colocados no diretório de trabalho de cada executor. :type files: List[str] :p aram archives: a lista de arquivos a serem extraídos no diretório de trabalho de cada executor. :type archives: List[str]
- Herança
-
azure.ai.ml.entities._builders.base_node.BaseNodeSparkazure.ai.ml.entities._job.spark_job_entry_mixin.SparkJobEntryMixinSpark
Construtor
Spark(*, component: str | SparkComponent, identity: Dict[str, str] | ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, inputs: Dict[str, NodeOutput | Input | str | bool | int | float | Enum] | None = None, outputs: Dict[str, str | Output] | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, args: str | None = None, **kwargs)
Parâmetros
- component
- Union[str, SparkComponent]
A ID ou instância do componente ou trabalho do Spark a ser executado durante a etapa.
- identity
- Union[ Dict[str, str], ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]
A identidade que o trabalho do Spark usará durante a execução na computação.
- driver_cores
- int
O número de núcleos a serem usados para o processo de driver, somente no modo de cluster.
- driver_memory
- str
A quantidade de memória a ser usada para o processo de driver, formatada como cadeias de caracteres com um sufixo de unidade de tamanho ("k", "m", "g" ou "t") (por exemplo, "512m", "2g").
- executor_memory
- str
A quantidade de memória a ser usada por processo de executor, formatada como cadeias de caracteres com um sufixo de unidade de tamanho ("k", "m", "g" ou "t") (por exemplo, "512m", "2g").
- dynamic_allocation_enabled
- bool
Se deseja usar a alocação dinâmica de recursos, o que dimensiona o número de executores registrados com esse aplicativo para cima e para baixo com base na carga de trabalho.
- dynamic_allocation_min_executors
- int
O limite inferior para o número de executores se a alocação dinâmica estiver habilitada.
- dynamic_allocation_max_executors
- int
O limite superior para o número de executores se a alocação dinâmica estiver habilitada.
Um dicionário com valores e chave de configurações do Spark predefinidos.
- inputs
- Dict[str, Union[ <xref:azure.ai.ml.entities._job.pipeline._io.NodeOutput>, Input, str, bool, int, float, <xref:Enum>, ]
Um mapeamento de nomes de entrada para fontes de dados de entrada usadas no trabalho.
Métodos
clear | |
copy | |
dump |
Despeja o conteúdo do trabalho em um arquivo no formato YAML. |
fromkeys |
Crie um novo dicionário com chaves de iteráveis e valores definidos como valor. |
get |
Retorne o valor da chave se a chave estiver no dicionário, caso contrário, padrão. |
items | |
keys | |
pop |
Se a chave não for encontrada, retorne o padrão se for fornecida; caso contrário, gere um KeyError. |
popitem |
Remova e retorne um par (chave, valor) como uma tupla de 2. Os pares são retornados na ordem LIFO (última entrada, primeira saída). Aciona KeyError se o ditado estiver vazio. |
setdefault |
Insira a chave com um valor padrão se a chave não estiver no dicionário. Retornará o valor da chave se a chave estiver no dicionário, caso contrário, padrão. |
update |
Se E estiver presente e tiver um método .keys(), o fará: para k em E: D[k] = E[k] Se E estiver presente e não tiver um método .keys(), então fará: para k, v em E: D[k] = v Em ambos os casos, isso é seguido por: para k em F: D[k] = F[k] |
values |
clear
clear() -> None. Remove all items from D.
copy
copy() -> a shallow copy of D
dump
Despeja o conteúdo do trabalho em um arquivo no formato YAML.
dump(dest: str | PathLike | IO, **kwargs) -> None
Parâmetros
O caminho local ou fluxo de arquivos para o qual gravar o conteúdo YAML. Se dest for um caminho de arquivo, um novo arquivo será criado. Se dest for um arquivo aberto, o arquivo será gravado diretamente.
- kwargs
- dict
Argumentos adicionais a serem passados para o serializador YAML.
Exceções
Gerado se dest for um caminho de arquivo e o arquivo já existir.
Gerado se dest for um arquivo aberto e o arquivo não for gravável.
fromkeys
Crie um novo dicionário com chaves de iteráveis e valores definidos como valor.
fromkeys(value=None, /)
Parâmetros
- type
- iterable
- value
get
Retorne o valor da chave se a chave estiver no dicionário, caso contrário, padrão.
get(key, default=None, /)
Parâmetros
- key
- default
items
items() -> a set-like object providing a view on D's items
keys
keys() -> a set-like object providing a view on D's keys
pop
Se a chave não for encontrada, retorne o padrão se for fornecida; caso contrário, gere um KeyError.
pop(k, [d]) -> v, remove specified key and return the corresponding value.
popitem
Remova e retorne um par (chave, valor) como uma tupla de 2.
Os pares são retornados na ordem LIFO (última entrada, primeira saída). Aciona KeyError se o ditado estiver vazio.
popitem()
setdefault
Insira a chave com um valor padrão se a chave não estiver no dicionário.
Retornará o valor da chave se a chave estiver no dicionário, caso contrário, padrão.
setdefault(key, default=None, /)
Parâmetros
- key
- default
update
Se E estiver presente e tiver um método .keys(), o fará: para k em E: D[k] = E[k] Se E estiver presente e não tiver um método .keys(), então fará: para k, v em E: D[k] = v Em ambos os casos, isso é seguido por: para k em F: D[k] = F[k]
update([E], **F) -> None. Update D from dict/iterable E and F.
values
values() -> an object providing a view on D's values
Atributos
base_path
code
O caminho local ou remoto apontando para o código-fonte.
Tipo de retorno
component
A ID ou instância do componente ou trabalho do Spark a ser executado durante a etapa.
Tipo de retorno
creation_context
O contexto de criação do recurso.
Retornos
Os metadados de criação do recurso.
Tipo de retorno
entry
id
A ID do recurso.
Retornos
A ID global do recurso, uma ID do ARM (Resource Manager do Azure).
Tipo de retorno
identity
A identidade que o trabalho do Spark usará durante a execução na computação.
Tipo de retorno
inputs
Obtenha as entradas do objeto .
Retornos
Um dicionário que contém as entradas do objeto .
Tipo de retorno
log_files
Arquivos de saída do trabalho.
Retornos
O dicionário de nomes de log e URLs.
Tipo de retorno
name
outputs
Obtenha as saídas do objeto .
Retornos
Um dicionário que contém as saídas do objeto .
Tipo de retorno
resources
status
O status do trabalho.
Os valores comuns retornados incluem "Running", "Completed" e "Failed". Todos os valores possíveis são:
NotStarted - Esse é um estado temporário em que os objetos Run do lado do cliente estão antes do envio na nuvem.
Starting – A Execução começou a ser processada na nuvem. O chamador tem uma ID de execução neste ponto.
Provisionamento – a computação sob demanda está sendo criada para um determinado envio de trabalho.
Preparação – o ambiente de execução está sendo preparado e está em um dos dois estágios:
Build de imagem do Docker
conda environment setup
Enfileirado – o trabalho está na fila no destino de computação. Por exemplo, no BatchAI, o trabalho está em um estado enfileirado
enquanto aguarda que todos os nós solicitados estejam prontos.
Em execução – o trabalho começou a ser executado no destino de computação.
Finalização – a execução do código do usuário foi concluída e a execução está em estágios pós-processamento.
CancelRequested – O cancelamento foi solicitado para o trabalho.
Concluído – a execução foi concluída com êxito. Isso inclui a execução e a execução do código do usuário
estágios de pós-processamento.
Failed – A execução falhou. Normalmente, a propriedade de Erro em uma execução fornecerá detalhes sobre o motivo.
Canceled – Segue uma solicitação de cancelamento e indica que a execução foi cancelada com êxito.
NotResponding – Para execuções que têm Pulsações habilitadas, nenhuma pulsação foi enviada recentemente.
Retornos
Status do trabalho.
Tipo de retorno
studio_url
Ponto de extremidade do estúdio do Azure ML.
Retornos
A URL para a página de detalhes do trabalho.
Tipo de retorno
type
CODE_ID_RE_PATTERN
CODE_ID_RE_PATTERN = re.compile('\\/subscriptions\\/(?P<subscription>[\\w,-]+)\\/resourceGroups\\/(?P<resource_group>[\\w,-]+)\\/providers\\/Microsoft\\.MachineLearningServices\\/workspaces\\/(?P<workspace>[\\w,-]+)\\/codes\\/(?P<co)
Azure SDK for Python