Compartilhar via

Spark Classe

  • Referência

Classe base para o nó spark, usado para consumo de versão do componente spark.

Você não deve instanciar essa classe diretamente. Em vez disso, você deve criá-lo a partir da função de construtor: spark.

] :p ou saídas: um mapeamento de nomes de saída para fontes de dados de saída usadas no trabalho. :type outputs: Dict[str, Union[str, ~azure.ai.ml.Output]] :p aram args: os argumentos para o trabalho. :type args: str :p aram compute: o recurso de computação em que o trabalho é executado. :type compute: str :p aram resources: a configuração de recurso de computação para o trabalho. :type resources: Union[Dict, ~azure.ai.ml.entities.SparkResourceConfiguration] :p aram entry: The file or class entry point. :type entry: Dict[str, str] :p aram py_files: a lista de arquivos .zip, .egg ou .py a serem colocados no PYTHONPATH para aplicativos Python. :type py_files: List[str] :p aram jars: a lista de . Arquivos JAR a serem incluídos nos caminhos de classe do driver e do executor. :type jars: List[str] :p aram files: a lista de arquivos a serem colocados no diretório de trabalho de cada executor. :type files: List[str] :p aram archives: a lista de arquivos a serem extraídos no diretório de trabalho de cada executor. :type archives: List[str]

Herança
azure.ai.ml.entities._builders.base_node.BaseNode
Spark
azure.ai.ml.entities._job.spark_job_entry_mixin.SparkJobEntryMixin
Spark

Construtor

Spark(*, component: str | SparkComponent, identity: Dict[str, str] | ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, inputs: Dict[str, NodeOutput | Input | str | bool | int | float | Enum] | None = None, outputs: Dict[str, str | Output] | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, args: str | None = None, **kwargs)

Parâmetros

component
Union[str, SparkComponent]
Obrigatório

A ID ou instância do componente ou trabalho do Spark a ser executado durante a etapa.

identity
Union[ Dict[str, str], ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]
Obrigatório

A identidade que o trabalho do Spark usará durante a execução na computação.

driver_cores
int
Obrigatório

O número de núcleos a serem usados para o processo de driver, somente no modo de cluster.

driver_memory
str
Obrigatório

A quantidade de memória a ser usada para o processo de driver, formatada como cadeias de caracteres com um sufixo de unidade de tamanho ("k", "m", "g" ou "t") (por exemplo, "512m", "2g").

executor_cores
int
Obrigatório

O número de núcleos a serem usados em cada executor.

executor_memory
str
Obrigatório

A quantidade de memória a ser usada por processo de executor, formatada como cadeias de caracteres com um sufixo de unidade de tamanho ("k", "m", "g" ou "t") (por exemplo, "512m", "2g").

executor_instances
int
Obrigatório

O número inicial de executores.

dynamic_allocation_enabled
bool
Obrigatório

Se deseja usar a alocação dinâmica de recursos, o que dimensiona o número de executores registrados com esse aplicativo para cima e para baixo com base na carga de trabalho.

dynamic_allocation_min_executors
int
Obrigatório

O limite inferior para o número de executores se a alocação dinâmica estiver habilitada.

dynamic_allocation_max_executors
int
Obrigatório

O limite superior para o número de executores se a alocação dinâmica estiver habilitada.

conf
Dict[str, str]
Obrigatório

Um dicionário com valores e chave de configurações do Spark predefinidos.

inputs
Dict[str, Union[ <xref:azure.ai.ml.entities._job.pipeline._io.NodeOutput>, Input, str, bool, int, float, <xref:Enum>, ]
Obrigatório

Um mapeamento de nomes de entrada para fontes de dados de entrada usadas no trabalho.

Métodos

clear
copy
dump

Despeja o conteúdo do trabalho em um arquivo no formato YAML.
fromkeys

Crie um novo dicionário com chaves de iteráveis e valores definidos como valor.
get

Retorne o valor da chave se a chave estiver no dicionário, caso contrário, padrão.
items
keys
pop

Se a chave não for encontrada, retorne o padrão se for fornecida; caso contrário, gere um KeyError.
popitem

Remova e retorne um par (chave, valor) como uma tupla de 2.

Os pares são retornados na ordem LIFO (última entrada, primeira saída). Aciona KeyError se o ditado estiver vazio.
setdefault

Insira a chave com um valor padrão se a chave não estiver no dicionário.

Retornará o valor da chave se a chave estiver no dicionário, caso contrário, padrão.
update

Se E estiver presente e tiver um método .keys(), o fará: para k em E: D[k] = E[k] Se E estiver presente e não tiver um método .keys(), então fará: para k, v em E: D[k] = v Em ambos os casos, isso é seguido por: para k em F: D[k] = F[k]
values

clear 

clear() -> None.  Remove all items from D.

copy 

copy() -> a shallow copy of D

dump

Despeja o conteúdo do trabalho em um arquivo no formato YAML.

dump(dest: str | PathLike | IO, **kwargs) -> None

Parâmetros

dest
Union[<xref:PathLike>, str, IO[AnyStr]]
Obrigatório

O caminho local ou fluxo de arquivos para o qual gravar o conteúdo YAML. Se dest for um caminho de arquivo, um novo arquivo será criado. Se dest for um arquivo aberto, o arquivo será gravado diretamente.

kwargs
dict

Argumentos adicionais a serem passados para o serializador YAML.

Exceções

FileExistsError

Gerado se dest for um caminho de arquivo e o arquivo já existir.

IOError

Gerado se dest for um arquivo aberto e o arquivo não for gravável.

fromkeys

Crie um novo dicionário com chaves de iteráveis e valores definidos como valor.

fromkeys(value=None, /)

Parâmetros

type
Obrigatório
iterable
Obrigatório
value
valor padrão: None

get

Retorne o valor da chave se a chave estiver no dicionário, caso contrário, padrão.

get(key, default=None, /)

Parâmetros

key
Obrigatório
default
valor padrão: None

items 

items() -> a set-like object providing a view on D's items

keys 

keys() -> a set-like object providing a view on D's keys

pop

Se a chave não for encontrada, retorne o padrão se for fornecida; caso contrário, gere um KeyError.

pop(k, [d]) -> v, remove specified key and return the corresponding value.

popitem

Remova e retorne um par (chave, valor) como uma tupla de 2.

Os pares são retornados na ordem LIFO (última entrada, primeira saída). Aciona KeyError se o ditado estiver vazio.

popitem()

setdefault

Insira a chave com um valor padrão se a chave não estiver no dicionário.

Retornará o valor da chave se a chave estiver no dicionário, caso contrário, padrão.

setdefault(key, default=None, /)

Parâmetros

key
Obrigatório
default
valor padrão: None

update

Se E estiver presente e tiver um método .keys(), o fará: para k em E: D[k] = E[k] Se E estiver presente e não tiver um método .keys(), então fará: para k, v em E: D[k] = v Em ambos os casos, isso é seguido por: para k em F: D[k] = F[k]

update([E], **F) -> None.  Update D from dict/iterable E and F.

values 

values() -> an object providing a view on D's values

Atributos

base_path

O caminho base do recurso.

Retornos

O caminho base do recurso.

Tipo de retorno

str

code

O caminho local ou remoto apontando para o código-fonte.

Tipo de retorno

Union[str, <xref:PathLike>]

component

A ID ou instância do componente ou trabalho do Spark a ser executado durante a etapa.

Tipo de retorno

SparkComponent

creation_context

O contexto de criação do recurso.

Retornos

Os metadados de criação do recurso.

Tipo de retorno

Optional[SystemData]

entry

id

A ID do recurso.

Retornos

A ID global do recurso, uma ID do ARM (Resource Manager do Azure).

Tipo de retorno

Optional[str]

identity

A identidade que o trabalho do Spark usará durante a execução na computação.

Tipo de retorno

Union[ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]

inputs

Obtenha as entradas do objeto .

Retornos

Um dicionário que contém as entradas do objeto .

Tipo de retorno

Dict[str, Union[Input, str, bool, int, float]]

log_files

Arquivos de saída do trabalho.

Retornos

O dicionário de nomes de log e URLs.

Tipo de retorno

Optional[Dict[str, str]]

name

Obtenha o nome do nó.

Retornos

O nome do nó.

Tipo de retorno

str

outputs

Obtenha as saídas do objeto .

Retornos

Um dicionário que contém as saídas do objeto .

Tipo de retorno

Dict[str, Union[str, Output]]

resources

A configuração do recurso de computação para o trabalho.

Tipo de retorno

SparkResourceConfiguration

status

O status do trabalho.

Os valores comuns retornados incluem "Running", "Completed" e "Failed". Todos os valores possíveis são:

  • NotStarted - Esse é um estado temporário em que os objetos Run do lado do cliente estão antes do envio na nuvem.

  • Starting – A Execução começou a ser processada na nuvem. O chamador tem uma ID de execução neste ponto.

  • Provisionamento – a computação sob demanda está sendo criada para um determinado envio de trabalho.

  • Preparação – o ambiente de execução está sendo preparado e está em um dos dois estágios:

    • Build de imagem do Docker

    • conda environment setup

  • Enfileirado – o trabalho está na fila no destino de computação. Por exemplo, no BatchAI, o trabalho está em um estado enfileirado

    enquanto aguarda que todos os nós solicitados estejam prontos.

  • Em execução – o trabalho começou a ser executado no destino de computação.

  • Finalização – a execução do código do usuário foi concluída e a execução está em estágios pós-processamento.

  • CancelRequested – O cancelamento foi solicitado para o trabalho.

  • Concluído – a execução foi concluída com êxito. Isso inclui a execução e a execução do código do usuário

    estágios de pós-processamento.

  • Failed – A execução falhou. Normalmente, a propriedade de Erro em uma execução fornecerá detalhes sobre o motivo.

  • Canceled – Segue uma solicitação de cancelamento e indica que a execução foi cancelada com êxito.

  • NotResponding – Para execuções que têm Pulsações habilitadas, nenhuma pulsação foi enviada recentemente.

Retornos

Status do trabalho.

Tipo de retorno

Optional[str]

studio_url

Ponto de extremidade do estúdio do Azure ML.

Retornos

A URL para a página de detalhes do trabalho.

Tipo de retorno

Optional[str]

type

O tipo do trabalho.

Retornos

O tipo do trabalho.

Tipo de retorno

Optional[str]

CODE_ID_RE_PATTERN 

CODE_ID_RE_PATTERN = re.compile('\\/subscriptions\\/(?P<subscription>[\\w,-]+)\\/resourceGroups\\/(?P<resource_group>[\\w,-]+)\\/providers\\/Microsoft\\.MachineLearningServices\\/workspaces\\/(?P<workspace>[\\w,-]+)\\/codes\\/(?P<co)