Submit-AzSynapseSparkJob

Referência

Módulo:: Az.Synapse

Envia um trabalho do Spark do Synapse Analytics.

Sintaxe

Submit-AzSynapseSparkJob
      -WorkspaceName <String>
      -SparkPoolName <String>
      -Language <String>
      -Name <String>
      -MainDefinitionFile <String>
      [-MainClassName <String>]
      [-CommandLineArgument <String[]>]
      [-ReferenceFile <String[]>]
      -ExecutorCount <Int32>
      -ExecutorSize <String>
      [-Configuration <Hashtable>]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Submit-AzSynapseSparkJob
      -SparkPoolObject <PSSynapseSparkPool>
      -Language <String>
      -Name <String>
      -MainDefinitionFile <String>
      [-MainClassName <String>]
      [-CommandLineArgument <String[]>]
      [-ReferenceFile <String[]>]
      -ExecutorCount <Int32>
      -ExecutorSize <String>
      [-Configuration <Hashtable>]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Description

O cmdlet Submit-AzSynapseSparkJob envia um trabalho do Spark do Synapse Analytics.

Exemplos

Exemplo 1

Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language Spark -Name WordCount_Java -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/wordcount.jar -MainClassName WordCount -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/result/ -ExecutorCount 2 -ExecutorSize Small

Esse comando envia um trabalho do Spark do Synapse Analytics.

Exemplo 2

Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language SparkDotNet -Name WordCount_Dotnet -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/wordcount.zip -MainExecutableFile WordCount -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/result -ExecutorCount 2 -ExecutorSize Small

Esse comando envia um trabalho do .NET do Spark do Synapse Analytics.

Exemplo 3

Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language PySpark -Name WordCount_Python -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/wordcount.py -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/result/ -ExecutorCount 2 -ExecutorSize Small

Esse comando envia um trabalho do Synapse Analytics PySpark.

Parâmetros

-CommandLineArgument

Argumentos opcionais para o trabalho. por exemplo, "--iteração 10000 --tempo limite 20s"

Tipo:	String[]
Cargo:	Named
Valor padrão:	None
Obrigatório:	False
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-Configuration

Propriedades de configuração do Spark.

Tipo:	Hashtable
Cargo:	Named
Valor padrão:	None
Obrigatório:	False
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-Confirm

Solicita a confirmação antes de executar o cmdlet.

Tipo:	SwitchParameter
Aliases:	cf
Cargo:	Named
Valor padrão:	None
Obrigatório:	False
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-DefaultProfile

As credenciais, a conta, o locatário e a assinatura usados para comunicação com o Azure.

Tipo:	IAzureContextContainer
Aliases:	AzContext, AzureRmContext, AzureCredential
Cargo:	Named
Valor padrão:	None
Obrigatório:	False
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-ExecutorCount

Número de executores a serem alocados no pool do Spark especificado para o trabalho.

Tipo:	Int32
Cargo:	Named
Valor padrão:	None
Obrigatório:	True
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-ExecutorSize

Número de núcleo e memória a serem usados para executores alocados no pool do Spark especificado para o trabalho.

Tipo:	String
Valores aceitos:	Small, Medium, Large, XLarge, XXLarge, XXXLarge
Cargo:	Named
Valor padrão:	None
Obrigatório:	True
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-Language

Idioma do trabalho a ser enviada.

Tipo:	String
Valores aceitos:	Spark, Scala, PySpark, Python, SparkDotNet, CSharp
Cargo:	Named
Valor padrão:	None
Obrigatório:	True
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-MainClassName

O identificador totalmente qualificado ou a classe principal que está no arquivo de definição principal. Necessário para o trabalho do Spark e do .NET Spark. por exemplo, "org.apache.spark.examples.SparkPi"

Tipo:	String
Aliases:	MainExecutableFile
Cargo:	Named
Valor padrão:	None
Obrigatório:	False
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-MainDefinitionFile

O arquivo principal usado para o trabalho. por exemplo, "abfss://filesystem@account.dfs.core.windows.net/mySpark.jar"

Tipo:	String
Cargo:	Named
Valor padrão:	None
Obrigatório:	True
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-Name

Nome do trabalho do Spark.

Tipo:	String
Cargo:	Named
Valor padrão:	None
Obrigatório:	True
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-ReferenceFile

Arquivos adicionais usados para referência no arquivo de definição principal. Lista de URI de armazenamento separado por vírgulas. por exemplo, "abfss://filesystem@account.dfs.core.windows.net/file1.txt,abfss://filesystem@account.dfs.core.windows.net/result/"

Tipo:	String[]
Cargo:	Named
Valor padrão:	None
Obrigatório:	False
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-SparkPoolName

Nome do pool do Spark do Synapse.

Tipo:	String
Cargo:	Named
Valor padrão:	None
Obrigatório:	True
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-SparkPoolObject

Objeto de entrada do pool do Spark, geralmente passado pelo pipeline.

Tipo:	PSSynapseSparkPool
Cargo:	Named
Valor padrão:	None
Obrigatório:	True
Aceitar a entrada de pipeline:	True
Aceitar caracteres curinga:	False

-WhatIf

Mostra o que aconteceria se o cmdlet fosse executado. O cmdlet não é executado.

Tipo:	SwitchParameter
Aliases:	wi
Cargo:	Named
Valor padrão:	None
Obrigatório:	False
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-WorkspaceName

Nome do workspace do Synapse.

Tipo:	String
Cargo:	Named
Valor padrão:	None
Obrigatório:	True
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

Entradas

PSSynapseSparkPool

Saídas

PSSynapseSparkJob

Compartilhar via