New-AzSynapseSparkPool

Référence

Module:: Az.Synapse

Crée un pool Spark Synapse Analytics.

Syntaxe

New-AzSynapseSparkPool
   [-ResourceGroupName <String>]
   -WorkspaceName <String>
   -Name <String>
   [-Tag <Hashtable>]
   [-EnableIsolatedCompute]
   -NodeSize <String>
   -AutoScaleMinNodeCount <Int32>
   -AutoScaleMaxNodeCount <Int32>
   [-EnableAutoPause]
   [-AutoPauseDelayInMinute <Int32>]
   [-EnableDynamicExecutorAllocation]
   [-MinExecutorCount <Int32>]
   [-MaxExecutorCount <Int32>]
   -SparkVersion <String>
   [-SparkConfiguration <PSSparkConfigurationResource>]
   [-AsJob]
   [-DefaultProfile <IAzureContextContainer>]
   [-WhatIf]
   [-Confirm]
   [<CommonParameters>]

New-AzSynapseSparkPool
   [-ResourceGroupName <String>]
   -WorkspaceName <String>
   -Name <String>
   [-Tag <Hashtable>]
   -NodeCount <Int32>
   [-EnableIsolatedCompute]
   -NodeSize <String>
   [-EnableAutoPause]
   [-AutoPauseDelayInMinute <Int32>]
   [-EnableDynamicExecutorAllocation]
   [-MinExecutorCount <Int32>]
   [-MaxExecutorCount <Int32>]
   -SparkVersion <String>
   [-SparkConfiguration <PSSparkConfigurationResource>]
   [-AsJob]
   [-DefaultProfile <IAzureContextContainer>]
   [-WhatIf]
   [-Confirm]
   [<CommonParameters>]

New-AzSynapseSparkPool
   -WorkspaceObject <PSSynapseWorkspace>
   -Name <String>
   [-Tag <Hashtable>]
   [-EnableIsolatedCompute]
   -NodeSize <String>
   -AutoScaleMinNodeCount <Int32>
   -AutoScaleMaxNodeCount <Int32>
   [-EnableAutoPause]
   [-AutoPauseDelayInMinute <Int32>]
   [-EnableDynamicExecutorAllocation]
   [-MinExecutorCount <Int32>]
   [-MaxExecutorCount <Int32>]
   -SparkVersion <String>
   [-SparkConfiguration <PSSparkConfigurationResource>]
   [-AsJob]
   [-DefaultProfile <IAzureContextContainer>]
   [-WhatIf]
   [-Confirm]
   [<CommonParameters>]

New-AzSynapseSparkPool
   -WorkspaceObject <PSSynapseWorkspace>
   -Name <String>
   [-Tag <Hashtable>]
   -NodeCount <Int32>
   [-EnableIsolatedCompute]
   -NodeSize <String>
   [-EnableAutoPause]
   [-AutoPauseDelayInMinute <Int32>]
   [-EnableDynamicExecutorAllocation]
   [-MinExecutorCount <Int32>]
   [-MaxExecutorCount <Int32>]
   -SparkVersion <String>
   [-SparkConfiguration <PSSparkConfigurationResource>]
   [-AsJob]
   [-DefaultProfile <IAzureContextContainer>]
   [-WhatIf]
   [-Confirm]
   [<CommonParameters>]

Description

L’applet de commande New-AzSynapseSparkPool crée un pool Spark Azure Synapse Analytics.

Exemples

Exemple 1

New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeCount 3 -SparkVersion 2.4 -NodeSize Small

Cette commande crée un pool Spark Azure Synapse Analytics.

Exemple 2

New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 10 -SparkVersion 2.4 -NodeSize Small

Cette commande crée un pool Spark Azure Synapse Analytics avec mise à l’échelle automatique activée.

Exemple 3

New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation -MinExecutorCount 1 -MaxExecutorCount 4  -NodeCount 10 -SparkVersion 2.4 -NodeSize Small

Cette commande crée un pool Spark Azure Synapse Analytics avec l’allocation d’exécuteur dynamique activée et spécifie le nombre minimal d’exécuteurs et le nombre maximal d’exécuteurs.

Exemple 4

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeCount 3 -SparkVersion 2.4 -NodeSize Small -SparkConfiguration $config

Cette commande crée un pool Spark Azure Synapse Analytics et spécifie une configuration Spark pour le pool Spark.

Exemple 5

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | New-AzSynapseSparkPool -Name ContosoSparkPool -NodeCount 3 -SparkVersion 2.4 -NodeSize Small

Cette commande crée un pool Spark Azure Synapse Analytics via un pipeline.

Exemple 6

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | New-AzSynapseSparkPool -Name ContosoSparkPool -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 10 -SparkVersion 2.4 -NodeSize Small

Cette commande crée un pool Spark Azure Synapse Analytics avec mise à l’échelle automatique activée via le pipeline.

Exemple 7

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | New-AzSynapseSparkPool -Name ContosoSparkPool -EnableIsolatedCompute -NodeSize XXXLarge -NodeCount 3 -SparkVersion 2.4

Cette commande crée un pool Spark Azure Synapse Analytics avec le calcul isolé activé via le pipeline.

Paramètres

-AsJob

Exécuter l’applet de commande en arrière-plan

Type:	SwitchParameter
Position:	Named
Valeur par défaut:	None
Obligatoire:	False
Accepter l'entrée de pipeline:	False
Accepter les caractères génériques:	False

-AutoPauseDelayInMinute

Nombre de minutes d’inactivité. Ce paramètre peut être spécifié lorsque la pause automatique est activée. La valeur par défaut est [15] si elle n’est pas spécifiée manuellement.

Type:	Int32
Position:	Named
Valeur par défaut:	None
Obligatoire:	False
Accepter l'entrée de pipeline:	False
Accepter les caractères génériques:	False

-AutoScaleMaxNodeCount

Nombre maximal de nœuds à allouer dans le pool Spark spécifié. Ce paramètre doit être spécifié lorsque la mise à l’échelle automatique est activée.

Type:	Int32
Position:	Named
Valeur par défaut:	None
Obligatoire:	True
Accepter l'entrée de pipeline:	False
Accepter les caractères génériques:	False

-AutoScaleMinNodeCount

Nombre minimal de nœuds à allouer dans le pool Spark spécifié. Ce paramètre doit être spécifié lorsque la mise à l’échelle automatique est activée.

Type:	Int32
Position:	Named
Valeur par défaut:	None
Obligatoire:	True
Accepter l'entrée de pipeline:	False
Accepter les caractères génériques:	False

-Confirm

Vous demande une confirmation avant d’exécuter l’applet de commande.

Type:	SwitchParameter
Alias:	cf
Position:	Named
Valeur par défaut:	None
Obligatoire:	False
Accepter l'entrée de pipeline:	False
Accepter les caractères génériques:	False

-DefaultProfile

Informations d’identification, compte, locataire et abonnement utilisés pour la communication avec Azure.

Type:	IAzureContextContainer
Alias:	AzContext, AzureRmContext, AzureCredential
Position:	Named
Valeur par défaut:	None
Obligatoire:	False
Accepter l'entrée de pipeline:	False
Accepter les caractères génériques:	False

-EnableAutoPause

Indique si la pause automatique doit être activée.

Type:	SwitchParameter
Position:	Named
Valeur par défaut:	None
Obligatoire:	False
Accepter l'entrée de pipeline:	False
Accepter les caractères génériques:	False

-EnableDynamicExecutorAllocation

Indique si l’allocation d’exécuteur dynamique doit être activée.

Type:	SwitchParameter
Position:	Named
Valeur par défaut:	None
Obligatoire:	False
Accepter l'entrée de pipeline:	False
Accepter les caractères génériques:	False

-EnableIsolatedCompute

L’option Isolate Compute est disponible uniquement avec la taille de nœud XXXLarge (80 processeurs virtuels / 504 Go). L’activation de cette option offre une isolation pour le calcul Apache Spark pour les services non approuvés. Les coûts de calcul isolés sont identiques à ceux de la machine virtuelle non isolée de la même taille. Si vous prévoyez d’activer le calcul isolé pour le pool Spark, vérifiez que votre espace de travail Synapse est créé dans une région prise en charge par le calcul isolé, reportez-vous à ce document pour plus d’informations : https://zcusa.951200.xyz/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute.

Type:	SwitchParameter
Position:	Named
Valeur par défaut:	None
Obligatoire:	False
Accepter l'entrée de pipeline:	False
Accepter les caractères génériques:	False

-MaxExecutorCount

Nombre maximal d’exécuteurs à allouer dans le pool Spark spécifié. Ce paramètre peut être spécifié lorsque DynamicExecutorAllocation est activé. La valeur doit être comprise entre 1 (inclus) et maximumNodeCount (exclusif). S’il n’est pas spécifié manuellement, la valeur par défaut est 2.

Type:	Int32
Position:	Named
Valeur par défaut:	None
Obligatoire:	False
Accepter l'entrée de pipeline:	False
Accepter les caractères génériques:	False

-MinExecutorCount

Nombre minimal d’exécuteurs à allouer dans le pool Spark spécifié. Ce paramètre peut être spécifié lorsque DynamicExecutorAllocation est activé. La valeur doit être comprise entre 1 (inclus) et maxExecutors (exclusif). S’il n’est pas spécifié manuellement, la valeur par défaut est 1.

Type:	Int32
Position:	Named
Valeur par défaut:	None
Obligatoire:	False
Accepter l'entrée de pipeline:	False
Accepter les caractères génériques:	False

-Name

Nom du pool Synapse Spark.

Type:	String
Alias:	SparkPoolName
Position:	Named
Valeur par défaut:	None
Obligatoire:	True
Accepter l'entrée de pipeline:	False
Accepter les caractères génériques:	False

-NodeCount

Nombre de nœuds à allouer dans le pool Spark spécifié.

Type:	Int32
Position:	Named
Valeur par défaut:	None
Obligatoire:	True
Accepter l'entrée de pipeline:	False
Accepter les caractères génériques:	False

-NodeSize

Nombre de cœurs et de mémoire à utiliser pour les nœuds alloués dans le pool Spark spécifié. Ce paramètre doit être spécifié lorsque la mise à l’échelle automatique est désactivée

Type:	String
Valeurs acceptées:	Small, Medium, Large, XLarge, XXLarge, XXXLarge
Position:	Named
Valeur par défaut:	None
Obligatoire:	True
Accepter l'entrée de pipeline:	False
Accepter les caractères génériques:	False

-ResourceGroupName

Nom du groupe de ressources.

Type:	String
Position:	Named
Valeur par défaut:	None
Obligatoire:	False
Accepter l'entrée de pipeline:	False
Accepter les caractères génériques:	False

-SparkConfiguration

Configuration d’Apache Spark. Lorsqu’un travail est soumis au pool, les propriétés spécifiées dans la configuration sélectionnée sont référencées.

Type:	PSSparkConfigurationResource
Position:	Named
Valeur par défaut:	None
Obligatoire:	False
Accepter l'entrée de pipeline:	False
Accepter les caractères génériques:	False

-SparkVersion

Version d’Apache Spark. Valeurs autorisées : 2.4

Type:	String
Position:	Named
Valeur par défaut:	None
Obligatoire:	True
Accepter l'entrée de pipeline:	False
Accepter les caractères génériques:	False

-Tag

Chaîne,dictionnaire de chaînes de balises associées à la ressource.

Type:	Hashtable
Position:	Named
Valeur par défaut:	None
Obligatoire:	False
Accepter l'entrée de pipeline:	False
Accepter les caractères génériques:	False

-WhatIf

Montre ce qui se passe en cas d’exécution de l’applet de commande. L’applet de commande n’est pas exécutée.

Type:	SwitchParameter
Alias:	wi
Position:	Named
Valeur par défaut:	None
Obligatoire:	False
Accepter l'entrée de pipeline:	False
Accepter les caractères génériques:	False

-WorkspaceName

Nom de l’espace de travail Synapse.

Type:	String
Position:	Named
Valeur par défaut:	None
Obligatoire:	True
Accepter l'entrée de pipeline:	False
Accepter les caractères génériques:	False

-WorkspaceObject

objet d’entrée d’espace de travail, généralement passé par le pipeline.

Type:	PSSynapseWorkspace
Position:	Named
Valeur par défaut:	None
Obligatoire:	True
Accepter l'entrée de pipeline:	True
Accepter les caractères génériques:	False

Entrées

PSSynapseWorkspace

Sorties

PSSynapseSparkPool

Partager via