Partager via

Update-AzSynapseSparkPool

  • Référence
Module:
Az.Synapse

Met à jour un pool Apache Spark dans Azure Synapse Analytics.

Syntaxe

Update-AzSynapseSparkPool
      [-ResourceGroupName <String>]
      -WorkspaceName <String>
      -Name <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -Name <String>
      -WorkspaceObject <PSSynapseWorkspace>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -InputObject <PSSynapseSparkPool>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -ResourceId <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Description

L’applet de commande Update-AzSynapseSparkPool met à jour un pool Apache Spark dans Azure Synapse Analytics.

Remarque

Si le -SparkVersion paramètre est utilisé pour mettre à niveau la version du runtime Synapse Spark, vérifiez que le pool Spark n’a pas de bibliothèques ou de packages personnalisés attachés. Pour plus d’informations, reportez-vous à la migration entre les versions d’Apache Spark.

Exemples

Exemple 1

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium

Cette commande met à jour un pool Apache Spark dans Azure Synapse Analytics.

Exemple 2

$pool = Get-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -Tag @{"key" = "value1"}

Cette commande met à jour un pool Apache Spark dans Azure Synapse Analytics via le pipeline.

Exemple 3

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | Update-AzSynapseSparkPool -Name ContosoSparkPool -Tag @{"key" = "value2"}

Cette commande met à jour un pool Apache Spark dans Azure Synapse Analytics via le pipeline.

Exemple 4

Update-AzSynapseSparkPool -ResourceId /subscriptions/21686af7-58ec-4f4d-9c68-f431f4db4edd/resourceGroups/ContosoResourceGroup/providers/Microsoft.Synapse/workspaces/ContosoWorkspace/bigDataPools/ContosoSparkPool -Tag @{"key" = "value3"}

Cette commande met à jour un pool Apache Spark dans Azure Synapse Analytics avec l’ID de ressource.

Exemple 5

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $true -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 7

Cette commande active la mise à l’échelle automatique d’un pool Apache Spark dans Azure Synapse Analytics.

Exemple 6

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $false

Cette commande désactive la mise à l’échelle automatique d’un pool Apache Spark dans Azure Synapse Analytics.

Exemple 7

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $true -AutoPauseDelayInMinute 15

Cette commande active la pause automatique pour un pool Apache Spark dans Azure Synapse Analytics.

Exemple 8

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $false

Cette commande désactive la pause automatique pour un pool Apache Spark dans Azure Synapse Analytics.

Exemple 9

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $true -MinExecutorCount 1 -MaxExecutorCount 5

Cette commande active l’allocation d’exécuteur dynamique et spécifie le nombre d’exécuteurs min et le nombre maximal d’exécuteurs pour un pool Apache Spark dans Azure Synapse Analytics.

Exemple 10

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $false

Cette commande désactive l’allocation d’exécuteur dynamique pour un pool Apache Spark dans Azure Synapse Analytics.

Exemple 11

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

La première commande récupère les packages d’espace de travail. La deuxième commande lie ces packages d’espace de travail à un pool Apache Spark dans Azure Synapse Analytics.

Exemple 12

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

La première commande récupère les packages d’espace de travail nommés ContosoPackage. La deuxième commande supprime le package d’espace de travail d’un pool Apache Spark dans Azure Synapse Analytics.

Exemple 13

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

La première commande récupère un pool Apache Spark dans Azure Synapse Analytics. La deuxième commande supprime tous les packages d’espace de travail liés à ce pool Apache Spark.

Exemple 14

$workspace_packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$library_names = $pool.WorkspacePackages | Where-Object {$_.name -notlike "new_package-*"} | ForEach-Object {$_.name}
$library_names += "new_package-2.0-py3-none-any.whl"

$new_pool_packages = @($workspace_packages | Where-Object {$_.name -in $library_names})
Update-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Set -Package $new_pool_packages

La première commande récupère les packages disponibles dans l’espace de travail. Le deuxième groupe de commandes récupère le pool Spark pour obtenir les packages actuellement liés à ce pool et supprime toutes les versions du package à partir new_package- de la liste récupérée. La nouvelle version du package est ensuite ajoutée à cette liste. Dans le troisième groupe de commandes, la liste des packages, contenant uniquement les noms de package, est transformée dans une liste de packages d’espace de travail en filtrant la liste des workspace_packages disponibles en conséquence et est ensuite liée au pool Spark.

Exemple 15

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium -SparkConfiguration $configs

Cette commande met à jour un pool Apache Spark dans Azure Synapse Analytics et spécifie une configuration Spark pour le pool Spark.

Exemple 16

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeSize small -ForceApplySetting

Cette commande met à jour un pool Apache Spark dans Azure Synapse Analytics, définissez NodeSize sur petit pour le pool Spark et forcez l’arrêt des travaux en cours d’exécution dans le pool Spark pour appliquer ce nouveau paramètre.

Exemple 17

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages -ForceApplySetting

La première commande récupère un pool Apache Spark dans Azure Synapse Analytics. La deuxième commande supprime tous les packages d’espace de travail liés à ce pool Apache Spark et force l’arrêt des travaux en cours d’exécution dans le pool Spark pour appliquer ce nouveau paramètre.

Exemple 18

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableIsolatedCompute $true -NodeSize XXXLarge

Cette commande active le calcul isolé et spécifie la taille du nœud sur XXXLarge(80 processeurs virtuels / 504 Go) pour un pool Apache Spark dans Azure Synapse Analytics.

Paramètres

-AsJob

Exécuter l’applet de commande en arrière-plan

Type:SwitchParameter
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-AutoPauseDelayInMinute

Nombre de minutes d’inactivité. Ce paramètre peut être spécifié lorsque la pause automatique est activée. La valeur par défaut est [15] si elle n’est pas spécifiée manuellement.

Type:Int32
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-AutoScaleMaxNodeCount

Nombre maximal de nœuds à allouer dans le pool Spark spécifié. Ce paramètre doit être spécifié lorsque la mise à l’échelle automatique est activée.

Type:Int32
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-AutoScaleMinNodeCount

Nombre minimal de nœuds à allouer dans le pool Spark spécifié. Ce paramètre doit être spécifié lorsque la mise à l’échelle automatique est activée.

Type:Int32
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-Confirm

Vous demande une confirmation avant d’exécuter l’applet de commande.

Type:SwitchParameter
Alias:cf
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-DefaultProfile

Informations d’identification, compte, locataire et abonnement utilisés pour la communication avec Azure.

Type:IAzureContextContainer
Alias:AzContext, AzureRmContext, AzureCredential
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-EnableAutoPause

Indique si la pause automatique doit être activée.

Type:Nullable<T>[Boolean]
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-EnableAutoScale

Indique si la mise à l’échelle automatique doit être activée

Type:Nullable<T>[Boolean]
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-EnableDynamicExecutorAllocation

Indique si l’allocation d’exécuteur dynamique doit être activée.

Type:Nullable<T>[Boolean]
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-EnableIsolatedCompute

L’option Isolate Compute est disponible uniquement avec la taille de nœud XXXLarge (80 processeurs virtuels / 504 Go). L’activation de cette option offre une isolation pour le calcul Apache Spark pour les services non approuvés. Les coûts de calcul isolés sont identiques à ceux de la machine virtuelle non isolée de la même taille. Si vous prévoyez d’activer le calcul isolé pour le pool Spark, vérifiez que votre espace de travail Synapse est créé dans une région prise en charge par le calcul isolé, reportez-vous à ce document pour plus d’informations : https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute.

Type:Nullable<T>[Boolean]
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-ForceApplySetting

Indique s’il faut arrêter les travaux en cours d’exécution dans le pool Big Data.

Type:SwitchParameter
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-InputObject

Objet d’entrée de pool Spark, généralement passé par le pipeline.

Type:PSSynapseSparkPool
Position:Named
Valeur par défaut:None
Obligatoire:True
Accepter l'entrée de pipeline:True
Accepter les caractères génériques:False

-LibraryRequirementsFilePath

Fichier de configuration d’environnement (« GEL PIP » sortie).

Type:String
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-MaxExecutorCount

Nombre maximal d’exécuteurs à allouer dans le pool Spark spécifié. Ce paramètre peut être spécifié lorsque DynamicExecutorAllocation est activé. La valeur doit être comprise entre 1 (inclus) et maximumNodeCount (exclusif). S’il n’est pas spécifié manuellement, la valeur par défaut est 2.

Type:Int32
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-MinExecutorCount

Nombre minimal d’exécuteurs à allouer dans le pool Spark spécifié. Ce paramètre peut être spécifié lorsque DynamicExecutorAllocation est activé. La valeur doit être comprise entre 1 (inclus) et maxExecutors (exclusif). S’il n’est pas spécifié manuellement, la valeur par défaut est 1.

Type:Int32
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-Name

Nom du pool Synapse Spark.

Type:String
Alias:SparkPoolName
Position:Named
Valeur par défaut:None
Obligatoire:True
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-NodeCount

Nombre de nœuds à allouer dans le pool Spark spécifié.

Type:Int32
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-NodeSize

Nombre de cœurs et de mémoire à utiliser pour les nœuds alloués dans le pool Spark spécifié. Ce paramètre doit être spécifié lorsque la mise à l’échelle automatique est désactivée

Type:String
Valeurs acceptées:Small, Medium, Large, XLarge, XXLarge, XXXLarge
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-Package

Packages d’espace de travail.

Type:List<T>[PSSynapseWorkspacePackage]
Alias:WorkspacePackage
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-PackageAction

L’action de package doit être spécifiée lorsque vous ajoutez ou supprimez un package d’espace de travail d’un pool Apache Spark.

Type:Microsoft.Azure.Commands.Synapse.Models.SynapseConstants+PackageActionType
Valeurs acceptées:Add, Remove, Set
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-ResourceGroupName

Nom du groupe de ressources.

Type:String
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-ResourceId

Identificateur de ressource du pool Synapse Spark.

Type:String
Position:Named
Valeur par défaut:None
Obligatoire:True
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-SparkConfiguration

Configuration d’Apache Spark. Lorsqu’un travail est soumis au pool, les propriétés spécifiées dans la configuration sélectionnée sont référencées.

Type:PSSparkConfigurationResource
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-SparkVersion

Version d’Apache Spark. Valeurs autorisées : 3.1,3.2,3.3,3.4

Type:String
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-Tag

Chaîne,dictionnaire de chaînes de balises associées à la ressource.

Type:Hashtable
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-WhatIf

Montre ce qui se passe en cas d’exécution de l’applet de commande. L’applet de commande n’est pas exécutée.

Type:SwitchParameter
Alias:wi
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-WorkspaceName

Nom de l’espace de travail Synapse.

Type:String
Position:Named
Valeur par défaut:None
Obligatoire:True
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-WorkspaceObject

objet d’entrée d’espace de travail, généralement passé par le pipeline.

Type:PSSynapseWorkspace
Position:Named
Valeur par défaut:None
Obligatoire:True
Accepter l'entrée de pipeline:True
Accepter les caractères génériques:False

Entrées

PSSynapseWorkspace

PSSynapseSparkPool

Sorties

PSSynapseSparkPool