Compartilhar via

Update-AzSynapseSparkPool

  • Referência
Módulo:
Az.Synapse

Atualiza um pool do Apache Spark no Azure Synapse Analytics.

Sintaxe

Update-AzSynapseSparkPool
      [-ResourceGroupName <String>]
      -WorkspaceName <String>
      -Name <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -Name <String>
      -WorkspaceObject <PSSynapseWorkspace>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -InputObject <PSSynapseSparkPool>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -ResourceId <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Description

O cmdlet Update-AzSynapseSparkPool atualiza um pool do Apache Spark no Azure Synapse Analytics.

Nota

Se o parâmetro -SparkVersion for usado para atualizar a versão de runtime do Synapse Spark, verifique se o pool do Spark não tem bibliotecas ou pacotes personalizados anexados. Consulte Migração entre versões do Apache Spark para obter mais detalhes.

Exemplos

Exemplo 1

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium

Esse comando atualiza um pool do Apache Spark no Azure Synapse Analytics.

Exemplo 2

$pool = Get-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -Tag @{"key" = "value1"}

Esse comando atualiza um pool do Apache Spark no Azure Synapse Analytics por meio do pipeline.

Exemplo 3

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | Update-AzSynapseSparkPool -Name ContosoSparkPool -Tag @{"key" = "value2"}

Esse comando atualiza um pool do Apache Spark no Azure Synapse Analytics por meio do pipeline.

Exemplo 4

Update-AzSynapseSparkPool -ResourceId /subscriptions/21686af7-58ec-4f4d-9c68-f431f4db4edd/resourceGroups/ContosoResourceGroup/providers/Microsoft.Synapse/workspaces/ContosoWorkspace/bigDataPools/ContosoSparkPool -Tag @{"key" = "value3"}

Esse comando atualiza um pool do Apache Spark no Azure Synapse Analytics com a ID do recurso.

Exemplo 5

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $true -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 7

Esse comando habilita a escala automática para um pool do Apache Spark no Azure Synapse Analytics.

Exemplo 6

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $false

Esse comando desabilita a escala automática para um pool do Apache Spark no Azure Synapse Analytics.

Exemplo 7

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $true -AutoPauseDelayInMinute 15

Esse comando habilita a pausa automática para um pool do Apache Spark no Azure Synapse Analytics.

Exemplo 8

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $false

Esse comando desabilita a pausa automática para um pool do Apache Spark no Azure Synapse Analytics.

Exemplo 9

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $true -MinExecutorCount 1 -MaxExecutorCount 5

Esse comando permite a alocação do executor dinâmico e especifica a contagem mínima de executores e a contagem máxima do executor para um pool do Apache Spark no Azure Synapse Analytics.

Exemplo 10

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $false

Esse comando desabilita a alocação de executor dinâmico para um pool do Apache Spark no Azure Synapse Analytics.

Exemplo 11

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

O primeiro comando recupera pacotes de workspace. O segundo comando vincula esses pacotes de workspace a um pool do Apache Spark no Azure Synapse Analytics.

Exemplo 12

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

O primeiro comando recupera pacotes de workspace chamados ContosoPackage. O segundo comando remove o pacote de workspace de um pool do Apache Spark no Azure Synapse Analytics.

Exemplo 13

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

O primeiro comando recupera um pool do Apache Spark no Azure Synapse Analytics. O segundo comando remove todos os pacotes de workspace vinculados a esse pool do Apache Spark.

Exemplo 14

$workspace_packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$library_names = $pool.WorkspacePackages | Where-Object {$_.name -notlike "new_package-*"} | ForEach-Object {$_.name}
$library_names += "new_package-2.0-py3-none-any.whl"

$new_pool_packages = @($workspace_packages | Where-Object {$_.name -in $library_names})
Update-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Set -Package $new_pool_packages

O primeiro comando recupera os pacotes disponíveis no workspace. O segundo grupo de comandos recupera o pool do Spark para obter os pacotes atualmente vinculados a esse pool e remove todas as versões do pacote começando com new_package- da lista recuperada. Em seguida, a nova versão do pacote é adicionada a essa lista. No terceiro grupo de comandos, a lista de pacotes, que contém apenas nomes de pacote, é transformada em uma lista de pacotes de workspace filtrando a lista de workspace_packages disponíveis adequadamente e, em seguida, é vinculada ao pool do Spark.

Exemplo 15

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium -SparkConfiguration $configs

Esse comando atualiza um pool do Apache Spark no Azure Synapse Analytics e especifica uma configuração do Spark para o pool do Spark.

Exemplo 16

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeSize small -ForceApplySetting

Esse comando atualiza um pool do Apache Spark no Azure Synapse Analytics, define o NodeSize como pequeno para o pool do Spark e força a interrupção de todos os trabalhos em execução no pool do Spark para aplicar essa nova configuração.

Exemplo 17

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages -ForceApplySetting

O primeiro comando recupera um pool do Apache Spark no Azure Synapse Analytics. O segundo comando remove todos os pacotes de workspace que estão vinculados a esse pool do Apache Spark e força a interrupção de todos os trabalhos em execução no pool do Spark para aplicar essa nova configuração.

Exemplo 18

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableIsolatedCompute $true -NodeSize XXXLarge

Esse comando habilita a computação isolada e especifica o tamanho do nó para XXXLarge(80 vCPU/504 GB) para um pool do Apache Spark no Azure Synapse Analytics.

Parâmetros

-AsJob

Executar cmdlet em segundo plano

Tipo:SwitchParameter
Cargo:Named
Valor padrão:None
Obrigatório:False
Aceitar a entrada de pipeline:False
Aceitar caracteres curinga:False

-AutoPauseDelayInMinute

Número de minutos ociosos. Esse parâmetro pode ser especificado quando a pausa automática está habilitada. O valor padrão será [15] se não for especificado manualmente.

Tipo:Int32
Cargo:Named
Valor padrão:None
Obrigatório:False
Aceitar a entrada de pipeline:False
Aceitar caracteres curinga:False

-AutoScaleMaxNodeCount

Número máximo de nós a serem alocados no pool do Spark especificado. Esse parâmetro deve ser especificado quando a escala automática está habilitada.

Tipo:Int32
Cargo:Named
Valor padrão:None
Obrigatório:False
Aceitar a entrada de pipeline:False
Aceitar caracteres curinga:False

-AutoScaleMinNodeCount

Número mínimo de nós a serem alocados no pool do Spark especificado. Esse parâmetro deve ser especificado quando a escala automática está habilitada.

Tipo:Int32
Cargo:Named
Valor padrão:None
Obrigatório:False
Aceitar a entrada de pipeline:False
Aceitar caracteres curinga:False

-Confirm

Solicita a confirmação antes de executar o cmdlet.

Tipo:SwitchParameter
Aliases:cf
Cargo:Named
Valor padrão:None
Obrigatório:False
Aceitar a entrada de pipeline:False
Aceitar caracteres curinga:False

-DefaultProfile

As credenciais, a conta, o locatário e a assinatura usados para comunicação com o Azure.

Tipo:IAzureContextContainer
Aliases:AzContext, AzureRmContext, AzureCredential
Cargo:Named
Valor padrão:None
Obrigatório:False
Aceitar a entrada de pipeline:False
Aceitar caracteres curinga:False

-EnableAutoPause

Indica se a pausa automática deve ser habilitada.

Tipo:Nullable<T>[Boolean]
Cargo:Named
Valor padrão:None
Obrigatório:False
Aceitar a entrada de pipeline:False
Aceitar caracteres curinga:False

-EnableAutoScale

Indica se a escala automática deve ser habilitada

Tipo:Nullable<T>[Boolean]
Cargo:Named
Valor padrão:None
Obrigatório:False
Aceitar a entrada de pipeline:False
Aceitar caracteres curinga:False

-EnableDynamicExecutorAllocation

Indica se a alocação dinâmica do executor deve ser habilitada.

Tipo:Nullable<T>[Boolean]
Cargo:Named
Valor padrão:None
Obrigatório:False
Aceitar a entrada de pipeline:False
Aceitar caracteres curinga:False

-EnableIsolatedCompute

A opção De computação isolada só está disponível com o tamanho do nó XXXLarge (80 vCPU/504 GB). Habilitar essa opção oferece isolamento para computação do Apache Spark para serviços não confiáveis. A computação isolada custa o mesmo que a VM não isolada do mesmo tamanho. Se você espera habilitar a Computação Isolada para o pool do Spark, verifique se o workspace do Synapse foi criado em uma região com suporte de computação isolada, consulte este documento para obter mais detalhes: https://zcusa.951200.xyz/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute.

Tipo:Nullable<T>[Boolean]
Cargo:Named
Valor padrão:None
Obrigatório:False
Aceitar a entrada de pipeline:False
Aceitar caracteres curinga:False

-ForceApplySetting

Se deseja interromper os trabalhos em execução no pool de Big Data.

Tipo:SwitchParameter
Cargo:Named
Valor padrão:None
Obrigatório:False
Aceitar a entrada de pipeline:False
Aceitar caracteres curinga:False

-InputObject

Objeto de entrada do pool do Spark, geralmente passado pelo pipeline.

Tipo:PSSynapseSparkPool
Cargo:Named
Valor padrão:None
Obrigatório:True
Aceitar a entrada de pipeline:True
Aceitar caracteres curinga:False

-LibraryRequirementsFilePath

Arquivo de configuração de ambiente (saída "CONGELAMENTO DE PIP").

Tipo:String
Cargo:Named
Valor padrão:None
Obrigatório:False
Aceitar a entrada de pipeline:False
Aceitar caracteres curinga:False

-MaxExecutorCount

Número máximo de executores a serem alocados no pool do Spark especificado. Esse parâmetro pode ser especificado quando DynamicExecutorAllocation está habilitado. O valor deve estar entre 1 (inclusivo) e maximumNodeCount (exclusivo). Se não for especificado manualmente, o valor padrão será 2.

Tipo:Int32
Cargo:Named
Valor padrão:None
Obrigatório:False
Aceitar a entrada de pipeline:False
Aceitar caracteres curinga:False

-MinExecutorCount

Número mínimo de executores a serem alocados no pool do Spark especificado. Esse parâmetro pode ser especificado quando DynamicExecutorAllocation está habilitado. O valor deve estar entre 1 (inclusivo) e maxExecutors (exclusivo). Se não for especificado manualmente, o valor padrão será 1.

Tipo:Int32
Cargo:Named
Valor padrão:None
Obrigatório:False
Aceitar a entrada de pipeline:False
Aceitar caracteres curinga:False

-Name

Nome do pool do Spark do Synapse.

Tipo:String
Aliases:SparkPoolName
Cargo:Named
Valor padrão:None
Obrigatório:True
Aceitar a entrada de pipeline:False
Aceitar caracteres curinga:False

-NodeCount

Número de nós a serem alocados no pool do Spark especificado.

Tipo:Int32
Cargo:Named
Valor padrão:None
Obrigatório:False
Aceitar a entrada de pipeline:False
Aceitar caracteres curinga:False

-NodeSize

Número de núcleo e memória a serem usados para nós alocados no pool do Spark especificado. Esse parâmetro deve ser especificado quando a escala automática está desabilitada

Tipo:String
Valores aceitos:Small, Medium, Large, XLarge, XXLarge, XXXLarge
Cargo:Named
Valor padrão:None
Obrigatório:False
Aceitar a entrada de pipeline:False
Aceitar caracteres curinga:False

-Package

Os pacotes do workspace.

Tipo:List<T>[PSSynapseWorkspacePackage]
Aliases:WorkspacePackage
Cargo:Named
Valor padrão:None
Obrigatório:False
Aceitar a entrada de pipeline:False
Aceitar caracteres curinga:False

-PackageAction

A ação do pacote deve ser especificada quando você adiciona ou remove um pacote de workspace de um pool do Apache Spark.

Tipo:Microsoft.Azure.Commands.Synapse.Models.SynapseConstants+PackageActionType
Valores aceitos:Add, Remove, Set
Cargo:Named
Valor padrão:None
Obrigatório:False
Aceitar a entrada de pipeline:False
Aceitar caracteres curinga:False

-ResourceGroupName

Nome do grupo de recursos.

Tipo:String
Cargo:Named
Valor padrão:None
Obrigatório:False
Aceitar a entrada de pipeline:False
Aceitar caracteres curinga:False

-ResourceId

Identificador de recurso do pool do Synapse Spark.

Tipo:String
Cargo:Named
Valor padrão:None
Obrigatório:True
Aceitar a entrada de pipeline:False
Aceitar caracteres curinga:False

-SparkConfiguration

Configuração do Apache Spark. Quando um trabalho é enviado para o pool, as propriedades especificadas na configuração selecionada serão referenciadas.

Tipo:PSSparkConfigurationResource
Cargo:Named
Valor padrão:None
Obrigatório:False
Aceitar a entrada de pipeline:False
Aceitar caracteres curinga:False

-SparkVersion

Versão do Apache Spark. Valores permitidos: 3.1,3.2,3.3,3,3.4

Tipo:String
Cargo:Named
Valor padrão:None
Obrigatório:False
Aceitar a entrada de pipeline:False
Aceitar caracteres curinga:False

-Tag

Uma cadeia de caracteres, um dicionário de cadeia de caracteres de marcas associadas ao recurso.

Tipo:Hashtable
Cargo:Named
Valor padrão:None
Obrigatório:False
Aceitar a entrada de pipeline:False
Aceitar caracteres curinga:False

-WhatIf

Mostra o que aconteceria se o cmdlet fosse executado. O cmdlet não é executado.

Tipo:SwitchParameter
Aliases:wi
Cargo:Named
Valor padrão:None
Obrigatório:False
Aceitar a entrada de pipeline:False
Aceitar caracteres curinga:False

-WorkspaceName

Nome do workspace do Synapse.

Tipo:String
Cargo:Named
Valor padrão:None
Obrigatório:True
Aceitar a entrada de pipeline:False
Aceitar caracteres curinga:False

-WorkspaceObject

objeto de entrada do workspace, geralmente passado pelo pipeline.

Tipo:PSSynapseWorkspace
Cargo:Named
Valor padrão:None
Obrigatório:True
Aceitar a entrada de pipeline:True
Aceitar caracteres curinga:False

Entradas

PSSynapseWorkspace

PSSynapseSparkPool

Saídas

PSSynapseSparkPool