Gerenciar a configuração do cluster
Nota
Vamos desativar o Azure HDInsight no AKS em 31 de janeiro de 2025. Antes de 31 de janeiro de 2025, você precisará migrar suas cargas de trabalho para o Microsoft Fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho. Os clusters restantes na sua subscrição serão interrompidos e removidos do anfitrião.
Apenas o apoio básico estará disponível até à data da reforma.
Importante
Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para Pré-visualizações do Microsoft Azure incluem mais termos legais que se aplicam a funcionalidades do Azure que estão em versão beta, em pré-visualização ou ainda não disponibilizadas para disponibilidade geral. Para obter informações sobre essa visualização específica, consulte Informações de visualização do Azure HDInsight no AKS. Para perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para obter mais atualizações na Comunidade do Azure HDInsight.
O HDInsight no AKS permite ajustar as propriedades de configuração para melhorar o desempenho do cluster com determinadas configurações. Por exemplo, configurações de uso ou memória. Você pode executar as seguintes ações:
- Atualize as configurações existentes ou adicione novas configurações.
- Exporte as configurações usando a API REST.
Personalizar configurações
Você pode personalizar as configurações usando as seguintes opções:
Através do portal do Azure
Inicie sessão no portal do Azure.
Na barra de pesquisa do portal do Azure, digite "HDInsight em cluster AKS" e selecione "Azure HDInsight em clusters AKS" na lista suspensa.
Selecione o nome do cluster na página de listagem.
Vá para a folha "Gerenciamento de configuração" no menu à esquerda.
Dependendo do tipo de cluster, os arquivos de configuração são listados. Para obter mais informações, consulte Configurações de Trino, Flink e Spark .
Adicione novo ou atualize o par chave-valor existente para as configurações que você deseja modificar.
Selecione OK e clique em Salvar.
Nota
Algumas alterações de configuração podem precisar ser reiniciadas para refletir as alterações.
Com o modelo do ARM
Pré-requisitos
- Modelo ARM para o cluster.
- Familiaridade com a criação e implantação de modelos ARM.
No modelo ARM, você pode editar serviceConfigsProfiles e especificar o nome do arquivo de configuração OSS com o valor que deseja substituir.
Se o arquivo de configuração OSS estiver no formato JSON/XML/YAML, você poderá fornecer o nome do arquivo de configuração OSS via fileName. Forneça os pares de valores de chave que você deseja substituir em "valores".
Aqui estão alguns exemplos para cada carga de trabalho:
Exemplo de configuração Flink:
"serviceConfigsProfiles": [
{
"serviceName": "flink-operator",
"configs": [
{
"component": "flink-configs",
"files": [
{
"fileName": "flink-conf.yaml",
"values": {
"taskmanager.memory.process.size": "4096mb",
"classloader.check-leaked-classloader": "false",
"jobmanager.memory.process.size": "4096mb",
"classloader.parent-first-patterns.additional": "org.apache.parquet"
}
}
]
}
]
}
]
Exemplo de configuração do Spark:
"serviceConfigsProfiles": [
{
"serviceName": "spark-service",
"configs": [
{
"component": "livy-config",
"files": [
{
"fileName": "livy-client.conf",
"values": {
"livy.client.http.connection.timeout": "11s"
}
}
]
},
{
"component": "spark-config",
"files": [
{
"fileName": "spark-env.sh",
"content": "# - SPARK_HISTORY_OPTS, to set config properties only for the history server (e.g. \"-Dx=y\")\nexport HDP_VERSION=3.3.3.5.2-83515052\n"
}
]
}
]
}
]
Exemplo de configuração do Trino:
"serviceConfigsProfiles": [
{
"serviceName": "trino",
"configs": [
{
"component": "coordinator",
"files": [
{
"fileName": "config.properties",
"values": {
"query.cache.enabled": "true",
"query.cache.ttl": "1h",
"query.enable-multi-statement-set-session": "true",
"query.max-memory": "301GB"
}
},
{
"fileName": "log.properties",
"values": {
"io.trino": "INFO"
}
}
]
}
]
Para obter mais informações sobre as opções de configuração do Trino, consulte os modelos ARM de exemplo.
Exportar as configurações usando a API REST
Você também pode exportar configurações de cluster para verificar os valores padrão e atualizados. No momento, você só pode exportar configurações por meio da API REST.
Obtenha configurações de cluster:
GET Request: /subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}
Se você não estiver familiarizado com como enviar uma chamada de API REST, as etapas a seguir podem ajudá-lo.
Clique no botão a seguir no canto superior direito do portal do Azure para iniciar o Azure Cloud Shell.
Verifique se o Cloud Shell está definido como PowerShell no canto superior esquerdo. Execute o seguinte comando para obter token e definir cabeçalhos de solicitação HTTP.
$azContext = Get-AzContext $azProfile = [Microsoft.Azure.Commands.Common.Authentication.Abstractions.AzureRmProfileProvider]::Instance.Profile $profileClient = New-Object -TypeName Microsoft.Azure.Commands.ResourceManager.Common.RMProfileClient -ArgumentList ($azProfile) $token = $profileClient.AcquireAccessToken($azContext.Subscription.TenantId) $authHeader = @{ 'Content-Type'='application/json' 'Authorization'='Bearer ' + $token.AccessToken }Defina a variável $restUri como a URL de solicitação Get.
$restUri = 'https://management.azure.com/subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}'Por exemplo:
$restUri = 'https://management.azure.com/subscriptions/xxx-yyyy-zzz-00000/resourceGroups/contosoRG/providers/Microsoft.HDInsight/clusterpools/contosopool/clusters/contosocluster/serviceConfigs?api-version=2021-09-15-previewNota
Você pode obter a ID do recurso e a versão atualizada da api na "Exibição JSON" do seu cluster no portal do Azure.
Envie a solicitação GET executando o seguinte comando.
Invoke-RestMethod -Uri $restUri -Method Get -Headers $authHeader | ConvertTo-Json -Depth 10