Partilhar via

Gerenciamento de configuração Trino

  • Artigo

Nota

Vamos desativar o Azure HDInsight no AKS em 31 de janeiro de 2025. Antes de 31 de janeiro de 2025, você precisará migrar suas cargas de trabalho para o Microsoft Fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho. Os clusters restantes na sua subscrição serão interrompidos e removidos do anfitrião.

Apenas o apoio básico estará disponível até à data da reforma.

Importante

Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para Pré-visualizações do Microsoft Azure incluem mais termos legais que se aplicam a funcionalidades do Azure que estão em versão beta, em pré-visualização ou ainda não disponibilizadas para disponibilidade geral. Para obter informações sobre essa visualização específica, consulte Informações de visualização do Azure HDInsight no AKS. Para perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para obter mais atualizações na Comunidade do Azure HDInsight.

O cluster Trino com HDInsight no AKS vem com a maioria das configurações padrão do Trino de código aberto. Este artigo descreve como atualizar arquivos de configuração e adiciona seus próprios arquivos de configuração suplementares ao cluster.

Você pode adicionar/atualizar as configurações de duas maneiras:

Nota

O Trino com o HDInsight no AKS impõe determinadas configurações e proíbe a modificação de alguns ficheiros e/ou propriedades. Isso é feito para garantir a segurança / conectividade adequada através da configuração. Exemplo de arquivos/propriedades proibidos inclui, mas não está limitado a:

  • jvm.config com exceção das configurações de tamanho de pilha.
  • Node.properties: node.id, node.data-dir, log.path etc.
  • Config.properties: http-server.authentication.*, http-server.https.* etc.

Através do portal do Azure

No portal do Azure, você pode modificar três conjuntos de configurações padrão do Trino:

  • log.propriedades
  • config.properties
  • node.propriedades

Siga as etapas para modificar as configurações:

  1. Inicie sessão no portal do Azure.

  2. Na barra de pesquisa do portal do Azure, digite "HDInsight em cluster AKS" e selecione "Azure HDInsight em clusters AKS" na lista suspensa.

    Captura de ecrã a mostrar a opção de pesquisa para introdução ao HDInsight no AKS Cluster.

  3. Selecione o nome do cluster na página de listagem.

    Captura de tela mostrando a seleção do HDInsight no cluster AKS que você precisa na lista.

  4. Navegue até a folha "Gerenciamento de configuração".

    Captura de tela mostrando o gerenciamento de configuração do portal do Azure.

  5. Adicione novos ou atualize os pares de valores de chave existentes para as configurações que você deseja modificar. Por exemplo, config.properties -> Configurações personalizadas -> clique em "Adicionar" para adicionar nova definição de configuração e, em seguida, clique em Ok.

    Captura de tela mostrando a configuração personalizada.

  6. Clique em "Salvar" para salvar as configurações.

    Captura de tela mostrando como salvar a configuração.

Com o modelo do ARM

Pré-requisitos

Gestão do Cluster

Todas as configurações do Trino podem ser especificadas em serviceConfigsProfiles.serviceName[“trino”] properties.clusterProfile.

O exemplo a seguir se concentra em coordinator/worker/miscfiles. Para catálogos, consulte Adicionar catálogos a um cluster existente:

"serviceConfigsProfiles": [
    {
        "serviceName": "trino",
        "configs": [
            {
                "component": "catalogs",
                "files": [<file-spec>,…]
            },
            {
                "component": "coordinator",
                "files": [<file-spec>,…]
            },
            {
                "component": "worker",
                "files": [<file-spec>,…]
            },
            {
                "component": " miscfiles",
                "files": [<file-spec>,…]
            },
        ]
    }
]

Existem vários componentes que controlam diferentes aspetos de configuração:

Nome de componente Propriedades obrigatórias/permitidas para cada especificação de arquivo Description
comum filename, values Contém arquivos de configuração para coordenador e trabalhador.
Coordenador filename, values Contém arquivos de configuração apenas para coordenador, substitui comuns se presentes.
trabalhador filename, values Contém arquivos de configuração apenas para trabalhadores, substitui comuns se presentes.
miscfiles filename, content Contém diversos arquivos de configuração fornecidos pelo usuário para todo o cluster.
catálogos filename, conteúdo ou valores Contém arquivos de catálogo para todo o cluster.

O exemplo a seguir demonstra:

  • Substitua node.environment padrão para cluster (exibido na interface do usuário Trino).
  • Substitua os valores config.properties padrão para coordenador e trabalhador.
  • Adicione grupos de recursos de exemplo json e configure o coordenador para usá-lo.
"serviceConfigsProfiles": [
    {
        "serviceName": "trino",
        "configs": [
            {
                "component": "common",
                "files": [
                    {
                        "fileName": "node.properties",
                        "values": {
                            "node.environment": "preview"
                        }
                    },
                    {
                        "fileName": "config.properties",
                        "values": {
                            "join-distribution-type": "AUTOMATIC",
                            "query.max-execution-time": "5d",
                            "shutdown.grace-period": "5m"
                        }
                    }
                ]                
            },
            {
                "component": "coordinator",
                "files": [
                    {
                        "fileName": "resource-groups.properties",
                        "values": {
                            "resource-groups.configuration-manager": "file",
                            "resource-groups.config-file": "${MISC:resource-groups}"
                        }                                            
                    }
                ]
            },
            {
                "component": "miscfiles",
                "files": [
                    {
                        "fileName": "resource-groups",
                        "path": "/customDir/resource-groups.json",
                        "content": "{\"rootGroups\":[{\"name\":\"global\",\"softMemoryLimit\":\"80%\",\"hardConcurrencyLimit\":100,\"maxQueued\":1000,\"schedulingPolicy\":\"weighted\",\"jmxExport\":true,\"subGroups\":[{\"name\":\"data_definition\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":5,\"maxQueued\":100,\"schedulingWeight\":1},{\"name\":\"adhoc\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":50,\"maxQueued\":1,\"schedulingWeight\":10,\"subGroups\":[{\"name\":\"other\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":2,\"maxQueued\":1,\"schedulingWeight\":10,\"schedulingPolicy\":\"weighted_fair\",\"subGroups\":[{\"name\":\"${USER}\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":1,\"maxQueued\":100}]}]}]},{\"name\":\"admin\",\"softMemoryLimit\":\"100%\",\"hardConcurrencyLimit\":50,\"maxQueued\":100,\"schedulingPolicy\":\"query_priority\",\"jmxExport\":true}],\"selectors\":[{\"group\":\"global.adhoc.other.${USER}\"}],\"cpuQuotaPeriod\":\"1h\"}"
                    }
                ]
            }
        ]
    }

Implante o modelo ARM atualizado para refletir as alterações no cluster. Saiba como implantar um modelo ARM.