Configurar a colocação em cache

Consultar o armazenamento de objetos usando o conector Hive é um caso de uso comum para o Trino. Este processo envolve frequentemente o envio de grandes quantidades de dados. Os objetos são recuperados do HDFS ou de outro armazenamento de objetos suportado por vários trabalhadores e processados por esses trabalhadores. Consultas repetidas com parâmetros diferentes, ou até mesmo consultas diferentes de usuários diferentes, geralmente acessam e transferem os mesmos objetos.

O HDInsight no AKS adicionou o recurso de cache de resultados finais para o Trino, que oferece os seguintes benefícios:

• Reduza a carga no armazenamento de objetos.
• Melhore o desempenho da consulta.
• Reduza o custo da consulta.

Opções de cache

Diferentes opções para cache:

• Cache de resultado final: Quando habilitado (na seção de configuração do componente coordenador), um resultado para qualquer consulta para qualquer cache de catálogo em uma VM coordenadora.
• Cache de catálogo Hive/Iceberg/Delta Lake: quando habilitado (para um catálogo específico do tipo correspondente), um dado dividido para cada consulta é armazenado em cache no cluster em VMs de trabalho.

Cache de resultados finais

O cache de resultados finais pode ser configurado de duas maneiras:

• Através do portal do Azure
• Usando o modelo ARM

Os parâmetros de configuração disponíveis são:

O cache de resultados finais também pode ser controlado através dos seguintes parâmetros de sessão:

set session query_cache_enabled=true;
select cust.name, *
from tpch.tiny.orders 
join tpch.tiny.customer as cust on cust.custkey = orders.custkey
order by cust.name
limit 10;

O cache de resultados finais produz métricas JMX que podem ser visualizadas usando o Managed Prometheus e o Grafana. As seguintes métricas estão disponíveis:

Através do portal do Azure

1. Inicie sessão no portal do Azure.

2. Na barra de pesquisa do portal do Azure, digite "HDInsight em cluster AKS" e selecione "Azure HDInsight em clusters AKS" na lista suspensa.

   

3. Selecione o nome do cluster na página de listagem.

   

4. Navegue até a folha Gerenciamento de Configuração.

   

5. Vá para config.properties -> Configurações personalizadas e clique em Adicionar.

   

6. Defina as propriedades necessárias e clique em OK.

   

7. Salve a configuração.

   

Com o modelo do ARM

Pré-requisitos

• Um cluster Trino operacional com HDInsight no AKS.
• Crie um modelo ARM para seu cluster.
• Analise o exemplo de modelo ARM de cluster completo.
• Familiaridade com a criação e implantação de modelos ARM.

Você precisa definir as propriedades no componente coordenador na properties.clusterProfile.serviceConfigsProfiles seção no modelo ARM. O exemplo a seguir demonstra onde adicionar as propriedades.

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {},
    "resources": [
        {
            "type": "microsoft.hdinsight/clusterpools/clusters",
            "apiVersion": "<api-version>",
            "name": "<cluster-pool-name>/<cluster-name>",
            "location": "<region, e.g. westeurope>",
            "tags": {},
            "properties": {
                "clusterType": "Trino",

                "clusterProfile": {

                    "serviceConfigsProfiles": [
                        {
                            "serviceName": "trino",
                            "configs": [
                                {
                                    "component": "coordinator",
                                    "files": [
                                        {
                                            "fileName": "config.properties",
                                            "values": {
                                                "query.cache.enabled": "true",
                                                "query.cache.ttl": "10m"
                                            }
                                        }
                                    ]
                                }
                            ]
                        }
                    ]
                }

            }
        }
    ]
}

Cache Hive/Iceberg/Delta Lake

Todos os três conectores compartilham o mesmo conjunto de parâmetros conforme descrito no cache do Hive .

O exemplo a seguir demonstra onde adicionar as propriedades para habilitar o cache do Hive usando o modelo ARM.

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {},
    "resources": [
        {
            "type": "microsoft.hdinsight/clusterpools/clusters",
            "apiVersion": "<api-version>",
            "name": "<cluster-pool-name>/<cluster-name>",
            "location": "<region, e.g. westeurope>",
            "tags": {},
            "properties": {
                "clusterType": "Trino",

                "clusterProfile": {

                    "serviceConfigsProfiles": [
                        {
                            "serviceName": "trino",
                            "configs": [
                                {
                                    "component": "catalogs",
                                    "files": [
                                        {
                                            "fileName": "hive1.properties",
                                            "values": {
                                                "connector.name": "hive"
                                                "hive.cache.enabled": "true",
                                                "hive.cache.ttl": "5d"
                                            }
                                        }
                                    ]
                                }
                            ]
                        }
                    ]
                }

            }
        }
    ]
}

Implante o modelo ARM atualizado para refletir as alterações no cluster. Saiba como implantar um modelo ARM.