캐싱 구성

Hive 커넥터를 사용하여 개체 스토리지를 쿼리하는 것은 Trino의 일반적인 사용 사례입니다. 이 프로세스에는 대량의 데이터 전송이 포함되는 경우가 많습니다. 개체는 여러 작업자에 의해 HDFS 또는 지원되는 다른 개체 저장소에서 검색되고 해당 작업자에 의해 처리됩니다. 다른 매개 변수를 사용한 반복 쿼리 또는 다른 사용자의 다른 쿼리는 종종 동일한 개체에 액세스하고 전송합니다.

AKS의 HDInsight에는 다음과 같은 이점을 제공하는 Trino용 최종 결과 캐싱 기능이 추가되었습니다.

• 개체 스토리지의 부하를 줄입니다.
• 쿼리 성능을 개선시킵니다.
• 쿼리 비용을 줄입니다.

캐싱 옵션

다양한 캐싱 옵션:

• 최종 결과 캐싱: 사용하도록 설정되면(코디네이터 구성 요소 구성 섹션에서) 코디네이터 VM의 모든 카탈로그 캐시에 대한 쿼리 결과입니다.
• Hive/Iceberg/Delta Lake 카탈로그 캐싱: 사용하도록 설정하면(해당 형식의 특정 카탈로그에 대해) 각 쿼리에 대한 분할 데이터가 작업자 VM의 클러스터 내에서 캐시됩니다.

최종 결과 캐싱

최종 결과 캐싱은 두 가지 방법으로 구성할 수 있습니다.

• Azure Portal 사용
• ARM 템플릿 사용

사용 가능한 구성 매개 변수는 다음과 같습니다.

최종 결과 캐싱은 다음 세션 매개 변수를 통해 제어할 수도 있습니다.

set session query_cache_enabled=true;
select cust.name, *
from tpch.tiny.orders 
join tpch.tiny.customer as cust on cust.custkey = orders.custkey
order by cust.name
limit 10;

최종 결과 캐싱은 관리되는 Prometheus 및 Grafana를 사용하여 볼 수 있는 JMX 메트릭을 생성합니다. 다음 메트릭을 사용할 수 있습니다.

Azure Portal 사용

1. Azure 포털에 로그인합니다.

2. Azure Portal 검색 창에 "HDInsight on AKS 클러스터"를 입력하고 드롭다운 목록에서 "Azure HDInsight on AKS 클러스터"를 선택합니다.

   

3. 목록 페이지에서 클러스터 이름을 선택합니다.

   

4. 구성 관리 블레이드로 이동합니다.

   

5. config.properties -> 사용자 지정 구성으로 이동한 다음 추가를 클릭합니다.

   

6. 필수 속성을 설정하고 확인을 클릭합니다.

   

7. 구성을 저장합니다.

   

ARM 템플릿 사용

필수 조건

• HDInsight on AKS를 사용하는 운영 Trino 클러스터.
• 클러스터에 대한 ARM 템플릿을 만듭니다.
• 전체 클러스터 ARM 템플릿 샘플을 검토합니다.
• ARM 템플릿 작성 및 배포에 대한 지식

ARM 템플릿의 properties.clusterProfile.serviceConfigsProfiles 섹션에 있는 코디네이터 구성 요소의 속성을 정의해야 합니다. 다음 예에서는 속성을 추가할 위치를 보여 줍니다.

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {},
    "resources": [
        {
            "type": "microsoft.hdinsight/clusterpools/clusters",
            "apiVersion": "<api-version>",
            "name": "<cluster-pool-name>/<cluster-name>",
            "location": "<region, e.g. westeurope>",
            "tags": {},
            "properties": {
                "clusterType": "Trino",

                "clusterProfile": {

                    "serviceConfigsProfiles": [
                        {
                            "serviceName": "trino",
                            "configs": [
                                {
                                    "component": "coordinator",
                                    "files": [
                                        {
                                            "fileName": "config.properties",
                                            "values": {
                                                "query.cache.enabled": "true",
                                                "query.cache.ttl": "10m"
                                            }
                                        }
                                    ]
                                }
                            ]
                        }
                    ]
                }

            }
        }
    ]
}

Hive/Iceberg/Delta Lake 캐싱

세 커넥터 모두 Hive 캐싱에 설명된 것과 동일한 매개 변수 집합을 공유합니다.

다음 예에서는 ARM 템플릿을 사용하여 Hive 캐싱을 사용하도록 설정하기 위해 속성을 추가하는 위치를 보여 줍니다.

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {},
    "resources": [
        {
            "type": "microsoft.hdinsight/clusterpools/clusters",
            "apiVersion": "<api-version>",
            "name": "<cluster-pool-name>/<cluster-name>",
            "location": "<region, e.g. westeurope>",
            "tags": {},
            "properties": {
                "clusterType": "Trino",

                "clusterProfile": {

                    "serviceConfigsProfiles": [
                        {
                            "serviceName": "trino",
                            "configs": [
                                {
                                    "component": "catalogs",
                                    "files": [
                                        {
                                            "fileName": "hive1.properties",
                                            "values": {
                                                "connector.name": "hive"
                                                "hive.cache.enabled": "true",
                                                "hive.cache.ttl": "5d"
                                            }
                                        }
                                    ]
                                }
                            ]
                        }
                    ]
                }

            }
        }
    ]
}

클러스터의 변경 내용을 반영하도록 업데이트된 ARM 템플릿을 배포합니다. ARM 템플릿을 배포하는 방법을 알아봅니다.