핫 기간을 사용하여 콜드 데이터 쿼리

핫 기간을 사용하면 데이터를 내보내거나 다른 도구를 사용할 필요 없이 콜드 데이터를 효율적으로 쿼리할 수 있습니다. 콜드 데이터 크기가 크고 관련 데이터가 과거 특정 시점의 데이터인 경우 핫 기간을 사용합니다. 핫 창은 캐시 정책에 정의되어 있습니다.

Azure Data Explorer는 데이터를 신뢰할 수 있는 장기 스토리지에 저장하고 이 데이터의 일부를 클러스터 노드에 캐시합니다. 캐시 정책은 캐시되는 데이터를 제어합니다. 캐시된 데이터는 핫으로 간주되고, 나머지 데이터는 콜드로 간주됩니다.

콜드 데이터를 쿼리하기 위해 Azure Data Explorer는 로컬 디스크보다 대기 시간이 훨씬 긴 스토리지 계층에 액세스해야 하는 로드 단계를 처리합니다. 쿼리가 "특정 시점" 쿼리라고도 하는 작은 시간 범위로 제한되는 경우 검색할 데이터의 양이 일반적으로 적고 쿼리가 빠르게 완료됩니다. 예를 들어, 과거의 특정 날짜에 원격 분석을 쿼리하는 포렌식 분석이 이 범주에 속합니다. 쿼리 기간에 대한 영향은 스토리지에서 가져오는 데이터의 크기에 따라 달라지며, 상당히 클 수 있습니다. 많은 양의 콜드 데이터를 스캔하는 경우 핫 창을 사용하면 쿼리 성능이 향상될 수 있습니다.

이 문서는 핫 창을 사용하여 콜드 데이터를 쿼리하는 방법을 보여줍니다.

사전 요구 사항

• Azure 구독이 아직 없는 경우 시작하기 전에 Azure 체험 계정을 만듭니다.
• Azure Data Explorer 클러스터 및 데이터베이스를 만듭니다.
• Azure Data Explorer 데이터 수집 개요에 설명된 방법 중 하나를 사용하여 클러스터에서 데이터를 수집합니다.

클러스터에서 자동 크기 조정 구성

캐시 정책이 변경되면 클러스터에서 관련 데이터를 해당 디스크에 자동으로 캐시합니다. 새 캐시 정의에 필요한 추가 디스크를 수용하기 위해 클러스터의 크기를 조정해야 합니다. 자동 크기 조정 최적화 설정을 사용하도록 클러스터를 구성하는 것이 좋습니다.

1. Azure Portal에서 Azure Data Explorer 클러스터 리소스로 이동합니다. 설정에서 스케일 아웃을 선택합니다.

2. 스케일 아웃 창에서 최적화된 자동 크기 조정을 선택합니다.

3. 최소 인스턴스 수와 최대 인스턴스 수를 선택합니다. 클러스터 자동 크기 조정 범위는 부하에 따라 두 숫자 사이에서 정해집니다.

4. 저장을 선택합니다.

   

이제 핫 창을 사용하는 동안 최적의 성능을 기대할 수 있습니다.

핫 창 설정

핫 창은 캐시 정책 명령 구문의 일부이며 .alter policy caching 명령으로 설정됩니다.

1. .show policy caching 명령을 사용하여 초기 캐싱 정책을 기록해 둡니다.

   .show table MyDatabase.MyTable policy caching 
   

2. 다음 구문을 사용하여 캐시 정책을 변경합니다. 단일 데이터베이스 또는 테이블에 대해 여러 핫 기간을 정의할 수 있습니다.

   .alter <entity_type> <database_or_table_or_materialized-view_name> policy caching 
         hot = <timespan> 
         [, hot_window = datetime(*from*) .. datetime(*to*)] 
         [, hot_window = datetime(*from*) .. datetime(*to*)] 
         ...
   

   위치:

   • from: 핫 창의 시작 시간(날짜/시간)
   • to: 핫 창의 종료 시간(날짜/시간)

   예를 들어 다음 설정에서 실행되는 쿼리는 3년 동안 보관된 데이터에서 지난 14일 동안의 데이터를 검사합니다.

   .alter table MyTable policy caching 
           hot = 14d,
           hot_window = datetime(2021-01-01) .. datetime(2021-02-01),
           hot_window = datetime(2021-04-01) .. datetime(2021-05-01)
   

쿼리 실행

핫 창에 지정된 기간 동안 원하는 쿼리를 실행합니다.

설정 되돌리기

1. 위의 핫 창 설정에서 검색한 원래 캐시 설정을 사용합니다.
2. .alter policy caching 명령을 사용하여 캐시 정책을 원래 설정으로 되돌립니다.

해당 클러스터에 대해 최적화된 자동 크기 조정을 구성했기 때문에 클러스터는 원래 크기로 축소됩니다.

관련 콘텐츠

• 캐시 정책(핫 및 콜드 캐시)
• 자동 크기 조정 최적화