분할 정책

적용 대상: ✅Microsoft Fabric✅Azure Data Explorer

분할 정책은 특정 테이블 또는 구체화된 뷰에 대해 익스텐트(데이터 분할)를 분할해야 하는지 여부와 방법을 정의합니다.

정책은 데이터 수집 후 익스텐트를 만든 후에 발생하는 추가 백그라운드 프로세스를 트리거합니다. 이 프로세스에는 원본 익스텐트에서 데이터를 다시 수집하고 파티션 키로 지정된 열의 모든 값이 단일 파티션 내에 있는 균일한 익스텐트를 생성하는 작업이 포함됩니다.

분할 정책의 주요 목적은 지원되는 특정 시나리오에서 쿼리 성능을 향상시키는 것입니다.

지원되는 시나리오

다음은 데이터 분할 정책을 설정하는 것이 권장되는 유일한 시나리오입니다. 다른 모든 시나리오에서는 정책 설정을 권장하지 않습니다.

• 중간 또는 높은 카디널리티 string 또는 guid 열에 대한 빈번한 필터:
  • 예를 들어 다중 테넌트 솔루션 또는 대부분의 쿼리 또는 모든 쿼리가 형식 열 또는 string열(예: guidTenantId또는 MetricId )을 필터링하는 메트릭 테이블입니다.
  • 중간 카디널리티는 10,000개 이상의 고유 값입니다.
  • 해시 파티션 키를 열 또는 string 열로 guid 설정하고 속성을 PartitionAssignmentMode .로 설정합니다uniform.
• guid에서 자주 집계 또는 조인:
  • 예를 들어 다양한 센서의 IoT 정보 또는 여러 다른 학생의 학업 기록입니다.
  • 높은 카디널리티는 적어도 1,000,000개의 고유 값이며 열의 값 분포는 대략 짝수입니다.
  • 이 경우 해시 파티션 키를 자주 그룹화되거나 조인된 열로 설정하고 ByPartition
• 순서가 다른 데이터 수집:
  • 테이블에 수집된 데이터는 데이터 생성 시간을 나타내며 일반적으로 데이터를 필터링하는 데 사용되는 특정 datetime 열에 따라 익스텐트(분할)로 정렬되고 분할되지 않을 수 있습니다. 이는 대규모 시간 범위에 걸쳐 날짜/시간 값을 포함하는 이질적인 원본 파일의 백필 때문일 수 있습니다.
  • 이 경우 균일한 범위 날짜/시간 파티션 키를 열로 datetime 설정합니다.
  • 수집 시간에 맞추는 대신 열의 날짜/시간 값과 일치하도록 보존 및 캐싱 정책이 필요한 경우 속성을 OverrideCreationTime.로 설정합니다true.

파티션 키

다음과 같은 종류의 파티션 키가 지원됩니다.

해시 파티션 키

정책에 해시 파티션 키가 포함된 경우 동일한 파티션에 속하는 모든 동종 익스텐트는 동일한 데이터 노드에 할당됩니다.

• 해시 모듈로 함수는 데이터를 분할하는 데 사용됩니다.
• 균일한(분할된) 익스텐트 내의 데이터는 해시 파티션 키로 정렬됩니다.
  • 테이블에 해시 파티션 키가 정의된 경우 행 순서 정책에 해시 파티션 키를 포함할 필요가 없습니다.
• 순서 섞기 전략을 shuffle keysummarize사용된 쿼리 또는 make-series 테이블의 해시 파티션 키인 쿼리는 노드 간에 이동하는 데 필요한 데이터의 양이 줄어들기 때문에 더 나은 성능을 발휘할 것으로 예상됩니다.

파티션 속성

해시 파티션 키 예제

라는 string형식화된 열에 대한 tenant_id해시 파티션 키입니다. 권장 값 XxHash64및 기본값 MaxPartitionCount128으로 Seed 설정된 해시 함수를 사용합니다1.

{
  "ColumnName": "tenant_id",
  "Kind": "Hash",
  "Properties": {
    "Function": "XxHash64",
    "MaxPartitionCount": 128,
    "Seed": 1,
    "PartitionAssignmentMode": "Uniform"
  }
}

균일한 범위 날짜/시간 파티션 키

이러한 경우 각 익스텐트에서 제한된 시간 범위의 레코드를 포함할 수 있도록 익스텐트 간에 데이터를 다시 구성할 수 있습니다. 이 프로세스를 통해 열에 대한 필터가 datetime 쿼리 시간에 더 효과적입니다.

사용되는 파티션 함수는 bin_at() 이며 사용자 지정할 수 없습니다.

파티션 속성

균일한 범위 날짜/시간 파티션 예제

코드 조각은 형식datetime화된 열에 대해 균일한 timestamp 날짜/시간 범위 파티션 키를 표시합니다. 각 파티션의 datetime(2021-01-01) 크기를 사용하여 참조 지점으로 사용 7d 하며 익스텐트의 생성 시간을 재정의하지 않습니다.

{
  "ColumnName": "timestamp",
  "Kind": "UniformRange",
  "Properties": {
    "Reference": "2021-01-01T00:00:00",
    "RangeSize": "7.00:00:00",
    "OverrideCreationTime": false
  }
}

정책 개체

기본적으로 테이블의 데이터 분할 정책은 null테이블의 데이터를 수집한 후에 다시 분할되지 않습니다.

데이터 분할 정책에는 다음과 같은 기본 속성이 있습니다.

• PartitionKeys:

  • 테이블의 데이터를 분할하는 방법을 정의하는 파티션 키 의 컬렉션입니다.
  • 테이블에는 다음 옵션 중 하나를 사용하여 최대 2 파티션 키가 있을 수 있습니다.
    • 해시 파티션 키 1개.
    • 하나의 균일한 범위 날짜/시간 파티션 키입니다.
    • 해시 파티션 키 1개와 균일한 범위 날짜/시간 파티션 키 1개
  • 각 파티션 키에는 다음과 같은 속성이 있습니다.
    • ColumnName: string - 데이터를 분할할 열의 이름입니다.
    • Kind: string - 적용할 데이터 분할 종류(Hash 또는 UniformRange)입니다.
    • Properties: property bag - 분할이 수행되는 매개 변수를 정의합니다.

• EffectiveDateTime:

  • 정책이 적용되는 UTC 날짜/시간입니다.
  • 이 속성은 선택 사항입니다. 지정하지 않으면 정책이 적용된 후 수집된 데이터에 대해 정책이 적용됩니다.

데이터 분할 예제

두 개의 파티션 키를 사용하는 데이터 분할 정책 개체입니다.

1. 라는 string형식화된 열에 대한 tenant_id해시 파티션 키입니다.
   • 권장 값 XxHash64및 기본값 MaxPartitionCount128으로 Seed 설정된 해시 함수를 사용합니다1.
2. 이름이 지정된 datetime형식 열에 대한 균일한 timestamp 날짜/시간 범위 파티션 키입니다.
   • 각 파티션의 datetime(2021-01-01) 크기를 사용하여 참조 지점으로 사용합니다7d.

{
  "PartitionKeys": [
    {
      "ColumnName": "tenant_id",
      "Kind": "Hash",
      "Properties": {
        "Function": "XxHash64",
        "MaxPartitionCount": 128,
        "Seed": 1,
        "PartitionAssignmentMode": "Uniform"
      }
    },
    {
      "ColumnName": "timestamp",
      "Kind": "UniformRange",
      "Properties": {
        "Reference": "2021-01-01T00:00:00",
        "RangeSize": "7.00:00:00",
        "OverrideCreationTime": false
      }
    }
  ]
}

추가 속성

다음 속성은 정책의 일부로 정의할 수 있습니다. 이러한 속성은 선택 사항이며 변경하지 않는 것이 좋습니다.

데이터 분할 프로세스

• 데이터 분할은 수집 후 백그라운드 프로세스로 실행됩니다.
  • 지속적으로 수집되는 테이블에는 아직 분할되지 않은 데이터의 "비상"(비호종 익스텐트)이 항상 있어야 합니다.
• 데이터 분할은 정책의 EffectiveDateTime 속성 값에 관계없이 핫 익스텐트에서만 실행됩니다.
  • 콜드 익스텐트 분할이 필요한 경우 캐싱 정책을 일시적으로 조정해야 합니다.

.show 데이터베이스 익스텐트 분할 통계 명령 및 분할 메트릭을 사용하여 데이터베이스에서 정의된 정책을 사용하여 테이블의 분할 상태를 모니터링할 수 있습니다.

용량 분할

• 데이터 분할 프로세스는 더 많은 익스텐트 생성을 초래합니다. 익스텐트 병합 용량이 점차 증가하여 익스텐트 병합 프로세스가 계속 진행되도록 할 수 있습니다.

• 수집 처리량이 많거나 분할 정책이 정의된 테이블 수가 충분히 많은 경우 익스텐트 파티션 용량 이 점진적으로 증가하여 익스텐 트 분할 프로세스가 계속 진행되도록 할 수 있습니다.

제한 사항

• 이미 5,000,000개 이상의 익스텐트가 있는 데이터베이스에서 데이터를 분할하려는 시도가 제한됩니다.
  • 이러한 경우 EffectiveDateTime 구성 및 정책을 재평가할 수 있도록 데이터베이스의 테이블 분할 정책 속성이 몇 시간씩 자동으로 지연됩니다.

분할된 열의 이상값

• 다음 상황은 노드 간에 데이터를 분산하는 불균형을 초래하고 쿼리 성능을 저하시킬 수 있습니다.
  • 해시 파티션 키에 빈 문자열 또는 제네릭 값(예: 또는null)과 같이 N/A 다른 값보다 훨씬 더 널리 사용되는 값이 포함된 경우
  • 값은 데이터 세트에서 더 널리 사용되는 엔터티(예: tenant_id)를 나타냅니다.
• 균일한 범위 날짜/시간 파티션 키에 열의 대부분의 값과 "멀리" 있는 값의 비율이 충분히 크면 데이터 분할 프로세스의 오버헤드가 증가하고 추적할 수 있는 작은 범위가 많을 수 있습니다. 이러한 상황의 예로 먼 과거 또는 미래의 날짜/시간 값이 있습니다.

두 경우 모두 데이터를 "수정"하거나 수집 전이나 수집 시 데이터의 관련 없는 레코드를 필터링하여 데이터 분할의 오버헤드를 줄입니다. 예를 들어 업데이트 정책을 사용합니다.

관련 콘텐츠

• 분할 정책 관리 명령