Azure Data Explorer에 기록 데이터를 수집하는 방법

아티클
02/13/2024

Azure Data Explorer에 온보딩할 때 일반적인 시나리오는 기록 데이터(백필이라고도 함)를 수집하는 것입니다. 이 프로세스에는 기존 스토리지 시스템에서 익스텐트 컬렉션 인 테이블로 데이터를 수집하는 작업이 포함됩니다.

creationTime 수집 속성을 사용하여 기록 데이터를 수집하여 익스텐트 생성 시간을 데이터가 만들어진 시간으로 설정하는 것이 좋습니다. 생성 시간을 수집 분할 기준으로 사용하면 캐시 및 보존 정책에 따라 데이터를 숙지하고 시간 필터를 보다 효율적으로 만들 수 있습니다.

기본적으로 익스텐트의 생성 시간은 데이터가 수집되는 시간으로 설정되며, 이는 예상하는 동작을 생성하지 않을 수 있습니다. 예를 들어 캐시 기간이 30일이고 보존 기간이 2년인 테이블이 있다고 가정합니다. 일반 흐름에서 생성될 때 수집된 데이터는 30일 동안 캐시된 다음 콜드 스토리지로 이동됩니다. 2년 후에는 생성 시간에 따라 오래된 데이터가 한 번에 하루씩 제거됩니다. 그러나 기록 데이터를 2년 동안 수집하는 경우 기본적으로 데이터가 수집되는 시간으로 데이터가 생성 시간으로 표시됩니다. 다음과 같은 이유로 원하는 결과가 생성되지 않을 수 있습니다.

모든 데이터는 캐시에 배치되고 예상보다 많은 캐시를 사용하여 30일 동안 유지됩니다.
이전 데이터는 한 번에 하루만 제거되지 않습니다. 따라서 데이터가 필요 이상으로 클러스터에 보존되고 2년 후에 모두 한 번에 제거됩니다.
이전에 원본 시스템의 날짜별로 그룹화된 데이터는 이제 비효율적인 쿼리로 이어지는 동일한 범위에서 함께 일괄 처리될 수 있습니다.

기본 생성 시간을 사용하여 기록 데이터를 수집한 예상 결과와 실제 결과를 보여 주는 다이어그램

이 문서에서는 기록 데이터를 분할하는 방법을 알아봅니다.

수집 중에 creationTime 수집 속성 사용(권장)

가능한 경우 수집 속성을 사용하여 creationTime 기록 데이터를 수집하여 파일 또는 Blob 경로에서 추출하여 익스텐트 생성 시간을 설정할 수 있습니다. 폴더 구조에서 생성 날짜 패턴을 사용하지 않는 경우 생성 시간을 반영하도록 파일 또는 Blob 경로를 재구성하는 것이 좋습니다. 이 메서드를 사용하면 데이터가 올바른 생성 시간으로 테이블에 수집되고 캐시 및 보존 기간이 올바르게 적용됩니다.

참고 항목

기본적으로 익스텐스는 생성 시간(수집)에 따라 분할되며 대부분의 경우 데이터 분할 정책을 설정할 필요가 없습니다.
수집 후 분할 정책 사용

예를 들어 생성 시간을 제어할 수 없는 Azure Cosmos DB 커넥터를 사용하여 데이터를 수집하거나 폴더 구조를 재구성할 수 없는 경우 수집 속성을 사용할 creationTime 수 없는 경우 분할 정책을 사용하여 동일한 효과를 얻기 위해 테이블 포스트 수집을 다시 분할할 수 있습니다. 그러나 이 메서드는 정책 속성을 최적화하는 데 몇 가지 시행착오가 필요할 수 있으며 수집 속성을 사용하는 것보다 효율성이 creationTime 떨어집니다. 수집 속성을 사용할 creationTime 수 없는 경우에만 이 메서드를 사용하는 것이 좋습니다.

필수 조건

Microsoft 계정 또는 Microsoft Entra 사용자 ID입니다. Azure 구독이 필요하지 않습니다.
Azure Data Explorer 클러스터 및 데이터베이스. 클러스터 및 데이터베이스를 만듭니다.
스토리지 계정
수집 중에 수집 속성을 사용하는 creationTime 권장 방법은 LightIngest를 설치합니다.

기록 데이터 수집

수집 중에 수집 속성을 사용하여 creationTime 기록 데이터를 분할하는 것이 좋습니다. 그러나 이 메서드를 사용할 수 없는 경우 분할 정책을 사용하여 수집 후 테이블을 다시 분할할 수 있습니다.

수집 중(권장)
수집 후

LightIngest는 기존 스토리지 시스템에서 Azure Data Explorer로 기록 데이터를 로드하는 데 유용할 수 있습니다. 명령줄 인수 목록을 사용하여 사용자 고유의 명령을 빌드할 수 있지만 이 문서에서는 수집 마법사를 통해 이 명령을 자동으로 생성하는 방법을 보여 줍니다. 명령을 만드는 것 외에도 이 프로세스를 사용하여 새 테이블을 만들고 스키마 매핑을 만들 수 있습니다. 이 도구는 데이터 세트에서 스키마 매핑을 유추합니다.

대상

Azure Data Explorer 웹 UI의 왼쪽 메뉴에서 쿼리를 선택합니다.
데이터를 수집할 데이터베이스를 마우스 오른쪽 단추로 클릭한 다음 LightIngest를 선택합니다.

데이터 수집 창이 대상 탭이 선택된 상태로 열립니다. 클러스터 및 데이터베이스 필드는 자동으로 채워집니다.
대상 테이블을 선택해 보세요. 새 테이블에 데이터를 수집하려면 새 테이블을 선택한 다음 테이블 이름을 입력합니다.

참고 항목

테이블 이름은 공백, 영숫자, 하이픈 및 밑줄을 포함하여 최대 1,024자 까지 사용하실 수 있습니다. 특수 문자는 지원되지 않습니다.
다음: 원본을 선택합니다.

Source

원본 선택에서 URL 추가 또는 컨테이너 선택을 선택합니다.
- URL을 추가할 때 원본 링크 아래에서 컨테이너에 대한 계정 키 또는 SAS URL을 지정합니다. SAS URL 을 수동으로 또는 자동으로 만들 수 있습니다.
- 스토리지 계정에서 컨테이너를 선택할 때 드롭다운 메뉴에서 Storage 구독, 스토리지 계정 및 컨테이너를 선택합니다.
참고 항목

수집 가능한 최대 파일 크기는 6GB입니다. 100MB에서 1GB 사이의 파일을 수집하는 것이 좋습니다.
고급 설정을 선택하여 LightIngest를 사용하여 수집 프로세스에 대한 추가 설정을 정의합니다.

고급 구성 창에서 다음 표에 따라 LightIngest 설정을 정의합니다.

LightIngest 도구와 관련된 수집 처리에 대한 추가 설정을 보여 주는 고급 구성 창의 스크린샷

속성	Description
생성 시간 패턴	생성된 익스텐트의 수집 시간 속성 등을 패턴으로 재정의하도록 지정하여, 컨테이너의 폴더 구조에 따라 날짜를 적용합니다. 만들기 시간 패턴도 참조하세요.
Blob 이름 패턴	수집할 파일을 식별하는 데 사용되는 패턴을 지정합니다. 지정된 컨테이너의 Blob 이름 패턴과 일치하는 모든 파일을 수집합니다. 와일드카드를 지원합니다. 큰따옴표로 묶는 것이 좋습니다.
Tag	수집된 데이터에 할당된 태그입니다. 태그는 아무 문자열이나 될 수 있습니다.
파일 양 제한	수집할 수 있는 파일 수를 지정합니다. Blob 이름 패턴과 일치하는 첫 번째 `n` 파일을 지정된 수까지 수집합니다.
수집이 완료되기를 기다리지 마세요.	설정된 경우 수집 프로세스를 모니터링하지 않고 수집을 위해 Blob을 큐에 대기합니다. 설정하지 않으면 LightIngest는 수집이 완료될 때까지 수집 상태를 계속 폴링합니다.
선택한 항목만 표시	컨테이너에 파일을 나열하지만 수집하지는 않습니다.

[완료]를 선택하여 [원본] 탭으로 돌아갑니다.
1. 필요에 따라 파일 필터를 선택하여 특정 폴더 경로 또는 특정 파일 확장명에서 파일만 수집하도록 데이터를 필터링합니다.
  
  기본적으로 컨테이너의 파일 중 하나가 임의로 선택되어 테이블에 대한 스키마를 생성하는 데 사용됩니다.
2. 필요에 따라 스키마 정의 파일에서 사용할 파일을 지정할 수 있습니다.
다음: 스키마를 선택하여 테이블 열 구성을 살펴보고 편집합니다.

스키마

스키마 탭은 데이터의 미리 보기를 제공합니다.

LightIngest 명령을 생성하려면 다음: 수집 시작을 선택합니다.

필요할 경우 다음을 선택합니다.

드롭다운 메뉴에서 원하는 형식을 선택하여 자동으로 유추된 데이터 형식을 변경합니다.
자동으로 유추된 매핑 이름을 변경합니다. 영숫자 및 밑줄을 사용할 수 있습니다. 공백, 특수 문자 및 하이픈은 지원되지 않습니다.
기존 테이블을 사용할 때 테이블 스키마가 선택한 형식과 일치하면 현재 테이블 스키마를 유지할 수 있습니다.
입력에서 생성된 자동 명령을 보시고 복사하시기 위해서 명령 보기를 선택해 주세요.
열을 편집해 보세요. 부분 데이터 미리 보기에서 열 드롭다운 메뉴를 선택하여 테이블의 다양한 측면을 변경합니다.

테이블에서 변경할 수 있는 사항은 다음 매개 변수에 따라 다릅니다.

테이블 유형은 신규 또는 기존입니다.
매핑 유형은 신규 또는 기존입니다.

테이블 유형입니다.	매핑 유형	사용 가능한 조정
새 테이블	새 매핑	데이터 형식 변경, 열 이름 변경, 새 열, 열 삭제, 열 업데이트, 오름차순 정렬, 내림차순 정렬
기존 테이블	새 매핑	새 열(데이터 형식을 변경하고 이름을 바꾸고 업데이트할 수 있음) 열 업데이트, 오름차순 정렬, 내림차순 정렬
	기존 매핑	오름차순 정렬, 내림차순 정렬

참고

새 열을 추가하거나 열을 업데이트하면 매핑 변환을 변경할 수 있습니다. 자세한 내용은 매핑 변환을 참조하세요.

수집

테이블, 매핑 및 LightIngest 명령이 녹색 확인 표시로 표시되면 생성된 명령 상자의 오른쪽 위에 있는 복사 아이콘을 선택하여 생성된 LightIngest 명령을 복사합니다.

참고 항목

필요한 경우 LightIngest 다운로드를 선택하여 LightIngest 도구를 다운로드할 수 있습니다.
수집 프로세스를 완료하려면 복사된 명령을 사용하여 LightIngest를 실행해야 합니다.

1단계: 다시 분할 준비

이전 데이터를 허용하도록 보존 정책을 조정합니다. 다음 예제에서는 테이블 MyTable 의 보존 정책을 10년으로 설정합니다.
```
.alter-merge table MyTable policy retention softdelete = 3650d recoverability = enabled
```
수집 후 핫 데이터만 다시 분할할 수 있으므로 모든 데이터가 다시 분할을 위해 핫 캐시에 있도록 캐싱 정책을 조정합니다. 다음 예제에서는 MyTable 테이블에 대한 캐싱을 10년으로 설정합니다.
```
.alter table MyTable policy caching hot = 3650d
```
Important

캐싱 정책을 늘리면 일반 작업보다 훨씬 더 많은 핫 캐시를 사용할 수 있으며 비용이 증가할 수 있습니다.

2단계: 다시 분할 시작

이름이 지정된 열로 데이터를 분할하는 분할 정책을 만듭니다 Timestamp. 다음 예제에서는 MyTable 테이블에 대한 분할 정책을 이름이 지정된 Timestamp열로 분할하도록 설정합니다.
```
.alter table MyTable policy partitioning
```
{
  "EffectiveDateTime" : "1970-01-01T00:00:00",
  "PartitionKeys": [
    {
      "ColumnName": "Timestamp",
      "Kind": "UniformRange",
      "Properties": {
        "Reference": "1970-01-01T00:00:00",
        "RangeSize": "1.00:00:00",
        "OverrideCreationTime": true
      }
    }
  ]
}
```
```
분할 정책 속성에 대한 자세한 내용은 파티션 속성을 참조 하세요. 기록 수집의 경우 다음 속성을 설정하는 방법이 중요합니다.
- 재분할을 트리거하려면 EffectiveDateTime 속성을 수집 시작 이전 날짜로 설정해야 합니다.
- RangeSize는 데이터가 1일 버킷으로 다시 분할되도록 1일로 설정됩니다. 그러나 데이터에 맞게 이 값을 설정해야 합니다. 예를 들어 하루에 여러 GB 미만의 데이터가 있는 경우 더 큰 값을 설정하는 것이 좋습니다.
- 데이터를 일 버킷으로 다시 분할한 후 익스텐트가 해당 날짜로 생성 시간으로 표시되도록 OverrideCreationTime을 true로 설정해야 합니다.
14일보다 오래된 익스텐트를 포함하여 모든 익스텐트를 병합할 수 있도록 병합 정책을 설정합니다. 이 정책을 설정하는 것은 다시 분할 프로세스에서 기본적으로 병합 프로세스에서 제외되는 14일보다 오래된 익스텐트를 생성하기 때문에 중요합니다.
```
.alter table MyTable policy merge
```
{
  "Lookback": {
    "Kind": "HotCache"
  }
}
```
```
.show 데이터베이스 익스텐트 분할 통계 명령을 사용하여 다시 분할 진행률을 모니터링합니다 . 반환된 결과에서 다시 분할할 테이블을 찾고 PartitionedRowPercentage 열을 모니터링합니다. PartitionedRowPercentage 열의 값이면 100다시 분할이 완료됩니다.

3단계: 재분할 후 정리

다시 분할이 완료되면 이전 단계에서 설정한 정책을 정리할 수 있습니다.

분할 정책을 제거합니다.

.delete table MyTable policy partitioning

병합 정책을 제거합니다.
```
.delete table MyTable policy merge
```

캐싱 정책을 제거하거나 설정합니다.

// Remove the caching policy
.delete table MyTable policy caching
// OR set the caching policy to your desired value
.alter table MyTable policy caching hot = 90d

보존 정책을 제거하거나 설정합니다.

// Remove the retention policy
.delete table MyTable policy retention
// OR set the retention policy to your desired value
.alter-merge table MyTable policy retention softdelete = 30d recoverability = enabled

Azure Data Explorer에서 데이터 쿼리

다음을 통해 공유