업데이트 정책 개요

적용 대상: ✅Microsoft Fabric✅Azure Data Explorer

업데이트 정책은 새 데이터가 테이블에 기록될 때 트리거되는 자동화 메커니즘입니다. 수집된 데이터를 변환하고 결과를 대상 테이블에 저장하는 쿼리를 실행하여 특수 오케스트레이션이 필요하지 않습니다. 단일 테이블에 여러 업데이트 정책을 정의하여 다양한 변환을 허용하고 동시에 여러 테이블에 데이터를 저장할 수 있습니다. 대상 테이블에는 원본 테이블의 다른 스키마, 보존 정책 및 기타 정책이 있을 수 있습니다.

예를 들어 높은 비율의 추적 원본 테이블에는 자유 텍스트 열로 서식 지정된 데이터가 포함될 수 있습니다. 대상 테이블에는 구문 분석 연산자를 사용하여 원본 테이블의 자유 텍스트 데이터 변환에서 생성된 잘 구성된 스키마와 함께 특정 추적 줄이 포함될 수 있습니다. 자세한 내용은 일반적인 시나리오입니다.

다음 다이어그램은 업데이트 정책의 개략적인 보기를 보여 줍니다. 두 번째 원본 테이블에 데이터가 추가될 때 트리거되는 두 가지 업데이트 정책을 보여 있습니다. 트리거되면 변환된 데이터가 두 대상 테이블에 추가됩니다.

정책 쿼리 업데이트

업데이트 정책이 대상 테이블에 정의된 경우 원본 테이블에 수집된 데이터에서 여러 쿼리를 실행할 수 있습니다. 여러 업데이트 정책이 있는 경우 실행 순서를 반드시 알 수 있는 것은 아닙니다.

쿼리 제한 사항

정책의 일부 또는 파트에서 Source 참조하는 Query 함수에서 테이블을 참조하는 Query 경우:

업데이트 정책 개체

테이블에 연결된 업데이트 정책 개체가 0개 이상 있을 수 있습니다. 이러한 각 개체는 다음 속성이 정의된 JSON 속성 모음으로 표시됩니다.

관리 명령

업데이트 정책 관리 명령은 다음과 같습니다.

• .show table *TableName* policy update 는 테이블의 현재 업데이트 정책을 표시합니다.
• .alter table *TableName* policy update 는 테이블의 현재 업데이트 정책을 정의합니다.
• .alter-merge table *TableName* policy update 는 테이블의 현재 업데이트 정책에 정의를 추가합니다.
• .delete table *TableName* policy update 는 테이블의 현재 업데이트 정책을 삭제합니다.

업데이트 정책은 수집 후 시작됩니다.

업데이트 정책은 데이터를 수집하거나 원본 테이블로 이동하거나 원본 테이블에 익스텐트를 만들 때 적용됩니다. 이러한 작업은 다음 명령 중 어느 것을 사용하여 수행할 수 있습니다.

• .ingest(pull)
• .ingest(인라인)
• .set | .append | .set-or-append | .set-or-replace
• .move 익스텐트
• .replace 익스텐트
  • 이 PropagateIngestionProperties 명령은 수집 작업에만 적용됩니다. 업데이트 정책이 명령 .move extents 의 .replace extents 일부로 트리거되면 이 옵션은 적용되지 않습니다.

원본 테이블에서 데이터 제거

대상 테이블에 데이터를 수집한 후 필요에 따라 원본 테이블에서 제거할 수 있습니다. 원본 테이블의 0sec00:00:00에서 일시 삭제 기간(또는)을 설정하고 업데이트 정책을 트랜잭션으로 설정합니다. 다음 조건이 적용됩니다.

• 원본 데이터는 원본 테이블에서 쿼리할 수 없습니다.
• 원본 데이터는 수집 작업의 일부로 지속성 스토리지에 유지되지 않습니다.
• 운영 성능이 향상됩니다. 수집 후 리소스는 원본 테이블의 익스텐트에서 백그라운드 그루밍 작업에 대해 감소됩니다 .

성능에 미치는 영향

업데이트 정책은 성능에 영향을 줄 수 있으며 데이터 익스텐트 수집에 대상 테이블 수를 곱합니다. 정책 관련 쿼리를 최적화하는 것이 중요합니다. 기존 익스텐트에서 정책을 호출하거나, 정책을 만들거나 변경하기 전에 또는 쿼리와 함께 사용되는 함수에서 정책을 호출하여 업데이트 정책의 성능 영향을 테스트할 수 있습니다.

리소스 사용량 평가

다음 매개 변수를 사용하여 리소스 사용량(CPU, 메모리 등)을 평가하는 데 사용합니다 .show queries.

• 속성( 원본 테이블 이름)을 Source 로 설정합니다. MySourceTable
• 명명된 Query 함수를 호출하도록 속성 설정 MyFunction()

// '_extentId' is the ID of a recently created extent, that likely hasn't been merged yet.
let _extentId = toscalar(
    MySourceTable
    | project ExtentId = extent_id(), IngestionTime = ingestion_time()
    | where IngestionTime > ago(10m)
    | top 1 by IngestionTime desc
    | project ExtentId
);
// This scopes the source table to the single recent extent.
let MySourceTable =
    MySourceTable
    | where ingestion_time() > ago(10m) and extent_id() == _extentId;
// This invokes the function in the update policy (that internally references `MySourceTable`).
MyFunction

트랜잭션 설정

업데이트 정책 IsTransactional 설정은 업데이트 정책이 트랜잭션인지 여부를 정의하며 다음과 같이 정책 업데이트의 동작에 영향을 줄 수 있습니다.

• IsTransactional:false: 값이 기본값인 false로 설정된 경우 업데이트 정책은 원본 테이블과 대상 테이블의 데이터 간의 일관성을 보장하지 않습니다. 업데이트 정책이 실패하면 데이터는 대상 테이블이 아닌 원본 테이블에만 수집됩니다. 이 시나리오에서는 수집 작업이 성공합니다.
• IsTransactional:true: 값이 true로 설정된 경우 이 설정은 원본 테이블과 대상 테이블의 데이터 간의 일관성을 보장합니다. 업데이트 정책이 실패하면 데이터가 원본 또는 대상 테이블에 수집되지 않습니다. 이 시나리오에서는 수집 작업이 실패합니다.

오류 처리

정책 업데이트가 실패하면 설정 여부에 IsTransactional 따라 다르게 처리됩니다 truefalse. 업데이트 정책 실패의 일반적인 이유는 다음과 같습니다.

• 쿼리 출력 스키마와 대상 테이블이 일치하지 않습니다.
• 모든 쿼리 오류입니다.

다음 명령을.show ingestion failures 정책 업데이트 실패를 볼 수 있습니다. 다른 경우에는 수동으로 수집을 다시 시도할 수 있습니다.

.show ingestion failures
| where FailedOn > ago(1hr) and OriginatesFromUpdatePolicy == true

추출, 변환, 로드의 예

업데이트 정책 설정을 사용하여 ETL(추출, 변환, 로드)을 수행할 수 있습니다.

이 예제에서는 간단한 함수와 함께 업데이트 정책을 사용하여 ETL을 수행합니다. 먼저 다음 두 개의 테이블을 만듭니다.

• 원본 테이블 - 데이터가 수집되는 단일 문자열 형식 열을 포함합니다.
• 대상 테이블 - 원하는 스키마를 포함합니다. 업데이트 정책은 이 테이블에 정의되어 있습니다.

1. 원본 테이블을 만들어 보겠습니다.

   .create table MySourceTable (OriginalRecord:string)
   

2. 다음으로 대상 테이블을 만듭니다.

   .create table MyTargetTable (Timestamp:datetime, ThreadId:int, ProcessId:int, TimeSinceStartup:timespan, Message:string)
   

3. 그런 다음, 데이터를 추출하는 함수를 만듭니다.

   .create function
    with (docstring = 'Parses raw records into strongly-typed columns', folder = 'UpdatePolicyFunctions')
        ExtractMyLogs()
       {
       MySourceTable
       | parse OriginalRecord with "[" Timestamp:datetime "] [ThreadId:" ThreadId:int "] [ProcessId:" ProcessId:int "] TimeSinceStartup: " TimeSinceStartup:timespan " Message: " Message:string
       | project-away OriginalRecord
   }
   

4. 이제 업데이트 정책을 설정하여 만든 함수를 호출합니다.

   .alter table MyTargetTable policy update
   @'[{ "IsEnabled": true, "Source": "MySourceTable", "Query": "ExtractMyLogs()", "IsTransactional": true, "PropagateIngestionProperties": false}]'
   

5. 데이터가 대상 테이블에 수집된 후 원본 테이블을 비우려면 원본 테이블의 보존 정책을 0으로 SoftDeletePeriod정의합니다.

    .alter-merge table MySourceTable policy retention softdelete = 0s
   

관련 콘텐츠

• 테이블 업데이트 정책을 사용하는 일반적인 시나리오
• 자습서: 테이블 업데이트 정책을 사용하여 데이터 라우팅