Cribl 스트림에서 Azure Data Explorer로 데이터 수집

Cribl Stream 은 모든 원본에서 컴퓨터 이벤트 데이터를 안전하게 수집, 처리 및 스트림하는 처리 엔진입니다. 이를 통해 안전한 방식으로 분석 및 관리를 위해 대상에 대한 데이터를 구문 분석하고 처리할 수 있습니다.

이 문서에서는 Cribl Stream을 사용하여 데이터를 수집하는 방법을 보여줍니다.

데이터 커넥터의 전체 목록은 데이터 통합 개요를 참조하세요.

필수 조건

• Cribl Stream 계정
• 기본 캐시 및 보존 정책을 사용하는 Azure Data Explorer 클러스터 및 데이터베이스 입니다.
• 쿼리 환경입니다. 자세한 내용은 쿼리 통합 개요를 참조하세요.
• 형식https://ingest-< 클러스터의 TargetURI 값에 대한 Kusto 클러스터> URI입니다.<region.kusto.windows.net>. 자세한 내용은 클러스터 연결 추가를 참조하세요.

Microsoft Entra 서비스 주체를 만듭니다.

Microsoft Entra 서비스 주체는 다음 예제와 같이 Azure Portal을 통하거나 프로그래밍 방식으로 만들 수 있습니다.

이 서비스 주체는 커넥터가 Kusto의 테이블에 데이터를 쓰는 데 사용하는 ID입니다. Kusto 리소스에 액세스할 수 있는 권한을 이 서비스 주체에 부여합니다.

1. Azure CLI를 통해 Azure 구독에 로그인합니다. 그런 다음 브라우저에서 인증합니다.

   az login
   

2. 서비스 주체를 호스트하는 구독을 선택합니다. 이 단계는 여러 구독이 있는 경우에 필요합니다.

   az account set --subscription YOUR_SUBSCRIPTION_GUID
   

3. 서비스 주체를 만듭니다. 이 예시에서는 서비스 주체를 my-service-principal이라고 합니다.

   az ad sp create-for-rbac -n "my-service-principal" --role Contributor --scopes /subscriptions/{SubID}
   

4. 반환된 JSON 데이터에서 나중에 사용할 수 있도록 appId, password, tenant를 복사합니다.

   {
     "appId": "00001111-aaaa-2222-bbbb-3333cccc4444",
     "displayName": "my-service-principal",
     "name": "my-service-principal",
     "password": "00001111-aaaa-2222-bbbb-3333cccc4444",
     "tenant": "00001111-aaaa-2222-bbbb-3333cccc4444"
   }
   

Microsoft Entra 애플리케이션과 서비스 주체를 만들었습니다.

대상 테이블 만들기

대상 테이블의 맵에 수집된 데이터 열을 매핑하기 위해 수집 매핑 및 수신 데이터에 대한 대상 테이블을 만듭니다.

1. 쿼리 편집기에서 다음 테이블 만들기 명령을 실행합니다. 이때 자리 표시자 TableName을 대상 테이블의 이름으로 바꿉니다.

   .create table <TableName> (_raw: string, _time: long, cribl_pipe: dynamic)
   

2. 다음 수집 매핑 만들기 명령을 실행하여 자리 표시자 TableName 을 대상 테이블 이름으로 , TableNameMapping 을 수집 매핑의 이름으로 바꿉다.

   .create table <TableName> ingestion csv mapping '<TableNameMapping>' 'CriblLogMapping' '[{"Name":"_raw","DataType":"string","Ordinal":"0","ConstValue":null},{"Name":"_time","DataType":"long","Ordinal":"1","ConstValue":null},{"Name":"cribl_pipe","DataType":"dynamic","Ordinal":"2","ConstValue":null}]'
   

3. Microsoft Entra 서비스 주체 만들기 데이터베이스 수집자 역할 권한에서 서비스 주체에 데이터베이스 작업을 수행할 수 있는 권한을 부여합니다. 자세한 내용은 예제를 참조하세요. 자리 표시자 DatabaseName을 대상 데이터베이스의 이름으로 바꾸고 ApplicationID를 Microsoft Entra 서비스 주체를 만들 때 저장한 AppId 값으로 바꿉니다.

   .add database <DatabaseName> ingestors ('aadapp=<ApplicationID>') 'App Registration'
   

Cribl Stream 대상 만들기

다음 섹션에서는 Kusto의 테이블에 데이터를 쓰는 Cribl Stream 대상을 만드는 방법을 설명합니다. 각 테이블에는 별도의 Cribl Stream 대상 커넥터가 필요합니다.

대상 선택

Cribl Stream을 테이블에 연결하려면 다음을 수행합니다.

1. Cribl의 위쪽 탐색 영역에서 관리를 선택한 다음 작업자 그룹을 선택합니다.

2. 라우팅>빠른 연결(스트림)>대상 추가를 선택합니다.

3. 새 QuickConnect 대상 설정 창에서 Azure Data Explorer를 선택한 다음, 지금 추가합니다.

일반 설정 설정

새 데이터 탐색기 창의 일반 설정에서 다음 설정을 지정합니다.

완료되면 다음을 선택합니다.

인증 설정

사이드바에서 인증 설정을 선택합니다. 다음과 같이 기본 URI와 함께 Microsoft Entra 서비스 주체 만들기에 저장한 값을 사용합니다.

그런 후 다음을 선택합니다.

영구 큐

수집 모드가 스트리밍으로 설정되고 백프레서 동작이 영구 큐로 설정된 경우 표시됩니다.

완료되면 다음을 선택합니다.

처리 설정

완료되면 다음을 선택합니다.

Parquet 설정

데이터 형식에 대해 Parquet을 선택하면 표시됩니다.

Parquet을 선택하면 Parquet 설정 탭이 열리고 Parquet 스키마가 선택됩니다.

재시도

수집 모드가 스트리밍으로 설정된 경우 표시됩니다.

완료되면 다음을 선택합니다.

고급 설정

사이드바에서 고급 설정을 선택합니다. 다음은 Batching을 선택할 때의 고급 설정에 대해 설명합니다.

완료되면 저장을 선택합니다.

연결 구성

열리는 연결 구성 창에서 Passthru 연결을 선택한 다음 저장합니다. 커넥터가 데이터 큐에 대기를 시작합니다.

데이터 수집 확인

1. 데이터가 테이블에 도착하면 행 수를 확인하여 데이터 전송을 확인합니다.

   <Tablename> 
   | count
   

2. 지난 5분 동안 대기 중인 수집을 확인합니다.

   .show commands-and-queries 
   | where Database == "" and CommandType == "DataIngestPull" 
   | where LastUpdatedOn >= ago(5m)
   

3. 수집 프로세스에 오류가 없는지 확인합니다.

   • 일괄 처리의 경우:

   .show ingestion failures
   

   • 스트리밍의 경우:

   .show streamingingestion failures 
   | order by LastFailureOn desc
   

4. 테이블의 데이터를 확인합니다.

   <TableName>
   | take 10
   

쿼리 예제 및 지침은 KQL 및 Kusto 쿼리 언어 설명서에서 쿼리 작성을 참조하세요.

관련 콘텐츠

• 데이터 통합 개요
• KQL(Kusto 쿼리 언어) 개요