다음을 통해 공유

수집 시간 정규화

  • 아티클

쿼리 시간 구문 분석

ASIM 개요에서 설명한 대로 Microsoft Sentinel은 쿼리 시간과 수집 시간 정규화를 모두 사용하여 각각의 이점을 활용합니다.

쿼리 시간 정규화를 사용하려면 쿼리의 _Im_Dns와 같은 쿼리 시간 통합 파서를 사용합니다. 쿼리 시간 구문 분석을 사용하여 정규화하면 다음과 같은 몇 가지 이점이 있습니다.

  • 원래 형식 유지: 쿼리 시간 정규화에서는 데이터를 수정할 필요가 없으므로 원본에서 보낸 원래 데이터 형식이 유지됩니다.
  • 잠재적인 중복 스토리지 방지: 정규화된 데이터는 원래 데이터의 보기일 뿐이므로 원래 데이터와 정규화된 데이터를 모두 저장할 필요가 없습니다.
  • 간편한 개발: 쿼리 시간 파서는 데이터 보기를 제공하고 데이터를 수정하지 않으므로 쉽게 개발할 수 있습니다. 파서 개발, 테스트 및 수정은 모두 기존 데이터에 대해 수행할 수 있습니다. 또한 문제가 검색되고 수정 사항이 기존 데이터에 적용될 때 파서를 수정할 수 있습니다.

수집 시간 구문 분석

ASIM 쿼리 시간 파서는 최적화되어 있지만 쿼리 시간 구문 분석으로 인해 특히 큰 데이터 세트에서 쿼리 속도가 느려질 수 있습니다.

시간 구문 분석을 통해 Microsoft Sentinel로 수집될 때 이벤트를 정규화된 스키마로 변환하고 정규화된 형식으로 저장할 수 있습니다. 수집 시간 구문 분석은 유연성이 떨어지고 파서 개발이 어렵지만 데이터가 정규화된 형식으로 저장되므로 성능이 향상됩니다.

정규화된 데이터는 Microsoft Sentinel의 기본 정규화된 테이블 또는 ASIM 스키마를 사용하는 사용자 지정 테이블에 저장할 수 있습니다. ASIM 스키마와 유사하지만 동일하지 않은 스키마가 있는 사용자 지정 테이블은 수집 시간 정규화의 성능 이점도 제공합니다.

현재 ASIM은 다음 네이티브 정규화된 테이블을 수집 시간 정규화를 위한 대상으로 지원합니다.

네이티브 정규화된 테이블의 장점은 기본적으로 ASIM 통합 파서에 포함되어 있다는 것입니다. 사용자 지정 정규화된 테이블은 파서 관리에 설명한 대로 통합 파서에 포함될 수 있습니다.

수집 시간 및 쿼리 시간 정규화 결합

쿼리는 쿼리 시간과 수집 시간 정규화를 모두 활용하기 위해 _Im_Dns와 같은 쿼리 시간 통합 파서를 항상 사용해야 합니다. 네이티브 정규화된 테이블은 스텁 파서로 쿼리된 데이터에 포함됩니다.

스텁 파서는 정규화된 테이블을 입력으로 사용하는 쿼리 시간 파서입니다. 정규화된 테이블에는 구문 분석이 필요하지 않으므로 스텁 파서가 효율적입니다.

스텁 파서는 ASIM 네이티브 테이블에 추가되는 호출 쿼리에 대한 뷰를 제공합니다.

  • 별칭 - 반복 값에 대한 스토리지를 낭비하지 않기 위해 별칭은 ASIM 네이티브 테이블에 저장되지 않으며 쿼리 시 스텁 파서에 의해 추가됩니다.
  • 상수 값 - 별칭과 마찬가지로 ASIM 정규화된 테이블도 EventSchema와 같은 상수 값을 저장하지 않습니다. 스텁 파서는 해당 필드를 추가합니다. ASIM 정규화된 테이블은 많은 원본에서 공유되며 수집 시간 파서는 출력 버전을 변경할 수 있습니다. 따라서 EventProduct, EventVendor 및 EventSchemaVersion과 같은 필드는 일정하지 않으며 스텁 파서에 의해 추가되지 않습니다.
  • 필터링 - 스텁 파서도 필터링을 구현합니다. ASIM 네이티브 테이블은 성능 향상을 위해 필터링 파서를 필요로 하지 않지만 통합 파서에 포함되도록 하려면 필터링이 필요합니다.
  • 업데이트 및 수정 - 스텁 파서 사용으로 문제를 더 빠르게 해결할 수 있습니다. 예를 들어 데이터가 잘못 수집된 경우 수집하는 동안 메시지 필드에서 IP 주소가 추출되지 않았을 수 있습니다. 쿼리 시 스텁 파서에서 IP 주소를 추출할 수 있습니다.

사용자 지정 정규화된 테이블을 사용하는 경우 고유한 스텁 파서를 만들어 이 기능을 구현하고 파서 관리에 설명된 대로 통합 파서에 추가합니다. DNS 네이티브 테이블 스텁 파서 및 해당 필터링 상대와 같은 네이티브 테이블에 대한 스텁 파서를 시작점으로 사용합니다. 테이블이 반정규화된 경우 스텁 파서를 사용하여 필요한 추가 구문 분석 및 정규화를 수행합니다.

ASIM 파서 개발에서 파서를 작성하는 방법에 대해 자세히 알아봅니다.

수집 시간 정규화 구현

수집 시 데이터를 정규화하려면 DCR(데이터 수집 규칙)을 사용해야 합니다. DCR 구현 절차는 데이터를 수집하는 데 사용되는 메서드에 따라 달라집니다. 자세한 내용은 Microsoft Sentinel에서 수집 시 데이터 변환 또는 사용자 지정 문서를 참조하세요.

KQL 변환 쿼리는 DCR의 핵심입니다. DCR에서 사용되는 KQL 버전은 파이프라인 이벤트 처리 요구 사항을 수용하기 위해 Microsoft Sentinel의 다른 곳에서 사용되는 버전과 약간 다릅니다. 따라서 DCR에서 사용하려면 쿼리 시간 파서가 수정되어야 합니다. 차이점 및 쿼리 시간 파서에서 수집 시간 파서로 변환하는 방법에 대한 자세한 내용은 DCR KQL 제한 사항에 대해 읽어보세요.

다음 단계

자세한 내용은 다음을 참조하세요.