Azure Monitor의 DCR(데이터 수집 규칙)

DCR(데이터 수집 규칙)은 Azure Monitor의 레거시 데이터 수집 방법을 개선하는 ETL과 유사한 데이터 수집 프로세스의 일부입니다. 이 프로세스는 모든 데이터 원본에 공통 데이터 수집 파이프라인을 사용하고 이전 컬렉션 메서드보다 관리가 용이하고 확장성이 뛰어난 표준 구성 방법을 사용합니다.

DCR 기반 데이터 수집에는 다음을 비롯한 구체적인 이점이 있습니다.

• 서로 다른 데이터 원본의 구성에 대한 일관된 방법입니다.
• 대상에 전송되기 전에 들어오는 데이터를 필터링하거나 수정하기 위해 변환을 적용하는 기능입니다.
• 코드 및 DevOps 프로세스로서의 인프라를 지원하는 확장 가능한 구성 옵션입니다.
• 고급 확장성, 계층화된 네트워크 구성 및 주기적인 연결을 제공하기 위해 자체 환경에서 에지 파이프라인 옵션을 제공합니다.

DCR 보기

DCR(데이터 수집 규칙)은 다른 Azure 리소스처럼 중앙에서 배포 및 관리할 수 있도록 Azure에 저장됩니다. 중앙에서 다양한 데이터 수집 시나리오를 정의하고 사용자 지정하는 일관된 방법을 제공합니다.

Azure Portal의 모니터 메뉴에 있는 데이터 수집 규칙 옵션에서 구독의 모든 DCR을 봅니 다. DCR을 만드는 데 사용되는 방법과 DCR 자체의 세부 정보에 관계없이 구독의 모든 DCR이 이 화면에 나열됩니다.

대체된 레거시 데이터 수집 방법

DCR 수집 프로세스가 대체되었거나 Azure Monitor의 다른 데이터 수집 메서드를 대체하는 중입니다. 다음 표에서는 DCR 기반 대체를 사용하는 레거시 메서드를 나열합니다. Azure Monitor의 다른 데이터 수집 방법도 나중에 DCR로 대체될 것으로 예상됩니다.

Azure Monitor 파이프라인

DCR에서 지원하는 데이터 수집 프로세스는 들어오는 데이터에 대한 일반적인 처리 경로를 제공하는 Azure Monitor 파이프라인을 기반으로 합니다. 클라우드 파이프라인은 Azure Monitor 파이프라인의 한 구성 요소이며(다른 구성 요소는 아래 Edge 파이프라인 참조) Azure Monitor 플랫폼의 일부로 Azure 구독에서 자동으로 사용할 수 있습니다. 구성이 필요하지 않으며 Azure Portal에 표시되지 않습니다.

Azure Monitor 파이프라인을 사용하는 각 데이터 수집 시나리오는 클라우드 파이프라인이 수신하는 데이터를 처리하는 방법에 대한 지침을 제공하는 DCR에 정의됩니다. 시나리오에 따라 DCR은 다음의 전부 또는 일부를 지정합니다.

• 수집하여 파이프라인으로 보낼 데이터입니다.
• 들어오는 데이터의 스키마입니다.
• 저장되기 전에 데이터에 적용할 변환입니다.
• 데이터를 보내야 하는 대상입니다.

DCR 사용

특정 데이터 수집 시나리오에 대해 DCR을 지정하는 기본적인 방법에는 다음 섹션에 설명된 대로 두 가지가 있습니다. 각 시나리오는 이러한 방법 중 하나를 지원하지만 둘 다 지원하지는 않습니다.

DCRA(데이터 수집 규칙 연결)

DCLA(데이터 수집 규칙 연결)는 DCR을 모니터링되는 리소스와 연결하는 데 사용됩니다. 단일 DCR을 여러 리소스와 연결할 수 있고 단일 리소스를 여러 DCR과 연결할 수 있는 다대다 관계입니다. 이를 통해 요구 사항이 다른 리소스 집합에서 모니터링을 유지 관리하는 전략을 개발할 수 있습니다.

예를 들어 다음 다이어그램은 가상 머신에서 실행되는 AMA(Azure Monitor 에이전트)에 대한 데이터 수집을 보여 줍니다. 에이전트가 설치되면 Azure Monitor에 연결하여 연결된 DCR을 검색합니다. 이 시나리오에서 DCR은 수집할 이벤트 및 성능 데이터를 지정하며, 에이전트는 머신에서 수집하고 Azure Monitor로 보낼 데이터를 결정하는 데 사용합니다. 데이터가 전달되면 클라우드 파이프라인은 DCR에 지정된 모든 변환 을 실행하여 데이터를 필터링하고 수정한 다음, 지정된 작업 영역 및 테이블로 데이터를 보냅니다.

직접 수집

직접 수집을 사용하면 들어오는 데이터를 처리하기 위해 특정 DCR이 지정됩니다. 예를 들어 다음 다이어그램은 로그 수집 API를 사용하는 사용자 지정 애플리케이션의 데이터를 보여 줍니다. 각 API 호출은 해당 데이터를 처리할 DCR을 지정합니다. DCR은 들어오는 데이터의 구조를 이해하고, 데이터가 대상 테이블 형식인지 확인하고, 변환된 데이터를 보낼 작업 영역과 테이블을 지정하는 변환을 포함합니다.

변환

변환은 클라우드 파이프라인으로 전송된 각 레코드에 대해 실행되는 DCR에 포함된 KQL 쿼리 입니다. Azure Monitor에 저장되거나 다른 대상으로 전송되기 전에 들어오는 데이터를 수정할 수 있습니다. 불필요한 데이터를 필터링하여 수집 비용을 줄이거나, Log Analytics 작업 영역에 유지하면 안 되는 민감한 데이터를 제거하거나, 대상 스키마와 일치하도록 데이터 형식을 지정할 수 있습니다. 또한 변환을 통해 여러 대상으로 데이터를 보내거나 추가 정보를 사용하여 데이터를 보강하는 등의 고급 시나리오를 사용할 수 있습니다.

에지 파이프라인

에지 파이프라인은 Azure Monitor 파이프라인을 자체 데이터 센터로 확장합니다. 에지 파이프라인을 사용하면 원격 분석 데이터가 클라우드 파이프라인으로 전달되기 전에 대규모로 수집하고 라우팅할 수 있습니다. 클라우드 파이프라인과 달리 에지 파이프라인은 선택 사항이며 구성이 필요합니다.

Azure Monitor 에지 파이프라인의 구체적인 사용 사례는 다음과 같습니다.

• 확장성. 에지 파이프라인은 Azure Monitor 에이전트와 같은 다른 컬렉션 방법에 의해 제한될 수 있는 모니터링되는 리소스의 대량 데이터를 처리할 수 있습니다.
• 정기적인 연결. 일부 환경에서는 클라우드에 대한 연결이 불안정하거나 연결되지 않은 상태로 예기치 못한 오랜 시간이 걸릴 수 있습니다. 에지 파이프라인은 데이터를 로컬로 캐시하고 연결이 복원되면 클라우드와 동기화할 수 있습니다.
• 계층화된 네트워크. 일부 환경에서는 네트워크가 분할되어 데이터를 클라우드로 직접 보낼 수 없습니다. 에지 파이프라인을 사용하면 클라우드 액세스 없이 모니터링되는 리소스에서 데이터를 수집하고 클라우드에서 Azure Monitor에 대한 연결을 관리할 수 있습니다.

DCR 지역

데이터 수집 규칙은 Log Analytics 작업 영역과 Azure Government 및 중국 클라우드가 지원되는 모든 퍼블릭 지역에서 사용할 수 있습니다. 에어 갭(Air-Gap) 클라우드는 아직 지원되지 않습니다. DCR이 생성되어 특정 지역에 저장되고 동일한 지역 내의 쌍을 이루는 지역에 백업됩니다. 서비스는 지역 내 세 가지 가용성 영역 모두에 배포됩니다. 이러한 이유로 이것은 가용성을 더욱 높이는 영역 중복 서비스입니다.

단일 지역 데이터 상주는 단일 지역에 고객 데이터를 저장할 수 있는 미리 보기 기능이며, 현재 아시아 태평양 지역의 동남 아시아 지역(싱가포르) 및 브라질 지역의 브라질 남부(상파울루 주) 지역에서만 사용할 수 있습니다. 이러한 지역에서는 단일 지역 상주가 기본적으로 사용하도록 설정되어 있습니다.

다음 단계

DCR로 작업하는 방법에 대한 자세한 내용은 다음 문서를 참조하세요.

• DCR의 JSON 구조 및 다른 워크플로에 사용되는 다양한 요소에 대한 설명을 보려는 경우 데이터 수집 규칙 구조
• 다양한 데이터 수집 시나리오용 샘플 DCR에 대해서는 샘플 DCR(데이터 수집 규칙)
• 다양한 데이터 수집 시나리오용 DCR을 만드는 다양한 방법을 보려는 경우 Azure Monitor에서 DCR(데이터 수집 규칙) 만들기 및 편집
• 각 DCR에 적용되는 제한 사항에 대해서는 Azure Monitor 서비스 제한