관리형 가상 네트워크 내에서 통합 런타임 모니터링
적용 대상: 
Azure Data Factory Azure Synapse Analytics
팁
기업용 올인원 분석 솔루션인 Microsoft Fabric의 Data Factory를 사용해 보세요. Microsoft Fabric은 데이터 이동부터 데이터 과학, 실시간 분석, 비즈니스 인텔리전스 및 보고에 이르기까지 모든 것을 다룹니다. 무료로 새 평가판을 시작하는 방법을 알아봅니다!
Azure Data Factory 관리형 가상 네트워크를 사용하여 데이터 원본을 Data Factory 서비스에서 관리하는 가상 네트워크에 안전하게 연결할 수 있습니다. 이 기능을 사용하면 데이터 통합 및 오케스트레이션 프로세스에 대해 격리된 프라이빗 환경을 설정할 수 있습니다.
관리형 가상 네트워크를 사용하는 경우 Data Factory의 데이터 통합 및 오케스트레이션 기능을 Azure 가상 네트워크의 보안 및 유연성과 결합합니다. 이를 통해 온-프레미스 또는 클라우드에서 네트워크 리소스에 원활하게 연결하는 강력하고 확장 가능하며 안전한 데이터 통합 파이프라인을 빌드할 수 있습니다.
관리형 컴퓨팅의 일반적인 문제 중 하나는 특히 관리형 가상 네트워크 환경 내에서 성능 및 상태에 대한 가시성이 부족하다는 것입니다. 적절한 모니터링이 없으면 문제를 식별하고 해결하는 것이 어려워지고 잠재적인 지연, 오류 및 성능 저하가 발생할 수 있습니다.
Data Factory에서 향상된 모니터링을 사용하면 데이터 통합 프로세스에 대한 중요한 인사이트를 얻을 수 있습니다. 이러한 인사이트는 효율성 개선, 리소스 사용률 증가 및 전반적인 성능 향상으로 이어질 수 있습니다. 사전 모니터링 및 시기적절한 경고를 통해 문제를 해결하고, 워크플로를 최적화하고, 관리형 가상 네트워크 환경 내에서 데이터 통합 파이프라인을 원활하게 실행할 수 있습니다.
새로운 메트릭
새로운 메트릭이 도입되어 관리형 가상 네트워크 환경 내에서 가시성 및 모니터링 기능이 향상됩니다.
Azure Data Factory는 다음과 같은 세 가지 유형의 컴퓨팅 풀을 제공합니다.
- 복사 작업에 대한 컴퓨팅
- 조회와 같은 파이프라인 작업에 대한 컴퓨팅
- Azure Databricks Notebook과 같은 외부 작업에 대한 컴퓨팅
이러한 컴퓨팅 풀은 다양한 워크로드를 수용하고 리소스를 최적으로 할당할 수 있는 유연성과 확장성을 제공합니다. 각각은 특정 작업 실행 요구 사항을 처리하도록 맞춤화됩니다.
모든 컴퓨팅 풀에서 일관되고 포괄적인 모니터링을 보장하는 데 도움이 되도록 다음과 같은 동일한 모니터링 메트릭 집합을 구현했습니다.
- 용량 사용률
- 사용 가능한 용량 비율
- 대기 큐 길이
사용 중인 컴퓨팅 풀의 유형에 관계없이 표준화된 메트릭 집합에 액세스하고 이를 분석하여 데이터 통합 작업의 성능 및 상태에 대한 인사이트를 얻을 수 있습니다.
참고 항목
이러한 메트릭은 관리형 가상 네트워크 내의 통합 런타임에서 TTL(Time to Live)을 사용하도록 설정하는 경우에만 유효합니다.
| 메트릭 | 단위 | 설명 |
|---|---|---|
| MVNet 통합 런타임의 복사 용량 사용률 | 퍼센트 | 1분 이내에 관리형 가상 네트워크의 통합 런타임에서 TTL 복사 작업에 대한 DIU(데이터 통합 단위) 사용률의 최대 비율입니다. |
| MVNet 통합 런타임의 복사 가능 용량 비율 | 퍼센트 | 1분 이내에 관리형 가상 네트워크의 통합 런타임에서 TTL 복사 작업에 사용할 수 있는 DIU의 최대 비율입니다. |
| MVNet 통합 런타임의 복사 대기 큐 길이 | Count | 1분 이내에 관리형 가상 네트워크의 통합 런타임에서 TTL 복사 작업의 대기 큐 길이입니다. |
| MVNet 통합 런타임의 파이프라인 용량 사용률 | 퍼센트 | 1분 이내에 관리형 가상 네트워크의 통합 런타임에서 파이프라인 작업에 대한 DIU 사용률의 최대 비율입니다. |
| MVNet 통합 런타임의 파이프라인 사용 가능 용량 비율 | 퍼센트 | 1분 이내에 관리형 가상 네트워크의 통합 런타임에서 파이프라인 작업에 사용할 수 있는 DIU의 최대 비율입니다. |
| MVNet 통합 런타임의 파이프라인 대기 큐 길이 | Count | 1분 이내에 관리형 가상 네트워크의 통합 런타임에서 파이프라인 작업의 대기 큐 길이입니다. |
| MVNet 통합 런타임의 외부 용량 사용률 | 퍼센트 | 1분 이내에 관리형 가상 네트워크의 통합 런타임에서 외부 작업에 대한 DIU 사용률의 최대 비율입니다. |
| MVNet 통합 런타임의 외부 사용 가능 용량 비율 | 퍼센트 | 1분 이내에 관리형 가상 네트워크의 통합 런타임에서 외부 작업에 사용 가능한 DIU의 최대 비율입니다. |
| MVNet 통합 런타임의 외부 대기 큐 길이 | Count | 1분 이내에 관리형 가상 네트워크의 통합 런타임에서 외부 작업의 대기 큐 길이입니다. |
이러한 메트릭에 대한 자세한 내용은 Microsoft.DataFactory/팩터리 대해 지원되는 메트릭을 참조하세요.
성능 최적화에 메트릭 사용
메트릭을 사용하여 관리형 가상 네트워크 내에서 통합 런타임의 성능과 견고성을 원활하게 추적하고 평가할 수 있습니다. 또한 컴퓨팅 설정 및 워크플로를 최적화함으로써 효율성을 최대화하여 지속적인 개선을 위한 잠재적 영역을 파악할 수도 있습니다.
이러한 메트릭의 실제 적용을 보다 명확히 설명하기 위해 몇 가지 예제 시나리오는 살펴보겠습니다.
Balanced
용량 사용률이 100% 미만이고 사용 가능한 용량 비율이 높은 경우 예약한 컴퓨팅 리소스가 효율적으로 활용되고 있는 것입니다.
대기 큐 길이가 지속적으로 낮게 유지되거나 간헐적으로 짧은 급증이 발생하는 경우 용량 사용률이 100%에 도달할 때까지 다른 작업을 큐에 대기시키는 것이 좋습니다. 이 방법은 리소스의 최적 사용률을 보장하고 최소한의 지연으로 원활한 워크플로를 유지하는 데 도움이 됩니다.
성능 지향
용량 사용률이 지속적으로 낮고 대기 큐 길이가 지속적으로 낮게 유지되거나 간헐적으로 짧은 스파이크가 발생하는 경우 예약한 컴퓨팅 리소스가 작업에 대한 수요보다 높습니다.
이러한 경우 사용 가능한 용량 비율이 높거나 낮은 여부에 관계없이 할당된 컴퓨팅 리소스를 줄여서 비용을 절감하는 것이 좋습니다. 워크로드 요구 사항에 맞게 컴퓨팅 크기를 조정함으로써 작업의 효율성을 저하시키지 않고도 리소스 사용률을 최적화하고 비용을 절감할 수 있습니다.
비용 지향
모든 메트릭(용량 사용률, 사용 가능한 용량 비율 및 대기 큐 길이 포함)이 높으면 예약한 컴퓨팅 리소스가 작업에 충분하지 않을 가능성이 큽니다.
이 시나리오에서는 할당된 컴퓨팅 리소스를 늘려 큐 시간을 줄이는 것이 좋습니다. 컴퓨팅 용량을 더 추가하면 작업에서 효율적으로 실행할 수 있는 충분한 리소스를 확보하여 혼잡한 큐로 인해 발생하는 지연을 최소화할 수 있습니다.
일시적인 작업 실행
사용 가능한 용량 비율이 특정 기간 내에 고저 사이에서 변동하는 경우, 구성한 TTL(Time-To-Live) 기간이 작업 간의 간격보다 짧아서 발생하는 작업의 일시적인 실행 때문일 가능성이 큽니다. 이는 워크플로의 성능에 큰 영향을 미칠 수 있습니다. 이 문제를 해결하기 위해 두 가지 가능한 솔루션이 있습니다. 먼저 더 많은 작업을 큐에 대기시키면 일관된 워크로드를 유지하고 사용 가능한 컴퓨팅 리소스를 보다 효과적으로 활용할 수 있습니다. 컴퓨팅이 연속적으로 사용되도록 유지하면 워밍업 시간을 방지하고 더 나은 성능을 얻을 수 있습니다. 또는 작업 사이의 간격에 맞게 TTL 기간을 늘리는 것을 고려할 수 있습니다. 이렇게 하면 컴퓨팅 리소스가 더 긴 기간 동안 사용 가능한 상태로 유지되어 워밍업 기간의 빈도를 줄이고 비용 효율성을 최적화할 수 있습니다.
이러한 솔루션 중 하나를 구현하여 워크플로의 성능을 향상시키고, 비용 영향을 최소화하고, 일시적인 작업을 보다 원활하게 실행할 수 있습니다.
관련 콘텐츠
관리형 가상 네트워크 및 관리형 프라이빗 엔드포인트에 대해 알아보려면 다음 문서로 이동합니다. Azure Data Factory 관리형 가상 네트워크