솔루션 아이디어
이 문서는 솔루션 아이디어 설명입니다. 클라우드 설계자는 이 지침을 사용하여 이 아키텍처의 일반적인 구현을 위한 주요 구성 요소를 시각화할 수 있습니다. 이 문서를 시작점으로 사용하여 워크로드의 특정 요구 사항에 맞는 잘 설계된 솔루션을 디자인할 수 있습니다.
이 솔루션 아이디어는 Azure Data Explorer가 IoT(사물 인터넷) 디바이스 및 센서에서 빠르게 흐르는 대용량 스트리밍 데이터에 대해 실시간에 가까운 분석을 제공하는 방법을 설명합니다. 이 분석 워크플로는 운영 및 분석 워크로드를 Azure Cosmos DB 및 Azure Data Explorer와 통합하는 전체 IoT 솔루션의 일부입니다.
Jupyter는 해당 회사의 상표입니다. 이 상표의 사용은 어떠한 보증도 의미하지 않습니다. Apache® 및 Apache Kafka®는 미국 및/또는 기타 국가에서 Apache Software Foundation의 등록 상표 또는 상표입니다. 이러한 표시의 사용은 Apache Software Foundation에 의한 보증을 암시하지 않습니다.
아키텍처
이 아키텍처의 Visio 파일을 다운로드합니다.
데이터 흐름
Azure Event Hubs, Azure IoT Hub 또는 Kafka는 로그, 비즈니스 이벤트 및 사용자 활동과 같은 다양하고 빠르게 흐르는 스트리밍 데이터를 수집합니다.
Azure Functions 또는 Azure Stream Analytics는 거의 실시간으로 데이터를 처리합니다.
Azure Cosmos DB는 실시간 운영 애플리케이션을 제공하기 위해 스트리밍된 메시지를 JSON 형식으로 저장합니다.
Azure Data Explorer는 짧은 대기 시간과 높은 처리량을 위해 Azure Event Hubs, Azure IoT Hub 또는 Kafka용 커넥터를 사용하여 분석을 위한 데이터를 수집합니다.
또는 Event Grid 데이터 연결을 사용하여 Azure Blob Storage 또는 Azure Data Lake Storage 계정에서 Azure Data Explorer로 Blob을 수집할 수 있습니다.
압축되고 분할된 Apache Parquet 형식으로 데이터를 Azure Storage로 지속적으로 내보내고 Azure Data Explorer를 사용하여 데이터를 원활하게 쿼리할 수도 있습니다. 자세한 내용은 연속 데이터 내보내기 개요를 참조하세요.
운영 및 분석 사용 사례를 모두 제공하기 위해 데이터는 Azure Data Explorer 및 Azure Cosmos DB로 병렬로 라우팅하거나 Azure Cosmos DB에서 Azure Data Explorer로 라우팅할 수 있습니다.
Azure Cosmos DB 트랜잭션은 변경 피드를 통해 Azure Functions를 트리거할 수 있습니다. Functions는 Azure Data Explorer로 수집하기 위해 데이터를 Event Hubs로 스트리밍합니다.
또는
Azure Functions는 API를 통해 Azure Digital Twins를 호출한 다음, Azure Data Explorer로 데이터를 수집하기 위해 Event Hubs로 데이터를 스트리밍할 수 있습니다.
다음 인터페이스는 Azure Data Explorer에 저장된 데이터로부터 인사이트를 얻습니다.
- Azure Digital Twins 및 Azure Data Explorer API의 데이터를 혼합하는 사용자 지정 분석 앱
- Azure Data Explorer 대시보드, Power BI 또는 Grafana를 사용하여 실시간에 가까운 분석 대시보드
- Azure Logic Apps용 Azure Data Explorer 커넥터의 경고 및 알림
- Azure Data Explorer 웹 UI인 Kusto.Explorer 및 Jupyter Notebook
Azure Data Explorer는 Azure Databricks 및 Azure Machine Learning과 통합되어 ML(기계 학습) 서비스를 제공합니다. 다른 도구와 서비스를 사용하여 ML 모델을 빌드하고 ML 모델을 Azure Data Explorer로 내보내 점수를 매길 수 있습니다.
구성 요소
이 솔루션 아이디어는 다음 Azure 구성 요소를 사용합니다.
Azure Data Explorer
Azure Data Explorer는 빠르고 스케일링 성능이 뛰어난 완전 관리형 빅 데이터 분석 서비스입니다. Azure Data Explorer는 애플리케이션, 웹 사이트 및 IoT 디바이스에서 대량의 스트리밍 데이터를 거의 실시간으로 분석하여 분석 애플리케이션 및 대시보드를 제공할 수 있습니다.
Azure Data Explorer는 다음을 위한 네이티브 고급 분석을 제공합니다.
- 시계열 분석
- 패턴 인식
- 이상 감지 및 예측
- 루트 분석을 위한 변칙 진단입니다.
Azure Data Explorer 웹 UI는 Azure Data Explorer 클러스터에 연결하여 Kusto 쿼리 언어 명령 및 쿼리를 작성, 실행 및 공유할 수 있습니다. Azure Data Explorer 대시보드는 기본적으로 Kusto 쿼리를 최적화된 대시보드로 내보내는 Data Explorer 웹 UI의 기능입니다.
기타 Azure 구성 요소
- Azure Cosmos DB는 어떤 규모에서나 개방형 API를 사용하여 최신 앱을 개발할 수 있게 도와 주는 완전 관리형의 빠른 NoSQL 데이터베이스 서비스입니다.
- Azure Digital Twins는 실제 환경을 모델링하는 차세대 IoT 솔루션을 만드는 데 도움이 되는 물리적 환경의 디지털 모델을 저장합니다.
- Azure Event Hubs는 완전 관리형 실시간 데이터 수집 서비스입니다.
- Azure IoT Hub는 IoT 디바이스와 Azure 클라우드 간의 양방향 통신을 지원합니다.
- Azure Cosmos DB용 Azure Synapse Link는 트랜잭션 워크로드에 대한 성능 또는 비용 영향 없이 Azure Cosmos DB의 운영 데이터에 대해 거의 실시간 분석을 실행합니다. Synapse Link는 Azure Synapse 작업 영역의 SQL 서버리스 및 Spark 풀 분석 엔진을 사용합니다.
- Kafka on HDInsight는 Apache Kafka를 사용한 오픈 소스 분석을 위한 쉽고 비용 효율적인 엔터프라이즈급 서비스입니다.
시나리오 정보
이 솔루션은 Azure Data Explorer를 사용하여 다양한 IoT 디바이스에서 빠르게 흐르는 대용량 스트리밍 데이터에 대한 거의 실시간 IoT 원격 분석을 수행합니다.
잠재적인 사용 사례
- 차량 부품의 예측 유지 관리를 위한 차량 관리. 이 솔루션은 자동차 및 운송 업계에 이상적입니다.
- 에너지 및 환경 최적화를 위한 시설 관리
- 더 안전한 자율 주행을 위해 실시간 도로 상황과 날씨 데이터 결합
참가자
Microsoft에서 이 문서를 유지 관리합니다. 원래 다음 기여자가 작성했습니다.
보안 주체 작성자:
- Ornat Spodek | 수석 콘텐츠 관리자