Azure Data Explorer と Azure IoT Hub を使用した IoT 分析

このソリューションのアイデアでは、モノのインターネット (IoT) デバイスとセンサーから高速に流れる大量のストリーミング データに対して Azure Data Explorer が凖リアルタイムの分析を提供する方法について説明します。 この分析ワークフローは、運用ワークロードと分析ワークロードを Azure Cosmos DB および Azure Data Explorer と統合する全体的な IoT ソリューションの一部です。

Jupyter は、各社の商標です。 このマークを使用することは、保証を意味するものではありません。 Apache® および Apache Kafka® は、米国およびその他の国における Apache Software Foundation の登録商標または商標です。 これらのマークを使用することが、Apache Software Foundation による保証を意味するものではありません。

アーキテクチャ

このアーキテクチャの Visio ファイル をダウンロードします。

データフロー

1. Azure Event Hub、Azure IoT Hub、または Kafka は、高速で流れる多種多様なストリーミング データ (ログ、ビジネス イベント、ユーザー アクティビティなど) を取り込みます。

2. Azure Functions または Azure Stream Analytics では、ほぼリアルタイムでデータが処理されます。

3. Azure Cosmos DB では、ストリーミングされたメッセージが JSON 形式で保存され、リアルタイムの運用アプリケーションが提供されます。

4. Azure Data Explorer では、 Azure Event Hubs、 Azure IoT Hub または Kafka 用のコネクタを使用して、分析用のデータを取り込み、低待機時間と高スループットを実現します。

   または、 Event Grid データ接続を使用して、 Azure Blob Storage または Azure Data Lake Storage アカウントから Azure Data Explorer に BLOB を取り込むことができます。

   また、圧縮され、パーティション分割された Apache Parquet 形式でAzure Storage に継続的にデータをエクスポートし、Azure Data Explorerを使用してデータに対してシームレスにクエリを実行できます。 詳細については、「継続的データ エクスポートの概要」を参照してください。

5. 運用と分析の両方のユース ケースに対応するため、データは Azure Data Explorer と Azure Cosmos DB に並行してルーティングすることも、Azure Cosmos DB から Azure Data Explorer にルーティングすることもできます。

   • Azure Cosmos DB トランザクションは、変更フィードを介して Azure Functions をトリガーできます。 Functions は、Azure Data Explorerへのインジェストのために Event Hubs にデータをストリーミングします。

     または

   • Azure Functions はその API を介して Azure Digital Twins を呼び出します。これにより、データが Event Hubs にストリーミングされ、Azure Data Explorer に取り込まれます。

6. 次のインターフェイスでは、Azure Data Explorer に保存されているデータから分析情報が取得されます。

   • Azure Digital Twins と Azure Data Explorer API からのデータをブレンドするカスタム分析アプリ
   • Azure Data Explorer ダッシュボード、 Power BI または Grafanaを使用する、ほぼリアルタイムの分析ダッシュボード
   • Azure Logic Apps 用の Azure Data Explorer コネクタからのアラートと通知
   • Azure Data Explorer Web UI、 Kusto.Explorer および Jupyter Notebook

7. Azure Data Explorer は Azure Databricks および Azure Machine Learning と統合され、機械学習 (ML) サービスが提供されます。 他のツールやサービスを使用して ML モデルを構築し、それらを Azure Data Explorer にエクスポートしてデータをスコア付けできます。

コンポーネント

このソリューションのアイデアでは、次の Azure コンポーネントを使用します。

Azure Data Explorer

Azure Data Explorer は、高速で完全に管理され、高度にスケーラブルなビッグ データ分析サービスです。 Azure Data Explorer では、アプリケーション、Web サイト、IoT デバイスからの大量のストリーミング データをほぼリアルタイムで分析し、分析アプリケーションとダッシュボードを提供できます。

Azure Data Explorer では、次に対するネイティブの高度な分析が提供されます。

• 時系列分析.
• パターン認識。
• 異常検出と予測。
• ルート分析のための異常診断。

Azure Data Explorer Web UI は Azure Data Explorer クラスターに接続し、Kusto 照会言語コマンドとクエリの作成、実行、共有を支援します。 Azure Data Explorer ダッシュボード は、Kusto クエリを最適化されたダッシュボードにネイティブにエクスポートする Data Explorer Web UI の機能です。

その他の Azure コンポーネント

• Azure Cosmos DB は、あらゆる規模に対応するオープン API を備え、最新のアプリ開発に対応する、フル マネージドの高速 NoSQL データベース サービスです。
• Azure Digital Twins には、物理環境のデジタル モデルが保存され、現実世界をモデル化する次世代の IoT ソリューションの作成に役立ちます。
• Azure Event Hubs は、フル マネージドのリアルタイム データ インジェスト サービスです。
• Azure IoT Hub により IoT デバイスと Azure クラウド間の双方向通信が可能になります。
• Azure Synapse Link for Azure Cosmos DB は、トランザクション ワークロードにパフォーマンスやコスト上の影響を及ぼすことなく、Azure Cosmos DB のオペレーショナル データに対してほぼリアルタイムの分析を行います。 Synapse Link では、Azure Synapse ワークスペースの SQL サーバーレス と Spark プール の分析エンジンが使用されます。
• HDInsight 上の Kafka は Apache Kafka を使用したオープンソース分析のための手軽でコスト効率に優れたエンタープライズ レベルのサービスです。

シナリオの詳細

このソリューションでは、Azure Data Explorer を使用して、さまざまな IoT デバイスから高速で流れる大量のストリーミング データに関するほぼリアルタイムの IoT テレメトリ分析を取得します。

考えられるユース ケース

• 車両部品の予測メンテナンスのためのフリート管理。 このソリューションは、自動車および輸送業界に最適です。
• エネルギーと環境の最適化のための設備管理。
• リアルタイムの道路状況と気象データを組み合わせることで、自動運転の安全性を高める。

共同作成者

この記事は、Microsoft によって保守されています。 当初の寄稿者は以下のとおりです。

プリンシパル作成者:

• Ornat Spodek | シニア コンテンツ マネージャー

次の手順

• Azure Data Explorerとは
• Azure Data Explorer ダッシュボードを使用してデータを視覚化する

関連リソース

• Azure Data Explorer を使用したビッグ データ分析