Изменить

Поделиться через

Аналитика Интернета вещей с помощью Azure Data Explorer и Центра Интернета вещей Azure

Azure Cosmos DB
Azure Data Explorer
Azure Digital Twins
Центр Интернета вещей Azure

Идеи решения

В этой статье описывается идея решения. Ваш архитектор облака может использовать это руководство, чтобы визуализировать основные компоненты для типичной реализации этой архитектуры. Используйте эту статью в качестве отправной точки для разработки хорошо спроектированного решения, которое соответствует конкретным требованиям рабочей нагрузки.

Эта идея решения описывает, как Azure Data Explorer предоставляет практически аналитику в режиме реального времени для быстрого потокового потока, потоковой передачи данных из Интернета вещей и датчиков Интернета вещей. Этот рабочий процесс аналитики является частью общего решения Интернета вещей, которое интегрирует операционные и аналитические рабочие нагрузки с Azure Cosmos DB и Azure Data Explorer.

Jupyter является товарным знаком соответствующей компании. Никакое подтверждение не подразумевается использованием этого знака. Apache® и Apache Kafka® являются зарегистрированными товарными знаками или товарными знаками Apache Software Foundation в США и/или других странах. Использование этих меток не подразумевает подтверждения от Apache Software Foundation.

Архитектура

Схема, на которой показана аналитика телеметрии Интернета вещей с помощью Azure Data Explorer.

Скачайте файл Visio для этой архитектуры.

Поток данных

  1. Центры событий Azure, Центр Интернета вещей Azure или Kafka прием разнообразных потоковых данных, таких как журналы, бизнес-события и действия пользователей.

  2. Функции Azure или Azure Stream Analytics обрабатывают данные практически в режиме реального времени.

  3. Azure Cosmos DB хранит потоковые сообщения в формате JSON для обслуживания операционного приложения в режиме реального времени.

  4. Azure Data Explorer использует данные для аналитики, используя свои соединители для Центры событий Azure, Центр Интернета вещей Azure или Kafka для низкой задержки и высокой пропускной способности.

    Кроме того, вы можете получать большие двоичные объекты из учетной записи Хранилище BLOB-объектов Azure или Azure Data Lake Storage в Azure Data Explorer с помощью подключения к данным сетки событий.

    Вы также можете непрерывно экспортировать данные в служба хранилища Azure в сжатых, секционированных форматах Apache Parquet и легко запрашивать данные с помощью Azure Data Explorer. Дополнительные сведения см. в обзоре непрерывного экспорта данных.

  5. Для обслуживания вариантов оперативного и аналитического использования данные могут направляться в Azure Data Explorer и Azure Cosmos DB параллельно или из Azure Cosmos DB в Azure Data Explorer.

    • Транзакции Azure Cosmos DB могут активировать Функции Azure через канал изменений. Функции будут передавать данные в Центры событий для приема в Azure Data Explorer.

      –или–

    • Функции Azure может вызывать Azure Digital Twins через свой API, который затем передает данные в Центры событий для приема в Azure Data Explorer.

  6. Следующие интерфейсы получают аналитические сведения из данных, хранящихся в Azure Data Explorer:

  7. Azure Data Explorer интегрируется с Azure Databricks и Машинное обучение Azure для предоставления служб машинного обучения. Вы также можете создавать модели машинного обучения с помощью других средств и служб и экспортировать их в Azure Data Explorer для оценки данных.

Компоненты

Эта идея решения использует следующие компоненты Azure:

Azure Data Explorer

Azure Data Explorer — это быстрая, полностью управляемая и высокомасштабируемая служба аналитики больших данных. Azure Data Explorer может анализировать большие объемы потоковых данных из приложений, веб-сайтов и устройств Интернета вещей практически в реальном времени для обслуживания приложений и панелей мониторинга аналитики.

Azure Data Explorer предоставляет встроенную расширенную аналитику для:

Веб-интерфейс Azure Data Explorer подключается к кластерам Azure Data Explorer для записи, запуска и совместного использования язык запросов Kusto команд и запросов. Панели мониторинга Azure Data Explorer — это функция в веб-интерфейсе Обозревателя данных, которая изначально экспортирует запросы Kusto в оптимизированные панели мониторинга.

Другие компоненты Azure

  • Azure Cosmos DB — это полностью управляемая служба базы данных NoSQL для современной разработки приложений с открытыми API для любого масштаба.
  • Azure Digital Twins хранит цифровые модели физических сред, чтобы создать решения Интернета вещей следующего поколения, которые моделируют реальный мир.
  • Центры событий Azure — это полностью управляемая служба приема данных в режиме реального времени.
  • Центр Интернета вещей Azure обеспечивает двунаправленную связь между устройствами Интернета вещей и облаком Azure.
  • Azure Synapse Link для Azure Cosmos DB выполняет аналитику практически в режиме реального времени по операционным данным в Azure Cosmos DB без какого-либо влияния на производительность или затраты на рабочие нагрузки транзакций. Synapse Link использует подсистемы аналитики пулов SQL Serverless и Spark из рабочей области Azure Synapse.
  • Kafka в HDInsight — это простая, эффективная, корпоративная служба для аналитики с открытым кодом с помощью Apache Kafka.

Подробности сценария

Это решение использует Azure Data Explorer для получения аналитики телеметрии Интернета вещей практически в режиме реального времени для быстрой потоковой потоковой передачи данных с различных устройств Интернета вещей.

Потенциальные варианты использования

Соавторы

Эта статья поддерживается корпорацией Майкрософт. Первоначально он был написан следующими участниками.

Автор субъекта:

Следующие шаги