Поделиться через

Общие сведения об интеграции

  • Статья

Существует множество соединителей данных, инструментов и интеграции, которые легко работают с платформой для приема, оркестрации, вывода и запроса данных. В этом документе представлен общий обзор доступных соединителей, инструментов и интеграции. Подробные сведения предоставляются для каждого соединителя, а также ссылки на полную документацию.

Для страниц обзора для определенного типа интеграции выберите одну из следующих кнопок.

Интеграция данных

Интеграция запросов

Интеграция визуализации

Таблицы сравнения

В следующих таблицах приведены сведения о возможностях каждого элемента. Выберите вкладку, соответствующую соединителям или средствам и интеграции. Каждое имя элемента связано с подробным описанием.

В следующей таблице перечислены доступные соединители и их возможности.

Имя. Прием Экспорт (Export) Оркестрация Query
Apache Kafka ✔️
Apache Flink ✔️
Apache Log4J 2 ✔️
Apache Spark ✔️ ✔️ ✔️
Apache Spark для Azure Synapse Analytics ✔️ ✔️ ✔️
Azure Cosmos DB ✔️
Фабрика данных Azure ✔️ ✔️
Сетка событий Azure ✔️
Центры событий Azure ✔️
Функции Azure ✔️ ✔️
Центры Интернета вещей Azure ✔️
Azure Stream Analytics ✔️
Cribl Stream ✔️
Fluent Bit ✔️
JDBC ✔️
Логические приложения ✔️ ✔️ ✔️
Logstash. ✔️
Matlab ✔️
NLog ✔️
ODBC ✔️
Открытие телеметрии ✔️
Power Apps ✔️ ✔️
Power Automate ✔️ ✔️ ✔️
Серилог ✔️
Splunk ✔️
Универсальный сервер пересылки Splunk ✔️
Telegraf ✔️

Подробные описания

Ниже приведены подробные описания соединителей и инструментов и интеграции. Выберите вкладку, соответствующую соединителям или средствам и интеграции. Все доступные элементы приведены в таблицах сравнения выше.

Apache Kafka

Apache Kafka — это распределенная платформа потоковой передачи для создания конвейеров потоковой передачи в режиме реального времени, которые надежно перемещают данные между системами или приложениями. Kafka Connect — это инструмент для масштабируемой и надежной потоковой передачи данных между Apache Kafka и другими системами данных. Приемник Kafka служит соединителем из Kafka и не требует использования кода. Это золото сертифицировано Confluent - прошел комплексный обзор и тестирование качества, полноты компонентов, соответствия стандартам и производительности.

Apache Flink — это платформа и распределенный обработчик обработки для вычислений с отслеживанием состояния по несвязанным и привязанным потокам данных. Соединитель реализует приемник данных для перемещения данных в Azure Data Explorer и кластерах Flink. С помощью Azure Data Explorer и Apache Flink можно создавать быстрые и масштабируемые приложения, предназначенные для сценариев на основе данных. Например, машинное обучение (ML), извлечение-преобразование-загрузка (ETL) и Log Analytics.

Apache Log4J 2

Log4J — это популярная платформа ведения журнала для приложений Java, поддерживаемых Apache Foundation. Log4j позволяет разработчикам управлять выходными инструкциями журнала с произвольной степенью детализации на основе имени средства ведения журнала, уровня ведения журнала и шаблона сообщения. Приемник Apache Log4J 2 позволяет передавать данные журнала в базу данных, где можно анализировать и визуализировать журналы в режиме реального времени.

Apache Spark

Apache Spark — это единый аналитический механизм для крупномасштабной обработки данных. Соединитель Spark — это открытый код проект, который может выполняться в любом кластере Spark. Он реализует источник данных и приемник данных для перемещения данных в кластеры Spark или из него. С помощью соединителя Apache Spark можно создавать быстрые и масштабируемые приложения, предназначенные для сценариев на основе данных. Например, машинное обучение (ML), извлечение-преобразование-загрузка (ETL) и Log Analytics. С помощью соединителя база данных становится допустимым хранилищем данных для стандартных операций источника и приемника Spark, таких как чтение, запись и записьStream.

Apache Spark для Azure Synapse Analytics

Apache Spark — это платформа параллельной обработки, которая поддерживает обработку в памяти для повышения производительности приложений аналитики больших данных. Apache Spark в Azure Synapse Analytics является одной из реализаций Apache Spark в облаке. Вы можете получить доступ к базе данных из Synapse Studio с помощью Apache Spark для Azure Synapse Analytics.

Azure Cosmos DB

Подключение канала изменений Azure Cosmos DB — это конвейер приема данных, который прослушивает канал изменений Cosmos DB и передает данные в базу данных.

Azure Data Factory

Фабрика данных Azure (ADF) — это облачная служба интеграции данных, которая позволяет интегрировать разные хранилища данных и выполнять множество действий с данными.

Сетку событий Azure

Прием сетки событий — это конвейер, который прослушивает хранилище Azure и обновляет базу данных для извлечения сведений при возникновении событий подписки. Вы можете настроить непрерывную приемку из служба хранилища Azure (хранилище BLOB-объектов и ADLSv2) с подпиской Сетка событий Azure для созданных или переименованных больших двоичных объектов и потоковой передачи уведомлений через Центры событий Azure.

  • Функции: прием
  • Поддерживаемый тип приема: пакетная обработка, потоковая передача
  • Варианты использования: обработка событий
  • Документация. Подключение к данным сетки событий

Центры событий Azure

Центры событий Azure — это платформа потоковой передачи больших данных и служба приема событий. Вы можете настроить непрерывный прием из центров событий, управляемых клиентом.

Функции Azure

Функции Azure позволяют запускать бессерверный код в облаке по расписанию или в ответ на событие. С помощью входных и выходных привязок для Функции Azure можно интегрировать базу данных в рабочие процессы для приема данных и выполнения запросов к базе данных.

Центры Интернета вещей Azure

Центр Интернета вещей Azure — это управляемая служба, размещенная в облаке, которая действует как центральный узел сообщений для двунаправленной связи между вашим приложением Интернета вещей и устройствами, которыми оно управляет. Вы можете настроить непрерывный прием из управляемых клиентом Центр Интернета вещей, используя его центры событий, совместимые со встроенной конечной точкой сообщений устройства в облако.

Azure Stream Analytics

Azure Stream Analytics — это аналитика в режиме реального времени и сложный механизм обработки событий, предназначенный для обработки больших объемов данных быстрой потоковой передачи из нескольких источников одновременно.

  • Функции: прием
  • Поддерживаемый тип приема: пакетная обработка, потоковая передача
  • Варианты использования: обработка событий
  • Документация. Прием данных из Azure Stream Analytics

Cribl Stream

Поток Cribl — это обработчик обработки, который безопасно собирает, обрабатывает и передает данные событий компьютера из любого источника. Он позволяет анализировать и обрабатывать эти данные для любого назначения для анализа.

  • Функции: прием
  • Поддерживаемый тип приема: пакетная обработка, потоковая передача
  • Варианты использования: обработка данных компьютера, включая журналы, метрики, данные инструментирования
  • Документация. Прием данных из Cribl Stream в Azure Data Explorer

Fluent Bit

Fluent Bit — это агент с открытым исходным кодом, который собирает журналы, метрики и трассировки из различных источников. Он позволяет фильтровать, изменять и агрегировать данные событий перед отправкой в хранилище.

JDBC

Java Database Connectivity (JDBC) — это API Java, используемый для подключения к базам данных и выполнения запросов. JDBC можно использовать для подключения к Azure Data Explorer.

Logic Apps

Соединитель Microsoft Logic Apps позволяет автоматически выполнять запросы и команды в рамках запланированной или триггерной задачи.

  • Функции: прием, экспорт
  • Поддерживаемый тип приема: пакетная обработка
  • Варианты использования: оркестрация данных
  • Документация: Microsoft Logic Apps и Azure Data Explorer

Logstash

Подключаемый модуль Logstash позволяет обрабатывать события из Logstash в базу данных Azure Data Explorer для последующего анализа.

Matlab

MATLAB — это платформа программирования и числовых вычислений, используемая для анализа данных, разработки алгоритмов и создания моделей. Маркер авторизации можно получить в MATLAB для запроса данных в Azure Data Explorer.

NLog

NLog — это гибкая и бесплатная платформа ведения журнала для различных платформ .NET, включая .NET standard. NLog позволяет записывать данные в несколько целевых объектов, таких как база данных, файл или консоль. С помощью NLog можно изменить конфигурацию ведения журнала во всплывающем режиме. Приемник NLog — это целевой объект для NLog, который позволяет отправлять сообщения журнала в базу данных. Подключаемый модуль предоставляет эффективный способ приемника журналов в кластер.

ODBC

Открытое подключение к базе данных (ODBC) - широко распространенный интерфейс прикладного программирования (API) для доступа к базе данных. Azure Data Explorer совместим с подмножеством протокола связи SQL Server (MS-TDS). Эта совместимость позволяет использовать драйвер ODBC для SQL Server с Azure Data Explorer.

  • Функции: прием
  • Поддерживаемый тип приема: пакетная обработка, потоковая передача
  • Варианты использования: телеметрия, журналы, метрики
  • Документация. Подключение к Azure Data Explorer с помощью ODBC

Открытие телеметрии

Соединитель OpenTelemetry поддерживает прием данных из многих получателей в базу данных. Он работает в качестве моста для приема данных, созданных открытой телеметрией в базе данных, путем настройки формата экспортированных данных в соответствии с вашими потребностями.

Power Apps

Power Apps — это набор приложений, служб, соединителей и платформы данных, которая обеспечивает быструю среду разработки приложений для создания пользовательских приложений, которые подключаются к бизнес-данным. Соединитель Power Apps полезен, если у вас есть большая и растущая коллекция потоковых данных в Azure Data Explorer и хотите создать низкофункциональное приложение для использования этих данных.

Power Automate

Power Automate — это служба оркестрации, используемая для автоматизации бизнес-процессов. Соединитель Power Automate (ранее Microsoft Flow) позволяет управлять потоками и расписаниями, отправлять уведомления и оповещения в рамках запланированной или триггерной задачи.

  • Функции: прием, экспорт
  • Поддерживаемый тип приема: пакетная обработка
  • Варианты использования: оркестрация данных
  • Документация. Соединитель Microsoft Power Automate

Серилог

Serilog — это популярная платформа ведения журнала для приложений .NET. Serilog позволяет разработчикам управлять выходными инструкциями журнала с произвольной степенью детализации на основе имени средства ведения журнала, уровня средства ведения журнала и шаблона сообщения. Приемник Serilog, также известный как добавление, передает данные журнала в базу данных, где можно анализировать и визуализировать журналы в режиме реального времени.

Splunk

Splunk Enterprise — это программная платформа, которая позволяет одновременно получать данные из многих источников. Надстройка Azure Data Explorer отправляет данные из Splunk в таблицу в кластере.

Универсальный сервер пересылки Splunk

Telegraf

Telegraf — это упрощенный агент с открытым кодом и минимальным объемом памяти для сбора, обработки и записи данных телеметрии, включая журналы, метрики и данные Интернета вещей. Telegraf поддерживает сотни подключаемых модулей ввода и вывода. Это средство широко используется и хорошо поддерживается сообществом разработчиков ПО с открытым кодом. Подключаемый модуль вывода служит соединителем из Telegraf и поддерживает прием данных из многих типов подключаемых модулей ввода в базу данных.

Связанный контент