Потоки событий Microsoft Fabric — обзор
Функция потоков событий в интерфейсе аналитики в режиме реального времени Microsoft Fabric позволяет перенести события реального времени в Fabric, преобразовать их и перенаправить их в различные назначения без написания кода (без кода). Вы создаете поток событий, который является экземпляром элемента Eventstream в Fabric, добавьте источники данных событий в поток, при необходимости добавьте преобразования для преобразования данных события, а затем перенаправьте данные в поддерживаемые назначения. Кроме того, с конечными точками Apache Kafka, доступными в элементе Eventstream, можно отправлять или использовать события в режиме реального времени с помощью протокола Kafka.
Перенос событий в Fabric
Функция eventstreams предоставляет различные соединители источника для получения данных о событиях из различных источников. При включении расширенных возможностей во время создания потока событий доступны дополнительные источники.
| Источники | Description |
|---|---|
| Центры событий Azure | Если у вас есть концентратор событий Azure, вы можете получать данные концентратора событий в Microsoft Fabric с помощью Eventstream. |
| Центр Интернета вещей Azure | Если у вас есть Центр Интернета вещей Azure, вы можете получать данные Интернета вещей в Microsoft Fabric с помощью eventstream. |
| База данных SQL Azure отслеживания измененных данных (CDC) | Соединитель источника CDC База данных SQL Azure позволяет записывать моментальный снимок текущих данных в базе данных SQL Azure. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в эти данные. |
| Postgre База данных SQL CDC | Соединитель источника записи измененных данных (CDC) Postgre База данных SQL позволяет записывать моментальный снимок текущих данных в базе данных PostgreSQL. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в эти данные. |
| My База данных SQL CDC | Соединитель источника отслеживания измененных данных Azure My База данных SQL позволяет записывать моментальный снимок текущих данных в базе данных База данных Azure для MySQL. Таблицы можно указать для отслеживания, а поток событий записывает любые будущие изменения на уровне строк в таблицы. |
| Azure Cosmos DB CDC | Соединитель источника отслеживания измененных данных Azure Cosmos DB для потоков событий Microsoft Fabric позволяет записать моментальный снимок текущих данных в базе данных Azure Cosmos DB. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в эти данные. |
| SQL Server на виртуальной машине (БАЗА данных) CDC | Соединитель источника SQL Server на базе данных ВИРТУАЛЬНОй машины (CDC) для потоков событий Fabric позволяет записывать моментальный снимок текущих данных в базе данных SQL Server на виртуальной машине. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в данные. |
| УПРАВЛЯЕМЫЙ ЭКЗЕМПЛЯР SQL AZURE CDC | Соединитель источника CDC Управляемый экземпляр SQL Azure для потоков событий Microsoft Fabric позволяет записывать моментальный снимок текущих данных в базе данных Управляемый экземпляр SQL. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в эти данные. |
| Google Cloud Pub/Sub | Google Pub/Sub — это служба обмена сообщениями, которая позволяет публиковать и подписываться на потоки событий. Вы можете добавить Google Pub/Sub в качестве источника в поток событий для отслеживания, преобразования и маршрутизации событий в режиме реального времени в различные места назначения в Fabric. |
| Потоки данных Amazon Kinesis | Amazon Kinesis Data Streams — это масштабируемая, высокопрочная прием данных и служба обработки, оптимизированная для потоковой передачи данных. Интеграция Amazon Kinesis Data Streams в качестве источника в потоке событий позволяет легко обрабатывать потоки данных в режиме реального времени перед маршрутизацией их в несколько назначений в Fabric. |
| Confluent Cloud Kafka | Confluent Cloud Kafka — это платформа потоковой передачи и обработки данных с помощью Apache Kafka. Интеграция Confluent Cloud Kafka в качестве источника в потоке событий позволяет легко обрабатывать потоки данных в режиме реального времени перед маршрутизацией их в несколько назначений в Fabric. |
| Amazon MSK Kafka | Amazon MSK Kafka — это полностью управляемая служба Kafka, которая упрощает настройку, масштабирование и управление. Интегрируя Amazon MSK Kafka в качестве источника в стриминг событий, вы можете без труда получать события в реальном времени из MSK Kafka и обрабатывать их перед их маршрутизацией в несколько точек назначения в Fabric. |
| Пример данных | Вы можете выбрать велосипеды, желтые такси или события фондового рынка в качестве образца источника данных, чтобы проверить прием данных при настройке потока событий. |
| Пользовательская конечная точка (то есть настраиваемое приложение в стандартной возможности) | Функция пользовательской конечной точки позволяет приложениям или клиентам Kafka подключаться к Eventstream с помощью строка подключения, что позволяет плавно получать потоковые данные в Eventstream. |
| Служебная шина Azure (предварительная версия) | Вы можете получать данные из очереди Служебная шина Azure или подписки раздела в Microsoft Fabric с помощью eventstream. |
| Apache Kafka (предварительная версия) | Apache Kafka — это распределенная платформа с открытым кодом для создания масштабируемых систем данных в режиме реального времени. Интегрируя Apache Kafka в качестве источника в потоке событий, вы можете легко перенести события в режиме реального времени из Apache Kafka и обработать их перед маршрутизацией их в несколько назначений в Fabric. |
| события Хранилище BLOB-объектов Azure (предварительная версия) | Хранилище BLOB-объектов Azure события активируются при создании, замене или удалении большого двоичного объекта. Соединитель позволяет связать события хранилища BLOB-объектов с событиями Fabric в центре реального времени. Эти события можно преобразовать в непрерывные потоки данных и преобразовать их перед маршрутизацией в различные назначения в Fabric. |
| События элемента рабочей области Fabric (предварительная версия) | События элемента рабочей области Fabric — это дискретные события Fabric, которые происходят при внесении изменений в рабочую область Fabric. Эти изменения включают создание, обновление или удаление элемента Fabric. С помощью потоков событий Fabric можно записывать эти события рабочей области Fabric, преобразовывать их и направлять их в различные назначения в Fabric для дальнейшего анализа. |
| события Fabric OneLake (предварительная версия) | События OneLake позволяют подписываться на изменения в файлах и папках в OneLake, а затем реагировать на эти изменения в режиме реального времени. С помощью потоков событий Fabric можно записывать эти события OneLake, преобразовывать их и направлять их в различные назначения в Fabric для дальнейшего анализа. Эта простая интеграция событий OneLake в потоках событий Fabric обеспечивает большую гибкость для мониторинга и анализа действий в OneLake. |
| события выполнения задач |
События задания позволяют подписываться на изменения, происходящие при выполнении задания в Fabric. Например, можно реагировать на изменения при обновлении семантической модели, выполнении запланированного конвейера или запуске записной книжки. Каждое из этих действий может создать соответствующее задание, которое, в свою очередь, создает набор соответствующих событий задания. С помощью потоков событий Fabric можно записывать эти события задания, преобразовывать их и направлять их в различные назначения в Fabric для дальнейшего анализа. Эта простая интеграция событий задания в потоках событий Fabric обеспечивает большую гибкость для мониторинга и анализа действий в задании. |
Обработка событий с помощью интерфейса без кода
Интерфейс перетаскивания обеспечивает интуитивно понятный и простой способ создания обработки, преобразования и маршрутизации событий без написания кода. Сквозная схема потока данных в потоке событий позволяет получить полное представление о потоке данных и организации. Редактор обработчика событий — это интерфейс без кода, который позволяет перетаскивать и перетаскивать для разработки логики обработки данных событий.
| Преобразование | Description |
|---|---|
| Фильтр | Используйте преобразование фильтра для фильтрации событий на основе значения поля во входных данных. В зависимости от типа данных (число или текст), преобразование сохраняет значения, соответствующие выбранному условию, например is null или is not null. |
| Управление полями | Преобразование "Управление полями" позволяет добавлять, удалять, изменять тип данных или переименовать поля, поступающие из входных данных или другого преобразования. |
| Агрегированное | Используйте преобразование "Агрегат" для вычисления агрегирования (суммы, минимального, максимального или среднего) при каждом возникновении нового события в течение определенного периода времени. Эта операция также позволяет переименовать эти вычисляемые столбцы и отфильтровать или срезы агрегирования на основе других измерений в данных. В одном или нескольких агрегатах можно выполнить одно или несколько агрегатов. |
| Группировать по | Используйте группу путем преобразования для вычисления агрегатов во всех событиях в течение определенного периода времени. Вы можете выполнять группирование по значениям в одном или нескольких полях. Это похоже на преобразование "Агрегат" позволяет переименовать столбцы, но предоставляет дополнительные возможности агрегирования и включает более сложные параметры для временных окон. Например, агрегат можно добавить несколько агрегатов для каждого преобразования. |
| Объединение | Используйте преобразование Union для подключения двух или нескольких узлов и добавления событий с общими полями (с одинаковым именем и типом данных) в одну таблицу. Поля, которые не соответствуют, удаляются и не включаются в выходные данные. |
| Разверните | Используйте преобразование "Развернуть массив" для создания новой строки для каждого значения в массиве. |
| Присоединиться | Используйте преобразование Join для объединения данных из двух потоков на основе соответствующего условия между ними. |
Если вы включили расширенные возможности при создании потока событий, операции преобразования поддерживаются для всех назначений (с производным потоком, выполняющим роль промежуточного моста для некоторых назначений, таких как пользовательская конечная точка, Активатор Fabric). Если вы этого не сделали, операции преобразования доступны только для назначений Lakehouse и Eventhouse (обработка событий перед приемом).
Маршрутизация событий в места назначения
Функция потоков событий Fabric поддерживает отправку данных в следующие поддерживаемые назначения.
| Назначение | Description |
|---|---|
| Пользовательская конечная точка (т. е. настраиваемое приложение в стандартной возможности) | С помощью этого назначения можно легко направлять события в режиме реального времени в пользовательскую конечную точку. Вы можете подключить собственные приложения к потоку событий и использовать данные событий в режиме реального времени. Это назначение полезно, если требуется исходящие данные в режиме реального времени во внешнюю систему за пределами Microsoft Fabric. |
| Eventhouse | Это назначение позволяет получать данные событий в режиме реального времени в хранилище событий, где можно использовать мощные язык запросов Kusto (KQL) для запроса и анализа данных. Используя данные в хранилище событий, вы можете получить более подробные сведения о данных о событиях и создавать богатые отчеты и панели мониторинга. Перед приемом можно выбрать два режима приема: прямаяприем и обработка событий. |
| Lakehouse | Это назначение дает возможность преобразовывать события в режиме реального времени перед приемом их в озеро. События в режиме реального времени преобразуются в формат Delta Lake, а затем хранятся в назначенных таблицах lakehouse. Это назначение поддерживает сценарии хранения данных. |
| Производный поток | Производный поток — это специализированный тип назначения, который можно создать после добавления операций потока, таких как фильтрация или управление полями, в поток событий. Производный поток представляет преобразованный поток по умолчанию после обработки потока. Вы можете перенаправить производный поток в несколько назначений в Fabric и просмотреть производный поток в концентраторе реального времени. |
| Активация Fabric (предварительная версия) | Это назначение позволяет напрямую подключать данные событий в режиме реального времени к активатору Fabric. Активатор — это тип интеллектуального агента, который содержит всю информацию, необходимую для подключения к данным, мониторинга условий и действий. Когда данные достигают определенных пороговых значений или соответствуют другим шаблонам, активатор автоматически принимает соответствующие действия, такие как оповещение пользователей или запуск рабочих процессов Power Automate. |
Вы можете подключить несколько назначений в потоке событий, чтобы одновременно получать данные из потоков событий, не вмешиваясь друг в друга.
Примечание.
Рекомендуется использовать функцию потоков событий Microsoft Fabric с по крайней мере 4 единицами емкости (SKU: F4)
Потоки событий Apache Kafka в Fabric
Функция потоков событий Fabric предлагает конечную точку Apache Kafka в элементе Eventstream, позволяя пользователям подключаться и использовать потоковые события через протокол Kafka. Если у вас уже есть приложение, использующее протокол Apache Kafka для отправки или использования потоковых событий с определенными разделами Kafka, вы можете легко адаптировать то же приложение для отправки или использования событий потоковой передачи в потоке событий, просто обновив параметры подключения, чтобы указать конечную точку Kafka, указанную в потоке событий.
Функция потоков событий Fabric поддерживается Центры событий Azure, полностью управляемой облачной службой. При создании потока событий пространство имен концентратора событий подготавливается автоматически, а концентратор событий выделяется потоку по умолчанию без каких-либо конфигураций подготовки. Дополнительные сведения о функциях, совместимых с Kafka в службе Центры событий Azure, см. в Центры событий Azure для Apache Kafka.
Дополнительные сведения о том, как получить сведения о конечной точке Kafka для отправки событий в поток событий, см. в статье "Добавление пользовательского источника конечной точки в поток событий" и использования событий из потока событий см. в статье "Добавление настраиваемого назначения конечной точки в поток событий".
Расширенные возможности
Существует больше возможностей, источников и назначений при включении параметра расширенных возможностей при создании потока событий. Используйте вкладки расширенных возможностей и стандартных возможностей, чтобы узнать о дополнительных источниках и назначениях, поддерживаемых расширенными возможностями.
Ниже приведены некоторые другие важные функции расширенных возможностей.
- Изменение режима и динамического представления. Изучите два разных режима визуализации и проектирования потоковой обработки.
- Потоки по умолчанию и производные. Создайте непрерывный поток потоков с форматом, который вы разрабатываете, с обработчиком событий, который можно использовать позже в концентраторе реального времени.
- Маршрутизация потоков данных на основе содержимого. Преобразование и маршрутизация потоков данных в любом месте в Fabric на основе содержимого потока данных, разработанного с помощью обработчика событий.