Добавление источника событий и управление ими в потоке событий
После создания потока событий его можно подключить к различным источникам данных и назначениям.
Примечание.
Расширенные возможности включены по умолчанию при создании потоков событий. Если у вас есть потоки событий, созданные с помощью стандартных возможностей, эти потоки событий будут продолжать работать. Вы по-прежнему можете изменять и использовать их как обычно. Рекомендуется создать новый поток событий для замены стандартных потоков событий, чтобы воспользоваться дополнительными возможностями и преимуществами расширенных потоков событий.
После создания потока событий его можно подключить к различным источникам данных и назначениям.
Eventstream не только позволяет передавать данные из источников Майкрософт, но и поддерживает прием из сторонних платформ, таких как Google Cloud и Amazon Kinesis с новыми соединителями обмена сообщениями. Эта расширенная возможность обеспечивает простую интеграцию внешних потоков данных в Fabric, обеспечивая большую гибкость и позволяя получать аналитические сведения в режиме реального времени из нескольких источников.
В этой статье вы узнаете о источниках событий, которые можно добавить в поток событий.
Необходимые компоненты
- Доступ к рабочей области в режиме лицензии емкости Fabric (или) режим пробной лицензии с разрешениями участника или более высокого уровня.
- Предварительные требования, относящиеся к каждому источнику, который описан в следующих статьях, относящихся к источнику.
Поддерживаемые источники
Потоки событий Fabric с расширенными возможностями поддерживают следующие источники. Каждая статья содержит подробные сведения и инструкции по добавлению определенных источников.
| Источники | Description |
|---|---|
| Центры событий Azure | Если у вас есть концентратор событий Azure, вы можете получать данные концентратора событий в Microsoft Fabric с помощью Eventstream. |
| Центр Интернета вещей Azure | Если у вас есть Центр Интернета вещей Azure, вы можете получать данные Интернета вещей в Microsoft Fabric с помощью eventstream. |
| База данных SQL Azure отслеживания измененных данных (CDC) | Соединитель источника CDC База данных SQL Azure позволяет записывать моментальный снимок текущих данных в базе данных SQL Azure. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в эти данные. |
| Postgre База данных SQL CDC | Соединитель источника записи измененных данных (CDC) Postgre База данных SQL позволяет записывать моментальный снимок текущих данных в базе данных PostgreSQL. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в эти данные. |
| My База данных SQL CDC | Соединитель источника отслеживания измененных данных Azure My База данных SQL позволяет записывать моментальный снимок текущих данных в базе данных База данных Azure для MySQL. Таблицы можно указать для отслеживания, а поток событий записывает любые будущие изменения на уровне строк в таблицы. |
| Azure Cosmos DB CDC | Соединитель источника отслеживания измененных данных Azure Cosmos DB для потоков событий Microsoft Fabric позволяет записать моментальный снимок текущих данных в базе данных Azure Cosmos DB. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в эти данные. |
| SQL Server на виртуальной машине (БАЗА данных) CDC | Соединитель источника SQL Server на базе данных ВИРТУАЛЬНОй машины (CDC) для потоков событий Fabric позволяет записывать моментальный снимок текущих данных в базе данных SQL Server на виртуальной машине. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в данные. |
| УПРАВЛЯЕМЫЙ ЭКЗЕМПЛЯР SQL AZURE CDC | Соединитель источника CDC Управляемый экземпляр SQL Azure для потоков событий Microsoft Fabric позволяет записывать моментальный снимок текущих данных в базе данных Управляемый экземпляр SQL. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в эти данные. |
| Google Cloud Pub/Sub | Google Pub/Sub — это служба обмена сообщениями, которая позволяет публиковать и подписываться на потоки событий. Вы можете добавить Google Pub/Sub в качестве источника в поток событий для отслеживания, преобразования и маршрутизации событий в режиме реального времени в различные места назначения в Fabric. |
| Потоки данных Amazon Kinesis | Amazon Kinesis Data Streams — это масштабируемая, высокопрочная прием данных и служба обработки, оптимизированная для потоковой передачи данных. Интеграция Amazon Kinesis Data Streams в качестве источника в потоке событий позволяет легко обрабатывать потоки данных в режиме реального времени перед маршрутизацией их в несколько назначений в Fabric. |
| Confluent Cloud Kafka | Confluent Cloud Kafka — это платформа потоковой передачи и обработки данных с помощью Apache Kafka. Интеграция Confluent Cloud Kafka в качестве источника в потоке событий позволяет легко обрабатывать потоки данных в режиме реального времени перед маршрутизацией их в несколько назначений в Fabric. |
| Amazon MSK Kafka | Amazon MSK Kafka — это полностью управляемая служба Kafka, которая упрощает настройку, масштабирование и управление. Интегрируя Amazon MSK Kafka в качестве источника в ваш поток событий, вы можете беспрепятственно переносить события в режиме реального времени из MSK Kafka и обрабатывать их перед направлением в несколько адресатов в Fabric. |
| Пример данных | Вы можете выбрать велосипеды, желтые такси или события фондового рынка в качестве образца источника данных, чтобы проверить прием данных при настройке потока событий. |
| Пользовательская конечная точка (то есть настраиваемое приложение в стандартной возможности) | Функция пользовательской конечной точки позволяет приложениям или клиентам Kafka подключаться к Eventstream с помощью строка подключения, что позволяет плавно получать потоковые данные в Eventstream. |
| Служебная шина Azure (предварительная версия) | Вы можете получать данные из очереди Служебная шина Azure или подписки раздела в Microsoft Fabric с помощью eventstream. |
| Apache Kafka (предварительная версия) | Apache Kafka — это распределенная платформа с открытым кодом для создания масштабируемых систем данных в режиме реального времени. Интегрируя Apache Kafka в качестве источника в потоке событий, вы можете легко перенести события в режиме реального времени из Apache Kafka и обработать их перед маршрутизацией их в несколько назначений в Fabric. |
| события Хранилище BLOB-объектов Azure (предварительная версия) | Хранилище BLOB-объектов Azure события активируются при создании, замене или удалении большого двоичного объекта. Соединитель позволяет связать события хранилища BLOB-объектов с событиями Fabric в центре реального времени. Эти события можно преобразовать в непрерывные потоки данных и преобразовать их перед маршрутизацией в различные назначения в Fabric. |
| События элемента рабочей области Fabric (предварительная версия) | События элемента рабочей области Fabric — это дискретные события Fabric, которые происходят при внесении изменений в рабочую область Fabric. Эти изменения включают создание, обновление или удаление элемента Fabric. С помощью потоков событий Fabric можно записывать эти события рабочей области Fabric, преобразовывать их и направлять их в различные назначения в Fabric для дальнейшего анализа. |
| события Fabric OneLake (предварительная версия) | События OneLake позволяют подписываться на изменения в файлах и папках в OneLake, а затем реагировать на эти изменения в режиме реального времени. С помощью потоков событий Fabric можно записывать эти события OneLake, преобразовывать их и направлять их в различные назначения в Fabric для дальнейшего анализа. Эта простая интеграция событий OneLake в потоках событий Fabric обеспечивает большую гибкость для мониторинга и анализа действий в OneLake. |
| событий заданий Fabric (предварительная версия) | События задания дают возможность подписаться на изменения, которые происходят, когда Fabric выполняет задание. Например, можно реагировать на изменения при обновлении семантической модели, выполнении запланированного конвейера или запуске записной книжки. Каждое из этих действий может создать соответствующее задание, которое, в свою очередь, создает набор соответствующих событий задания. С помощью потоков событий Fabric можно записывать эти события задания, преобразовывать их и направлять их в различные назначения в Fabric для дальнейшего анализа. Эта простая интеграция событий задания в потоках событий Fabric обеспечивает большую гибкость для мониторинга и анализа действий в задании. |
Примечание.
Максимальное количество источников и назначений для одного потока событий — 11.
Связанный контент
Необходимые компоненты
Перед началом работы необходимо выполнить следующие предварительные требования:
- Доступ к рабочей области в режиме лицензии емкости Fabric (или) режим пробной лицензии с разрешениями участника или более высокого уровня.
- Чтобы добавить Центры событий Azure или Центр Интернета вещей Azure в качестве источника событий, необходимо иметь соответствующее разрешение на доступ к его ключам политики. Они должны быть общедоступными и не защищены брандмауэром или защищены в виртуальной сети.
Поддерживаемые источники
Потоки событий Fabric поддерживают следующие источники. Используйте ссылки в таблице, чтобы перейти к статьям, которые предоставляют дополнительные сведения о добавлении определенных источников.
| Источники | Description |
|---|---|
| Центры событий Azure | Если у вас есть концентратор событий Azure, вы можете получать данные концентратора событий в Microsoft Fabric с помощью Eventstream. |
| Центр Интернета вещей Azure | Если у вас есть Центр Интернета вещей Azure, вы можете получать данные Интернета вещей в Microsoft Fabric с помощью eventstream. |
| Пример данных | Вы можете выбрать велосипеды, желтые такси или события фондового рынка в качестве образца источника данных, чтобы проверить прием данных при настройке потока событий. |
| Пользовательское приложение | Пользовательская функция приложения позволяет приложениям или клиентам Kafka подключаться к Eventstream с помощью строка подключения, что позволяет плавно получать потоковые данные в Eventstream. |
Примечание.
Максимальное количество источников и назначений для одного потока событий — 11.
Управление источником
Изменение и удаление. Вы можете выбрать источник событий для изменения или удаления с помощью области навигации или холста. При нажатии кнопки "Изменить" откроется область редактирования справа от основного редактора.
Повторное создание ключа для пользовательского приложения. Если вы хотите повторно создать новый ключ подключения для приложения, выберите один из источников пользовательских приложений на холсте и нажмите кнопку "Повторно создать ", чтобы получить новый ключ подключения.
