Добавление источника Confluent Kafka в поток событий

В этой статье показано, как добавить источник Confluent Kafka в поток событий.

Confluent Cloud Kafka — это платформа потоковой передачи и обработки данных с помощью Apache Kafka. Интеграция Confluent Cloud Kafka в качестве источника в потоке событий позволяет легко обрабатывать потоки данных в режиме реального времени перед маршрутизацией их в несколько назначений в Fabric.

Необходимые компоненты

• Доступ к рабочей области в режиме лицензии емкости Fabric (или) режим пробной лицензии с разрешениями участника или более высокого уровня.
• Кластер Confluent Cloud Kafka и ключ API.
• Кластер Confluent Cloud Kafka должен быть общедоступным, а не за брандмауэром или защищенным в виртуальной сети.
• Если у вас нет потока событий, создайте поток событий.

Запуск мастера выбора источника данных

Если вы еще не добавили источник в поток событий, выберите "Использовать внешнюю плитку источника ".

Если вы добавляете источник в уже опубликованный поток событий, перейдите в режим редактирования, выберите "Добавить источник" на ленте и выберите "Внешние источники".

Настройка и подключение к Confluent Kafka

1. На странице "Выбор источника данных" выберите Confluent.

   

2. Чтобы создать подключение к источнику Confluent Cloud Kafka, нажмите кнопку "Создать подключение".

   

3. В разделе параметров подключения введите Confluent Bootstrap Server. Перейдите на домашнюю страницу Confluent Cloud, выберите "Параметры кластера" и скопируйте адрес на сервер начальной загрузки.

4. В разделе учетных данных подключения, если у вас есть существующее подключение к кластеру Confluent, выберите его в раскрывающемся списке для подключения. В противном случае выполните следующие действия.

   1. В поле "Имя подключения" введите имя подключения.
   2. Для типа проверки подлинности убедитесь, что выбран облачный ключ Confluent.
   3. Для ключа API и секрета ключа API:

      1. Перейдите в облако Confluent Cloud.

      2. Выберите ключи API в боковом меню.

      3. Нажмите кнопку "Добавить ключ", чтобы создать новый ключ API.

      4. Скопируйте ключ и секрет API.

      5. Вставьте эти значения в поля "Ключ API" и "Секрет ключа API".

      6. Выберите Подключиться.

         

5. Прокрутите страницу, чтобы просмотреть раздел "Настройка источника данных Confluent". Введите сведения, чтобы завершить настройку источника данных Confluent.

   1. В поле "Раздел" введите имя раздела из confluent Cloud. Вы можете создать или управлять темой в Confluent Cloud Console.
   2. Для группы потребителей введите группу потребителей в облаке Confluent. Она предоставляет выделенную группу потребителей для получения событий из кластера Confluent Cloud.
   3. Для параметра автоматического смещения сброса выберите одно из следующих значений:

      • Самый ранний — самые ранние данные, доступные из кластера Confluent

      • Последние — последние доступные данные

      • Нет — не устанавливайте смещение автоматически.

        

6. Выберите Далее. На экране "Рецензирование" и "Создать" просмотрите сводку и нажмите кнопку "Добавить".

Вы видите, что источник Confluent Cloud Kafka добавляется в поток событий на холсте в режиме редактирования. Чтобы реализовать этот недавно добавленный источник Confluent Cloud Kafka, выберите " Опубликовать " на ленте.

После выполнения этих действий источник Confluent Cloud Kafka доступен для визуализации в режиме реального времени.

Ограничения

• Confluent Kafka с форматами JSON и Avro, используя реестр схем, в настоящее время не поддерживается.
• Декодирование данных из Confluent Kafka с помощью реестра схем Confluent в настоящее время не поддерживается.

Связанный контент

Другие соединители:

• Потоки данных Amazon Kinesis
• Azure Cosmos DB
• Центры событий Azure
• Центр Интернета вещей Azure
• База данных SQL Azure отслеживания измененных данных (CDC)
• Пользовательская конечная точка
• Google Cloud Pub/Sub
• My База данных SQL CDC
• Postgre База данных SQL CDC
• Пример данных
• события Хранилище BLOB-объектов Azure
• Событие рабочей области Fabric