Поделиться через

Добавление postgre База данных SQL источника CDC в поток событий

  • Статья

В этой статье показано, как добавить источник Postgre База данных SQL Изменение записи данных (CDC) в поток событий.

Соединитель источника отслеживания измененных данных (CDC) Postgre База данных SQL для потоков событий Microsoft Fabric позволяет записывать моментальный снимок текущих данных в базе данных PostgreSQL. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в эти данные. После записи изменений в потоке событий вы можете обрабатывать эти данные CDC в режиме реального времени и отправлять их в разные места назначения в Fabric для дальнейшей обработки или анализа.

Примечание.

Этот источник не поддерживается в следующих регионах емкости рабочей области: западная часть США 3, Западная Швейцария.

Необходимые компоненты

  • Доступ к рабочей области в режиме лицензии емкости Fabric (или) режим пробной лицензии с разрешениями участника или более высокого уровня.

  • Зарегистрированный доступ пользователей в базе данных PostgreSQL.

  • База данных PostgreSQL должна быть общедоступной, а не за брандмауэром или защищенной в виртуальной сети.

  • CDC включен в базе данных и таблицах PostgreSQL.

    Если у вас есть База данных Azure для PostgreSQL, выполните действия, описанные в следующем разделе, чтобы включить CDC. Подробные сведения см. в разделе "Логическая репликация и логическое декодирование" — База данных Azure для PostgreSQL — гибкий сервер.

    Дополнительные сведения о других базах данных PostgreSQL см. в документации по Debezium connector for PostgreSQL :: Debezium.

  • Если у вас нет потока событий, создайте поток событий.

Включение CDC в База данных Azure для PostgreSQL

Чтобы включить CDC в База данных Azure для PostgreSQL гибкий сервер, выполните следующие действия.

  1. На странице База данных Azure для PostgreSQL гибкого сервера в портал Azure выберите параметры сервера в меню навигации.

  2. На странице параметров сервера:

    • Задайте для wal_level логический параметр.
    • Обновите max_worker_processes до не менее 16.

    Снимок экрана: включение CDC для гибкого развертывания сервера.

  3. Сохраните изменения и перезапустите сервер.

  4. Убедитесь, что экземпляр гибкого сервера База данных Azure для PostgreSQL разрешает общедоступный сетевой трафик.

  5. Предоставьте администраторам разрешения на репликацию, выполнив следующую инструкцию SQL. Если вы хотите использовать другую учетную запись пользователя для подключения базы данных PostgreSQL для получения CDC, убедитесь, что пользователь является владельцем таблицы.

    ALTER ROLE <admin_user_or_table_owner_user> WITH REPLICATION;

Запуск мастера выбора источника данных

Если вы еще не добавили источник в поток событий, выберите "Использовать внешнюю плитку источника ".

Снимок экрана: выбор плитки

Если вы добавляете источник в уже опубликованный поток событий, перейдите в режим редактирования, выберите "Добавить источник" на ленте и выберите "Внешние источники".

Снимок экрана: выбор источника в меню  

На странице "Выбор источника данных" найдите и выберите "Подключиться" на плитке Azure DB для PostgreSQL (CDC).

Снимок экрана: выбор базы данных Azure для PostgreSQL (CDC) в качестве исходного типа в мастере получения событий.

Настройка и подключение к База данных Azure для PostgreSQL CDC

  1. На странице "Подключение" выберите "Создать подключение".

    Снимок экрана: страница

  2. В разделе "Параметры подключения" введите следующие сведения.

    • Сервер: адрес сервера базы данных PostgreSQL, например my-pgsql-server.postgres.database.azure.com.

    • База данных: имя базы данных, например my_database.

      Снимок экрана: раздел параметров подключения для соединителя базы данных Azure PostgreSQL.

  3. Прокрутите вниз и в разделе учетных данных подключения выполните следующие действия.

    1. В поле "Имя подключения" введите имя подключения.

    2. Для типа проверки подлинности выберите "Базовый".

      Примечание.

      В настоящее время потоки событий Fabric поддерживают только обычную проверку подлинности.

    3. Введите имя пользователя и пароль для базы данных.

    4. Нажмите Подключиться.

      Снимок экрана: раздел учетных данных подключения для соединителя базы данных Azure PostgreSQL.

  4. Теперь на странице "Подключение" выполните следующие действия:

    1. Для таблицы введите имя таблицы.

    2. Для порта введите номер порта или оставьте значение по умолчанию: 5432.

    3. Выберите Далее в нижней части страницы.

      Снимок экрана: страница подключения, заполненная для соединителя базы данных Azure PostgreSQL.

  5. На странице "Просмотр и подключение" просмотрите сводку и нажмите кнопку "Добавить".

    Снимок экрана: страница

Примечание.

Максимальное количество источников и назначений для одного потока событий — 11.

Просмотр обновленного потока событий

  1. Вы можете увидеть источник Postgre База данных SQL CDC, добавленный в поток событий в режиме редактирования.

    Снимок экрана: источник CDC для потоковой передачи PostgreSQL DB в режиме редактирования.

  2. Чтобы реализовать новый добавленный источник CDC базы данных PostgreSQL, выберите "Опубликовать". После выполнения этих действий источник CDC базы данных PostgreSQL доступен для визуализации в режиме реального времени.

    Снимок экрана: источник CDC для потоковой передачи PostgreSQL в режиме реального времени.

Связанный контент

Другие соединители: