Репликация и синхронизация данных для мейнфреймов в Azure

В этом примере архитектура описывает план реализации для репликации и синхронизации данных во время модернизации в Azure. В нем рассматриваются технические аспекты, такие как хранилища данных, инструменты и службы.

Архитектура

Скачайте файл Visio для этой архитектуры.

Рабочий процесс

Мейнфреймы и системы среднего порядка обновляют локальные базы данных приложений через регулярные интервалы. Чтобы обеспечить согласованность, решение синхронизирует последние данные с базами данных Azure. Процесс синхронизации включает следующие действия.

1. Фабрика данных Azure динамические конвейеры оркеструет действия, которые варьируются от извлечения данных до загрузки данных. Вы можете запланировать действия конвейера, запустить их вручную или активировать их автоматически.

   Конвейеры группирует действия, выполняющие задачи. Для извлечения данных фабрика данных динамически создает один конвейер для каждой локальной таблицы. Затем можно использовать масштабную параллельную реализацию при репликации данных в Azure. Вы также можете настроить решение в соответствии с вашими требованиями:

   • Полная репликация: вы реплицируете всю базу данных и вносите необходимые изменения в типы данных и поля в целевой базе данных Azure.
   • Частичная, разностная или добавочная репликация. Для синхронизации обновленных строк с базами данных Azure используются столбцы подложки в исходных таблицах. Эти столбцы содержат либо непрерывно добавочный ключ, либо метку времени, которая указывает на последнее обновление таблицы.

   Фабрика данных также использует конвейеры для следующих задач преобразования:

   • Преобразование типов данных
   • Обработка данных
   • Форматирование данных
   • Производный столбец
   • Преобразование данных в плоскую структуру
   • Сортировка данных
   • Фильтрация данных

2. Локальные базы данных, такие как Db2 zOS, Db2 для i и Db2 LUW, хранят данные приложения.

3. Локальная среда выполнения интеграции (SHIR) предоставляет среду, которую фабрика данных использует для выполнения и отправки действий.

4. Azure Data Lake Storage 2-го поколения и Хранилище BLOB-объектов Azure предоставляют место для промежуточного хранения данных. Этот шаг иногда требуется для преобразования и слияния данных из нескольких источников.

5. Для подготовки данных фабрика данных использует Azure Databricks, пользовательские действия и потоки данных конвейера для быстрого и эффективного преобразования данных.

6. Фабрика данных загружает данные в следующие реляционные и нереляционные базы данных Azure:

   • Azure SQL
   • База данных Azure для PostgreSQL
   • Azure Cosmos DB
   • Azure Data Lake Storage
   • База данных Azure для MySQL

7. СЛУЖБЫ SQL Server Integration Services (SSIS): эта платформа может извлекать, преобразовывать и загружать данные.

8. Средства, отличные от Майкрософт: если решение требует репликации практически в режиме реального времени, вы можете использовать средства, отличные от Майкрософт.

Компоненты

В этом разделе описаны другие средства, которые можно использовать во время модернизации данных, синхронизации и интеграции.

Инструменты

• Служба Майкрософт для архитектуры распределенной реляционной базы данных (DRDA) является компонентом сервера интеграции узла (HIS). Служба Майкрософт для DRDA — это сервер приложений, используемый клиентами DRDA Application Requester (AR). Примеры клиентов DRDA AR включают IBM Db2 для z/OS и Db2 для i5/OS. Эти клиенты используют сервер приложений для преобразования инструкций SQL Db2 и запуска их в SQL Server.

• Помощник по миграции SQL Server (SSMA) для Db2 автоматизирует миграцию из Db2 в службы баз данных Майкрософт. Хотя он выполняется на виртуальной машине, это средство преобразует объекты базы данных Db2 в объекты базы данных SQL Server и создает эти объекты в SQL Server. SSMA для Db2 затем переносит данные из Db2 в следующие службы:

  • SQL Server 2012
  • SQL Server 2014
  • SQL Server 2016
  • SQL Server 2017 в ОС Windows и Linux
  • SQL Server 2019 в Windows и Linux
  • База данных SQL Azure

• Azure Synapse Analytics — это служба аналитики для хранилищ данных и систем обработки больших данных. Это средство использует технологии Spark и имеет глубокую интеграцию с Power BI, Машинное обучение Azure и другими службами Azure.

Интеграторы данных

• Фабрика данных Azure — это гибридная служба интеграции данных. Это полностью управляемое, бессерверное решение можно использовать для создания, планирования и оркестрации рабочих процессов извлечения, преобразования и загрузки (ETL) и извлечения, загрузки и преобразования рабочих процессов ELT .

• Azure Synapse Analytics — это корпоративная служба аналитики, которая ускоряет анализ между хранилищами данных и системами больших данных. Azure Synapse Analytics объединяет лучшие из следующих технологий и служб:

  • Технологии SQL, используемые в корпоративном хранилище данных.
  • Технологии Spark, которые используются для больших данных.
  • Azure Data Explorer, который используется для аналитики журналов и временных рядов.
  • Azure Pipelines, которые используются для интеграции данных и рабочих процессов ETL и ELT.
  • Глубокая интеграция с другими службами Azure, такими как Power BI, Azure Cosmos DB и Машинное обучение.

• Служба SSIS — это платформа для создания решений интеграции данных корпоративного уровня и преобразования. С помощью служб SSIS можно управлять, реплицировать, очищать и миновать данные.

• Azure Databricks — это платформа аналитики данных. Он основан на распределенной системе распределенной обработки Apache Spark с открытым кодом и оптимизирован для облачной платформы Azure. В рабочем процессе аналитики Azure Databricks считывает данные из нескольких источников и использует Spark для предоставления аналитических сведений.

Хранилище данных

• База данных SQL входит в семейство SQL Azure и создается для облака. Эта служба предлагает преимущества полностью управляемой и вечной платформы в качестве службы (PaaS). База данных SQL также предоставляет автоматизированные функции на основе искусственного интеллекта, которые оптимизируют производительность и устойчивость. Параметры бессерверных вычислений и хранилища гипермасштабирования автоматически масштабируйте ресурсы по требованию.

• Управляемый экземпляр SQL Azure входит в портфель служб SQL Azure. Эта интеллектуальная и масштабируемая облачная служба базы данных объединяет самые широкие возможности подсистемы SQL Server со всеми преимуществами полностью управляемого и постоянно управляемого paaS. С помощью Управляемый экземпляр SQL можно модернизировать существующие приложения в масштабе.

• SQL Server в Azure Виртуальные машины предоставляет способ переноса рабочих нагрузок SQL Server в облако с совместимостью кода с 100 % . В рамках семейства SQL Azure SQL Server в Azure Виртуальные машины обеспечивает объединенную производительность, безопасность и аналитику SQL Server с гибкостью и гибридным подключением к Azure. Используйте SQL Server в Azure Виртуальные машины для переноса существующих приложений или создания новых приложений. Вы также можете получить доступ к последним обновлениям и выпускам SQL Server, включая SQL Server 2019.

• База данных Azure для PostgreSQL — это полностью управляемая служба реляционных баз данных на основе СУБД PostgreSQL с открытым кодом (Community Edition). Используйте эту службу, чтобы сосредоточиться на инновациях приложений вместо управления базами данных. Вы также можете быстро и легко масштабировать рабочую нагрузку.

• Azure Cosmos DB — это глобально распределенная многомодельная база данных. Используйте Azure Cosmos DB, чтобы обеспечить эластичное и независимое масштабирование пропускной способности и хранилища в любом количестве географических регионов. Эта полностью управляемая служба базы данных NoSQL гарантирует однозначную задержку в миллисекундах на девяносто девятом процентиле в любом месте мира.

• Data Lake Storage — это репозиторий хранилища, который содержит большой объем данных в собственном, необработанном формате. Хранилища Data Lake оптимизированы для масштабирования до нескольких терабайт и даже петабайт данных. Данные обычно берутся из нескольких разнородных источников и могут быть структурированы, полуструктурированными или неструктурированными. Data Lake Storage 2-го поколения объединяет возможности Data Lake Storage 1-го поколения с хранилищем BLOB-объектов. Это решение озера данных следующего поколения обеспечивает семантику файловой системы, безопасность на уровне файлов и масштабирование. Он также предлагает многоуровневые хранилища, высокий уровень доступности и аварийное восстановление хранилища BLOB-объектов.

• База данных Azure для MySQL — это полностью управляемая служба реляционной базы данных, основанная на выпуске сообщества ядра СУБД MySQL с открытым исходным кодом.

• Хранилище BLOB-объектов обеспечивает оптимизированное облачное хранилище объектов, которое управляет большим объемом неструктурированных данных.

Подробности сценария

Доступность и целостность данных являются важными в мейнфрейме и модернизации среднего уровня. Стратегии первого данных помогают сохранить данные нетронутыми и доступными во время миграции в Azure. Чтобы предотвратить нарушения во время модернизации, иногда необходимо быстро реплицировать данные или хранить локальные данные в синхронизации с базами данных Azure.

В частности, это решение охватывает следующее:

• Извлечение: подключение к базе данных-источнику и извлечение из нее.
• Преобразование:
  • Промежуточное выполнение. Временное хранение данных в исходном формате и подготовка его к преобразованию.
  • Подготовка. Преобразование и управление данными с помощью правил сопоставления, которые соответствуют требованиям целевой базы данных.
• Загрузка: вставка данных в целевую базу данных.

Потенциальные варианты использования

Сценарии репликации и синхронизации данных, которые могут воспользоваться этим решением, включают:

• Архитектуры сегрегации ответственности команд (CQRS), использующие Azure для обслуживания всех каналов запроса.
• Среды, которые тестируют локальные приложения и повторно размещали или перестроили приложения параллельно.
• Локальные системы с тесно связанных приложений, требующих поэтапной исправления или модернизации.

Рекомендации

При использовании фабрики данных для извлечения данных выполните действия по настройке производительности действия копирования.

Рекомендации

Эти рекомендации реализуют основные принципы платформы Azure Well-Architected Framework, которая является набором руководящих принципов, которые можно использовать для улучшения качества рабочей нагрузки. Дополнительные сведения см. в статье Microsoft Azure Well-Architected Framework.

Имейте в виду эти моменты при рассмотрении этой архитектуры.

Надежность

Надежность гарантирует, что ваше приложение позволит вам выполнить ваши обязательства перед клиентами. Дополнительные сведения см. в разделе "Обзор основы надежности".

• Управление инфраструктурой, включая доступность, автоматизировано в базах данных Azure.

• Сведения о службе Майкрософт для защиты от отработки отказа см. в разделе "Пул и отработка отказа".

• Вы можете кластеризации локального шлюза данных и среды выполнения интеграции (IR), чтобы обеспечить более высокие гарантии доступности.

Безопасность

Безопасность обеспечивает гарантии от преднамеренного нападения и злоупотребления ценными данными и системами. Дополнительные сведения см. в разделе "Общие сведения о компоненте безопасности".

• Используйте группы безопасности сети, чтобы ограничить доступ только к функциям каждой службы.

• Используйте частные конечные точки для служб PaaS. Используйте брандмауэры служб, доступные и недоступные через Интернет, чтобы дополнить безопасность служб.

• Используйте управляемые удостоверения для потоков данных между компонентами.

• Сведения о типах клиентских подключений, поддерживаемых Службой Майкрософт для DRDA, см. в статье "Планирование и проектирование решений" с помощью Службы Майкрософт для DRDA . Клиентские подключения влияют на характер транзакций, пулов, отработки отказа, проверки подлинности и шифрования в сети.

Оптимизация затрат

Оптимизация затрат заключается в поиске способов уменьшения ненужных расходов и повышения эффективности работы. Дополнительные сведения см. в разделе "Обзор основы оптимизации затрат".

• Модели ценообразования различаются между службами компонентов. Просмотрите модели ценообразования доступных служб компонентов, чтобы убедиться, что они соответствуют вашему бюджету.

• Чтобы оценить затраты на реализацию этого решения, используйте Калькулятор цен Azure.

Эффективность работы

Оперативное превосходство охватывает процессы операций, которые развертывают приложение и продолжают работать в рабочей среде. Дополнительные сведения см. в разделе "Общие сведения о принципе эффективности работы".

• Управление инфраструктурой, включая масштабируемость, автоматизировано в базах данных Azure.

• Вы можете масштабировать локальную среду ir , связав логический экземпляр с несколькими локальными компьютерами в активном режиме.

Оптимизация производительности

Уровень производительности — это способность вашей рабочей нагрузки эффективно масштабироваться в соответствии с требованиями, предъявляемыми к ней пользователями. Дополнительные сведения см. в разделе "Общие сведения о эффективности производительности".

• Если реализация использует значительную пропускную способность для начальной репликации или текущей репликации измененных данных, рекомендуется использовать Azure ExpressRoute как высокомасштабную.

• Выберите правильную конфигурацию IR для вашего сценария.

Следующие шаги

• Обратитесь к Azure Инжиниринг данных — локальная модернизация для получения дополнительных сведений.
• Ознакомьтесь с руководством по миграции.

Связанные ресурсы

• Руководство по архитектуре данных Azure
• Комплексное решение платформы данных Azure