Rocket® Data Replicate and Sync (RDRS), ehemals tcVISION, ist eine von Rocket Software entwickelte Datenreplikationslösung. RDRS bietet eine IBM-Mainframe-Integrationslösung für Mainframe-Datenreplikation, Datensynchronisation, Datenmigration und Änderungsdatenerfassung (CDC) für verschiedene Azure-Datenplattformdienste.
Aufbau
Laden Sie eine Visio-Datei dieser Architektur herunter.
Workflow
Die RDRS-Datenreplikationslösung unterstützt CDC von vielen Mainframe-basierten Datenbanken, einschließlich IBM Db2, IBM Information Management System (IMS) DB, Adabas für Software AG, CA Datacom und Computer Associates Integrated Data Management System (CA IDMS). RDRS bietet protokollbasierte CDC-Agenten zur Erfassung der Änderungsdaten auf Datensatzebene. Diese protokollbasierte CDC erfordert einen vernachlässigbaren Aufwand für Produktionsquellendatenbanken.
RDRS unterstützt CDC aus VSAM-Dateien (Virtual Storage Access Method).
Eine Aufgabe beginnt auf dem Mainframe. Gestartete Aufgaben oder STCs werden auf dem Großrechner als Teil der RDRS-Softwareinstallation erstellt. Zwei wesentliche STC:
- Capture Agent, der geänderte Daten von der Quelle erfasst.
- Apply-Agent, der DBMS-spezifische APIs verwendet, um geänderte Daten effizient auf das Ziel zu schreiben.
Hinweis
Für Db2 z/OS bietet RDRS auch eine agentenlose CDC-Lösung in Form eines benutzerdefinierten Db2-Typs (UDT), der keine STCs benötigt.
Der Open Platform Manager (OPM) fungiert als Replikationsserver. Dieser Server enthält Dienstprogramme für die automatische Datenzuordnung, um Metadaten für Quellen und Ziele zu generieren. Sie enthält auch den Regelsatz zur Extraktion von Daten aus der Quelle. Der Server transformiert und verarbeitet die Daten für die Zielsysteme und schreibt die Daten in die Zielsysteme. Sie können diese Komponente auf Linux-, Unix- und Windows-Betriebssystemen installieren.
Das RDRS-Dashboard dient der Verwaltung, Überprüfung, Bedienung, Kontrolle und Überwachung der Datenaustauschprozesse. Die RDRS-Befehlszeilen-Dienstprogramme automatisieren Datenaustauschprozesse und verwalten unbeaufsichtigte Vorgänge des Datensynchronisationsprozesses.
Der RDRS-Agent verwendet DBMS-spezifische APIs. Diese APIs implementieren effizient Echtzeit-Datenänderungen in Kombination mit CDC-Technologie an der Quelle zu den Azure-Datendiensten, d.h. der Datenbank und den Dateien.
RDRS unterstützt das direkte Streaming der geänderten Daten in Azure Event Hubs oder Kafka. Dann verarbeitet Azure Logic Apps, eine Funktion oder eine benutzerdefinierte Lösung in der virtuellen Maschine (VM) diese Ereignisse.
Zu den Azure-Datenplattformzielen, die von RDRS unterstützt werden, gehören Azure SQL Database, Azure Database for PostgreSQL, Azure Database for MySQL, Azure Cosmos DB, Azure Data Lake Storage und andere.
Daten, die auf der Azure-Datenplattform landen, werden von Azure-Diensten oder anderen Plattformen, die sie einsehen dürfen, genutzt. Beispiele hierfür sind Power BI, Azure Synapse Analytics oder benutzerdefinierte Anwendungen.
RDRS kann Erfassungsänderungen von einer Azure-Datenbankplattform (z. B. SQL Database, Azure Database for MySQL, Azure Database for PostgreSQL oder Data Lake Storage) rücksynchronisieren und in die Mainframe-Datenebene zurückschreiben.
Die Sicherungs- und Entladungsdateien der Mainframe-Datenbank werden mithilfe von RDRS für die Bulk-Load-Verarbeitung auf eine Azure-VM kopiert.
Die RDRS-Massenladung führt eine erste Zieldatenbankladung unter Verwendung von Mainframe-Quelldaten durch. Die Quelldaten können direkt aus dem Mainframe-Datenspeicher oder aus einer Mainframe-Backup- oder Unload-Datei gelesen werden. Die Bulk-Load-Funktion bietet eine automatische Übersetzung von Mainframe-Datentypen, wie z. B. EBCDIC-Felder (Extended Binary Coded Decimal Interchange Code). Verwenden Sie die Sicherungs- oder Entladedaten, um die beste Leistung zu erzielen, anstatt die Mainframe-Datenbank direkt zu lesen. Sie sollten die Datenbank nicht direkt lesen, da das Verschieben von Entlade- oder Sicherungsdaten in die erforderliche RDRS Azure-VM und die Verwendung nativer Datenbanklader die Netzwerkein- und -ausgabe (E/A) minimiert und die Ladezeit verkürzt.
Komponenten
Diese Lösung verwendet die folgenden Komponenten.
Netzwerk- und Identitätskomponenten
- Azure ExpressRoute: Mit ExpressRoute können Sie Ihre lokalen Netzwerke über eine private Verbindung, die von einem Konnektivitätsanbieter verwaltet wird, in die Microsoft Cloud erweitern. Sie können ExpressRoute verwenden, um Verbindungen zu Clouddiensten wie Microsoft Azure und Microsoft 365 herzustellen.
- Azure VPN Gateway: Ein VPN-Gateway ist ein spezieller Typ eines virtuellen Netzwerk-Gateways, das verschlüsselten Datenverkehr zwischen einem virtuellen Azure-Netzwerk und einem Standort vor Ort über das öffentliche Internet sendet.
- Microsoft Entra ID: Microsoft Entra ID ist ein Identitäts- und Zugriffsverwaltungsdienst, den Sie mit einem lokalen Verzeichnis synchronisieren können.
Anwendungskomponenten
- Logic Apps: Logic Apps hilft bei der Erstellung und Ausführung automatisierter, wiederkehrender Aufgaben und Prozesse nach einem Zeitplan. Sie können Dienste innerhalb und außerhalb von Azure aufrufen, z. B. HTTP- oder HTTPS-Endpunkte, Nachrichten an Azure-Dienste wie Azure Storage und Azure Service Bus senden oder Dateien auf eine Dateifreigabe hochladen.
- Azure Functions: Mit Azure Functions können Sie kleine Codestücke, sogenannte Funktionen, ausführen, ohne sich um die Anwendungsinfrastruktur kümmern zu müssen. Wenn Sie Funktionen verwenden, stellt die Cloud-Infrastruktur die aktuellen Server bereit, die Sie benötigen, um Ihre Anwendung in großem Umfang laufen zu lassen.
- Azure Virtual Machines: Azure-VMs sind skalierbare Computing-Ressourcen, die nach Bedarf genutzt werden können. Eine Azure-VM bietet die Flexibilität der Virtualisierung und eliminiert die Wartungsanforderungen der physischen Hardware. Azure-VMs laufen sowohl auf Windows- als auch auf Linux-Systemen.
Speicherkomponenten
- Storage: Storage bietet nicht verwaltete Speicherlösungen wie Azure Blob Storage, Azure Table Storage, Azure Queue Storage und Azure Files. Azure Files ist besonders nützlich für überarbeitete Mainframe-Lösungen und bietet eine effektive Ergänzung mit verwaltetem SQL-Speicher.
- Azure SQL: Azure SQL ist eine vollständig verwaltete Platform-as-a-Service (PaaS) für SQL Server von Azure. Relationale Daten können mit anderen Azure-Komponenten, wie Azure SQL Managed Instance, Azure SQL VMs, Azure Database for PostgreSQL, Azure Database for MariaDB und Azure Database for MySQL, migriert und effizient genutzt werden.
- Azure Cosmos DB: Azure Cosmos DB ist ein No-SQL-Angebot, mit dem Sie nicht-tabellarische Daten aus dem Mainframe migrieren können.
Überwachen von Komponenten
- Azure Monitor: Azure Monitor ist eine umfassende Lösung für das Sammeln, Analysieren und Behandeln von Telemetriedaten aus Cloud- und lokalen Umgebungen.
- Anwendungseinblicke: Application Insights analysiert und präsentiert die Anwendungstelemetrie.
- Azure Monitor Logs: Azure Monitor Logs ist eine Funktion von Monitor, die Protokoll- und Leistungsdaten von überwachten Ressourcen sammelt und organisiert. Sie können Daten aus verschiedenen Quellen, wie Plattformprotokolle von Azure-Diensten, Protokoll- und Leistungsdaten von VM-Agenten sowie Nutzungs- und Leistungsdaten von Anwendungen, in einem einzigen Arbeitsbereich konsolidieren, um sie mithilfe einer hochentwickelten Abfragesprache, die Millionen von Datensätzen schnell analysieren kann, gemeinsam zu analysieren.
- Log Analytics: Log Analytics ist ein Tool im Azure-Portal. Sie können Protokollabfragen verwenden, um Erkenntnisse aus den in Azure Monitor Logs gesammelten Daten zu gewinnen. Log Analytics verwendet eine leistungsstarke Abfragesprache, mit der Sie Daten aus mehreren Tabellen zusammenführen, große Datensätze aggregieren und komplexe Operationen mit minimalem Code durchführen können.
Überlegungen
Diese Überlegungen beruhen auf den Säulen des Azure Well-Architected Frameworks, d. h. einer Reihe von Grundsätzen, mit denen die Qualität von Workloads verbessert werden kann. Weitere Informationen finden Sie unter Microsoft Azure Well-Architected Framework.
Kostenoptimierung
Bei der Kostenoptimierung geht es um die Suche nach Möglichkeiten, unnötige Ausgaben zu reduzieren und die Betriebseffizienz zu verbessern. Weitere Informationen finden Sie unter Übersicht über die Säule „Kostenoptimierung“. Verwenden Sie den Azure-Preisrechner, um die Kosten für die Implementierung dieser Lösung abschätzen zu können.
Zuverlässigkeit
Zuverlässigkeit stellt sicher, dass Ihre Anwendung Ihre Verpflichtungen gegenüber den Kunden erfüllen kann. Weitere Informationen finden Sie unter Erstellen einer Checkliste zur Überprüfung der Zuverlässigkeit.
- RDRS OPM auf Azure-VMs einrichten, die in separaten Verfügbarkeitszonen bereitgestellt werden, um hohe Verfügbarkeit zu gewährleisten. Bei Ausfällen wird ein sekundärer RDRS-OPM aktiviert, der dem RDRS Mainframe Manager seine IP-Adresse mitteilt. Der Großrechner kommuniziert dann mit dem neuen RDRS-OPM, der die Verarbeitung an seinem nächsten logischen Neustartpunkt fortsetzt, indem er eine Kombination aus LUW (Logical Unit of Work) und Neustartdateien verwendet.
- Entwerfen Sie Azure-Datenbankdienste so, dass sie Zonenredundanz unterstützen, damit sie bei einem Ausfall oder einem geplanten Wartungsfenster auf einen sekundären Knoten umschalten können.
- Verwenden Sie Azure Monitor Logs und Application Insights, um den Zustand einer Azure-Ressource zu überwachen. Sie können Warnungen für die proaktive Verwaltung festlegen.
Skalierbarkeit
- Einrichten der RDRS-Skalierung für die CDC-Verarbeitung durch Ausführen mehrerer paralleler Replikationsströme. Analysieren Sie zunächst die in logischen Transaktionen enthaltenen Dateien. Diese Dateien müssen nacheinander verarbeitet werden. Der RDRS-CDC-Prozess gewährleistet die Integrität jeder logischen Transaktion. Beispielsweise können Tabellen, die nicht an gemeinsamen Transaktionen teilnehmen, in parallele Aufgaben unterteilt werden, indem mehrere Verarbeitungsskripts erstellt werden.
- RDRS kann die parallele Massenverarbeitung gleichzeitig auf einer einzelnen Azure-VM oder auf mehreren Azure-VMs ausführen, was eine horizontale Skalierbarkeit ermöglicht. Führen Sie schnelle Massenladevorgänge für große Tabellen durch, indem Sie den Prozess in mehrere Aufgaben aufteilen, entweder durch Verwendung beliebiger Intervalle oder durch Zeilenfilterung. Die Zeilenfilterung kann einen Schlüssel, einen Partitionsschlüssel, ein Datum und andere Filter verwenden.
- Die Serverless Compute Tier der SQL-Datenbank bietet eine automatische Skalierungsoption auf Basis der Arbeitslast. Andere Azure-Datenbanken können mithilfe von Automatisierung hoch- und herunterskaliert werden, um die Arbeitslastanforderungen zu erfüllen.
- Weitere Informationen finden Sie unter Empfohlene Methoden für die automatische Skalierung in Azure.
Sicherheit
Sicherheit bietet Schutz vor vorsätzlichen Angriffen und dem Missbrauch Ihrer wertvollen Daten und Systeme. Weitere Informationen finden Sie unter Erstellen einer Checkliste zur Überprüfung der Sicherheit.
- Steuern Sie die Authentifizierung und den Zugriff auf RDRS mit Microsoft Entra ID.
- Verschlüsseln Sie Datenübertragungen zwischen RDRS-Produkten (Mainframe zu Azure) mit Hilfe von Transport Layer Security (TLS).
- Verwenden Sie ExpressRoute oder ein Site-to-Site-VPN für eine private und effiziente Verbindung zu Azure von einer lokalen Umgebung aus.
- Authentifizieren Sie Azure-Ressourcen mithilfe von Microsoft Entra ID und verwalten Sie Berechtigungen mit rollenbasierter Zugriffskontrolle (RBAC).
- Nutzen Sie die Datenbankdienste in Azure, um verschiedene Sicherheitsoptionen wie Datenverschlüsselung im Ruhezustand (TDE), Datenverschlüsselung bei der Übertragung (TLS) und Datenverschlüsselung während der Verarbeitung zu unterstützen, damit Ihre Daten immer verschlüsselt sind.
- Richtlinien für den Entwurf sicherer Lösungen finden Sie in der Azure-Sicherheitsdokumentation.
- Um Ihre Sicherheitsgrundlagen zu ermitteln, siehe Sicherheitsgrundlagen für Azure.
Szenariodetails
Mainframes sind Server, die eine große Anzahl von Transaktionen verarbeiten. Mainframe-Anwendungen produzieren und verbrauchen täglich große Mengen an Daten. Öffentliche Clouds bieten Elastizität, Kostenoptimierung, Benutzerfreundlichkeit und einfache Integration. Da viele x86- und Mainframe-Anwendungen in die Cloud verlagert werden, benötigen Unternehmen eine gut durchdachte Strategie für die Datenintegration und -migration zwischen Mainframe und Cloud.
Dieses Szenario integriert eine IBM Z (Mainframe)-Datenebene mit der Azure-Cloud-Datenplattform unter Verwendung von RDRS, bereitgestellt von Rocket Software.
Mögliche Anwendungsfälle
Diese Lösung ist ideal für groß angelegte Datenmigrationen zur Azure-Datenplattform. Erwägen Sie dieses Szenario für folgende Anwendungsfälle:
- Vollständige Migration einer Mainframe-Datenschicht: In diesem Anwendungsfall möchte ein Kunde alle seine Db2-, IMS-, IDMS-, Datei- und anderen Daten von einem Mainframe auf die Azure-Datenplattform übertragen.
- Koexistenz von Mainframe- und Azure-basierten Anwendungen: In diesem Anwendungsfall benötigt ein Kunde Unterstützung für eine bidirektionale Synchronisierung zwischen einem Mainframe und der Azure-Datenplattform.
- Archiv: In diesem Anwendungsfall möchte ein Kunde Daten für Audit- und Compliance-Zwecke speichern, aber nicht häufig auf diese Daten zugreifen. Der Speicher bietet eine kostengünstige Lösung zur Speicherung von Archivdaten.
Beitragende
Dieser Artikel wird von Microsoft gepflegt. Er wurde ursprünglich von folgenden Mitwirkenden geschrieben:
Hauptautoren:
- Sandip Khandelwal | Senior Engineering Architect
Andere Mitwirkende:
- Liz Casey | Senior Content Developer
Melden Sie sich bei LinkedIn an, um nicht öffentliche LinkedIn-Profile anzuzeigen.
Nächste Schritte
- Ausbildung: Architektur einer Datenplattform in Azure
- Kontaktieren Sie das Azure Data Engineering Team.
- Leitfäden zur Azure-Datenbankmigration
- Ausbildung: Entwurf einer SQL Server-Migrationsstrategie
- Migrationsleitfaden: SQL Server zu Azure SQL-Datenbank