Bearbeiten

Freigeben über

Batchtransaktionsverarbeitung mit hohem Volumen

Azure Kubernetes Service (AKS)
Azure-Servicebus
Azure Virtual Machines

Die Architektur nutzt AKS zur Implementierung von Computeclustern der Anwendungen, die Batches mit hohem Transaktionsvolumen verarbeiten. Die Anwendungen empfangen die Transaktionen in Nachrichten von Service Bus-Themen oder -Warteschlangen. Die Themen und Warteschlangen können sich in Azure-Rechenzentren in verschiedenen geografischen Regionen befinden, und mehrere AKS-Cluster können Eingaben von ihnen lesen.

Hinweis

Diese Architektur eignet sich für eine Art der Batchtransaktionsverarbeitung, die auf IBM-Mainframes häufig mit der IBM MQ-Familie nachrichtenorientierter Middleware implementiert wird.

Aufbau

Diagram of an architecture implemented by using AKS and Service Bus.

Laden Sie eine Visio-Datei dieser Architektur herunter.

Workflow

Die nummerierten Kreise im Diagramm entsprechen den nummerierten Schritten in der folgenden Liste.

  1. Die Architektur verwendet Service Bus-Themen und -Warteschlangen, um die Batchverarbeitungseingabe zu organisieren und downstream zur Verarbeitung zu übergeben.
  2. Azure Load Balancer, ein Layer-4-Lastenausgleichsmodul (TCP, UDP), verteilt eingehenden Datenverkehr auf funktionierende Dienstinstanzen, die in einer Lastenausgleichsgruppe definiert sind. Lastausgleich und Verwaltung der Verbindungen optimieren die Verarbeitung.
  3. Die Workerknoten des AKS-Clusters lauschen an Service Bus-Warteschlangenendpunkten auf Eingaben.
  4. Die Java-Knoten verwenden Java Message Service, um sich mit dem Service Bus zu verbinden, und Java-Schnittstellen wie Java Database Connectivity, um eine Verbindung mit anderen Datenquellen herzustellen. Sie verwenden bei Bedarf noch weitere Java-APIs.
  5. Die wiederherstellbaren Transaktionen werden zusammen mit dem Geschäftscode für jeden Batchschritt ausgeführt.
  6. Die Batchinfrastruktur nutzt den beschleunigten Netzwerkbetrieb von Azure zur Erhöhung der Geschwindigkeit.
  7. Azure Cache for Redis, Azure Cosmos DB und Azure Stream Analytics bieten bei Bedarf funktionierenden Speicher.
  8. Die permanente Datenschicht nutzt Azure Data Factory für die Datenintegration und Azure SQL Managed Instance, die geschäftskritische Leistungsstufe, für hohe Verfügbarkeit. Der permanente Speicher ist lose gekoppelt, um einen einfachen Wechsel zu anderen Datenbanktechnologien zu ermöglichen und die Speicherorganisation zu optimieren (z. B. mit Shards oder Partitionen).
  9. Die Datenlösungen (temporär und permanent) nutzen die georedundante Speicheroption von Azure (GRS) zum Schutz vor katastrophalen Ausfällen.

Komponenten

Die Architektur verwendet diese Komponenten:

  • Azure Virtual Network bietet ein sicheres privates Netzwerk in der Cloud. Es kann virtuelle Computer (VMs) untereinander, mit dem Internet und mit lokalen Netzwerken verbinden.
  • Azure ExpressRoute stellt private Verbindungen zwischen Azure-Rechenzentren und lokaler Infrastruktur bereit.
  • Azure Bastion stellt privaten und vollständig verwalteten RDP- und SSH-Zugriff auf VMs bereit.
  • Azure Virtual Machines bietet die Flexibilität der Virtualisierung, ohne dass Sie die Hardware, die sie hostet, bereitstellen und warten müssen. Als Betriebssysteme stehen Windows und Linux zur Auswahl.
  • Eine VM, die mit beschleunigtem Netzwerkbetrieb erstellt wurde, verwendet E/A-Virtualisierung mit Einzelstamm (Single Root I/O Virtualization, SR-IOV), was die Netzwerkleistung erheblich verbessert. Weitere Informationen finden Sie unter Erstellen eines virtuellen Windows-Computers mit beschleunigtem Netzwerkbetrieb mit Azure PowerShell und Überblick über die E/A-Virtualisierung mit Einzelstamm (Single Root I/O Virtualization, SR-IOV).
  • Eine Azure-Netzwerkschnittstelle verbindet eine VM mit dem Internet sowie mit Azure- und lokalen Ressourcen. Wie in dieser Architektur dargestellt, können Sie jeder untergeordneten VM eine eigene Netzwerkschnittstelle und IP-Adresse zuordnen. Weitere Informationen zu Netzwerkschnittstellen finden Sie unter Erstellen, Ändern oder Löschen einer Netzwerkschnittstelle.
  • Azure Managed Disks sind hochleistungsfähiger, äußerst langlebiger Blockspeicher für VMs. Es gibt vier Datenträgerspeicheroptionen für die Cloud: Disk Storage Ultra, SSD Premium, SSD Standard und HDD Standard.
  • Azure Kubernetes Service (AKS) ist ein vollständig verwalteter Kubernetes-Dienst für die Bereitstellung und Verwaltung von containerisierten Anwendungen.
  • Service Bus bietet zuverlässiges Cloud-Messaging-as-a-Service (MaaS) und einfache Hybridintegration.
  • Azure-Lastenausgleichsdienste bieten Skalierung für Hochverfügbarkeit und Hochleistung. Diese Architektur verwendet Load Balancer. Er bietet latenzarme Layer-4-Lastausgleichsfunktionen (TCP, UDP), um den Datenverkehr zwischen VMs und über mehrschichtige Hybridanwendungen auszugleichen.
  • Azure Cache for Redis ist ein blitzschneller und vollständig verwalteter In-Memory-Cachedienst für die gemeinsame Nutzung von Daten und Zuständen durch Computeressourcen.
  • Azure Cosmos DB ist eine schnelle NoSQL-Datenbank mit offenen APIs für jeden Maßstab.
  • Azure Stream Analytics bietet Echtzeitanalysen schneller Datenströme von Anwendungen und Geräten.
  • Azure Databricks ist ein schneller, einfacher und zusammenarbeitsorientierter Big Data-Analysedienst, der auf Apache SparkTM basiert.
  • Azure SQL ist eine Familie von SQL-Clouddatenbanken, die eine einheitliche Erfahrung für Ihr gesamtes SQL-Portfolio sowie eine breite Palette von Bereitstellungsoptionen von der Edge bis zur Cloud bietet.
  • Azure SQL Managed Instance, Teil des Azure SQL-Dienstportfolios, ist eine verwaltete, sichere und stets aktuelle SQL-Instanz in der Cloud.
  • Data Factory ist eine vollständig verwaltete und serverlose Lösung für die Datenintegration, die zum Vorbereiten und Transformieren aller Ihrer Daten im großen Stil verwendet werden kann.
  • Data Factory unterstützt das Parquet-Dateidatenformat. Weitere Informationen finden Sie unter Parquet-Format in Azure Data Factory.
  • Log Analytics ist ein Tool im Azure-Portal, mit dem Protokollabfragen für Azure Monitor-Protokolle bearbeitet und ausgeführt werden können. Weitere Informationen finden Sie unter Übersicht über Log Analytics in Azure Monitor.
  • Die georedundante Speicheroption (GRS) von Azure Storage kopiert Ihre Daten dreimal synchron innerhalb eines einzigen physischen Standorts in der primären Region und kopiert sie dann asynchron an einen einzigen physischen Standort in der sekundären Region. Weitere Informationen finden Sie unter Azure Storage-Redundanz.
  • Azure Blob Storage ist ein massiv skalierbarer und sicherer REST-basierter Objektspeicher für cloudnative Workloads, Archive, Data Lakes, Hochleistungscomputing und Machine Learning.
  • Azure Files bietet einfache, sichere und serverlose Dateifreigaben in der Cloud auf Unternehmensniveau. Sie verwenden gemäß Branchenstandard die Protokolle Server Message Block (SMB) und Network File System (NFS) für den Zugriff auf die Freigaben.

Szenariodetails

In Azure können Sie Batchtransaktionsverarbeitung, z. B. das Posten von Zahlungen an Konten, mithilfe einer Architektur implementieren, die auf Microsoft Azure Kubernetes Service (AKS) und Azure Service Bus basiert. Diese Art von Architektur bietet die Geschwindigkeit, Skalierung und Zuverlässigkeit der Transaktionsverarbeitung, die für die Batchverarbeitung großer Volumen erforderlich ist.

Normalerweise bleibt eine Nachricht in der Warteschlange, bis die zugehörige Transaktion abgeschlossen ist, um im Falle eines Fehlers eine Wiederherstellung zu ermöglichen. Außerdem können Sie Themen und Warteschlangen in andere Regionen replizieren, um Workloads zu teilen und die Verarbeitung fortzusetzen, selbst wenn eine Region ausfällt.

Mögliche Anwendungsfälle

Die Lösung ist ideal für die Branchen Finanzen, Bildung und Wissenschaft. Diese Architektur ist für die Verarbeitung großer Volumen von Batches mit Transaktionen gedacht, insbesondere für unabhängige Transaktionen, die parallel verarbeitet werden können. Sie ist daher ein wahrscheinlicher Kandidat für den Einsatz bei der Migration der Mainframebatchverarbeitung. Mögliche Anwendungen sind:

  • Verarbeitung von Finanztransaktionen, wie z. B. Lohnabrechnung, Bestellungen und Zahlungen.
  • Verarbeitung von experimentellen Daten, die von wissenschaftlichen Instrumenten gesammelt wurden.
  • Andere Mainframebatchverarbeitung.

Überlegungen

Für diese Lösung gelten auf Grundlage des Azure Well-Architected Framework die folgenden Überlegungen:

Verfügbarkeit

  • Azure Site Recovery ist ein Notfallwiederherstellungsdienst, der vor größeren Ausfällen schützt. Es ist zuverlässig, kostengünstig und einfach zu implementieren.
  • Verfügbarkeitsgruppen für VMs stellen sicher, dass genügend VMs verfügbar sind, um die unternehmenskritischen Anforderungen an die Batchverarbeitung zu erfüllen.
  • Service Bus, AKS und Azure SQL Managed Instance bieten Hochverfügbarkeit und Wiederherstellbarkeit über geografische Regionen hinweg.

Bei Betrieb

  • Azure Resource Manager-Vorlagen (ARM-Vorlagen) bieten eine Konfigurationssprache zur Beschreibung Ihrer Ressourcen in Vorlagen, die Sie für die Bereitstellung mittels Skripts verwenden können. Die Vorlagen bieten auch Überwachungs- und Benachrichtigungsfunktionen.

Effiziente Leistung

  • Die Architektur ist für die parallele Verarbeitung von unabhängigen Transaktionen ausgelegt.
  • Service Bus, AKS und andere PaaS-Funktionen von Azure bieten Hochleistung für die Transaktionsverarbeitung, für Computing und Datenspeicherung.

Skalierbarkeit

  • Service Bus, AKS und andere PaaS-Funktionen von Azure lassen sich nach Bedarf dynamisch skalieren.

Sicherheit

  • Alle Komponenten innerhalb der Service Bus-Batcharchitektur arbeiten mit Azure-Sicherheitskomponenten wie Microsoft Entra ID, Virtual Network und Verschlüsselung.

Kostenoptimierung

Um die Kosten für Ihre Implementierung dieser Lösung abzuschätzen, verwenden Sie den Preisrechner.

Die Autoskalierungsfunktionen von AKS-Clustern sowie andere Platform as a Service (PaaS)-Funktionen von Azure, die eine Skalierung nach Bedarf ermöglichen, halten die Kosten auf einem Minimum.

Hier finden Sie Überlegungen zur Preisgestaltung für bestimmte Komponenten:

  • Die meisten Unternehmen verfügen bereits über eine Microsoft Active Directory-Implementierung. Andernfalls ist Microsoft Entra ID P1 oder P2 kostengünstig.
  • Preise für Windows-VMs und Preise für Linux-VMs hängen von Ihrer Computekapazität ab.
  • Informationen zu den Preisen von SSD Premium oder verwalteten Ultra-Speicherdatenträgern finden Sie unter Verwaltete Datenträger – Preise.
  • Es fallen keine Vorabkosten für Azure SQL-Datenbankan. Sie zahlen für die Ressourcen nach Verbrauch.
  • Für ExpressRoute bezahlen Sie eine monatliche Portgebühr sowie Gebühren für ausgehende Datenübertragungen.
  • Die Kosten für Azure Storage hängen von den Datenredundanzoptionen und dem Volumen ab.
  • Die Azure Files-Preise hängen von vielen Faktoren ab: Datenvolumen, Datenredundanz, Transaktionsvolumen und Anzahl der verwendeten Dateisynchronisierungsserver.
  • Preise für verwaltete SSD-Datenträger finden Sie unter Verwaltete Datenträger – Preise.
  • Bei Site Recovery zahlen Sie für jede geschützte Instanz.
  • Diese Dienste sind in Ihrem Azure-Abonnement kostenlos, Sie zahlen aber für Nutzung und Datenverkehr:

Nächste Schritte