Apache®, Spark e il logo con la fiamma sono marchi o marchi registrati di Apache Software Foundation negli Stati Uniti e/o in altri Paesi. L'uso di questi marchi non implica alcuna approvazione da parte di Apache Software Foundation.
In questo articolo viene descritto un piano di modernizzazione end-to-end per origini dati mainframe e intermedie.
Architettura
Scaricare un file di Visio di questa architettura.
Flusso di dati
Il flusso di dati seguente illustra un processo per la modernizzazione di un livello dati mainframe. Corrisponde al diagramma precedente.
I sistemi mainframe e intermedi archiviano i dati in origini dati, ad esempio file system (VSAM, file flat, LTFS), database relazionali (Db2 per z/OS, Db2 per IBM i, Db2 per Linux UNIX e Windows) o database non relazionali (IMS, ADABAS, IDMS).
Il processo di conversione degli oggetti estrae le definizioni degli oggetti dagli oggetti di origine. Le definizioni vengono quindi convertite in oggetti corrispondenti nell'archivio dati di destinazione.
- SQL Server Migration Assistant (SSMA) per Db2 esegue la migrazione di schemi e dati dai database IBM Db2 ai database di Azure.
- Il provider di dati gestito per i file host converte gli oggetti in base a:
- Analisi di layout di record COBOL e RPG o copybook.
- Mapping dei copybook agli oggetti C# usati dalle applicazioni .NET.
- Usare uno strumento personalizzato per convertire gli oggetti di database da Db2 a Database di Azure per PostgreSQL. Si noti che potrebbe essere necessario richiedere l'accesso a questo strumento.
- Gli strumenti di terze parti eseguono la conversione automatica degli oggetti su database non relazionali, file system e altri archivi dati.
I dati vengono inseriti e trasformati. I sistemi mainframe e intermedi archiviano i dati del file system in formato con codifica EBCDIC in formati di file come:
I copybook COBOL, PL/I e del linguaggio assembly definiscono la struttura dei dati di questi file.
a. FTP trasferisce i set di dati del file system mainframe e intermedi con layout singoli e campi decompressi in formato binario e il copybook corrispondente in Azure.
b. I dati vengono convertiti. Il connettore personalizzato di Azure Data Factory è una soluzione sviluppata usando il componente client file host di Host Integration Server per convertire i set di dati mainframe.
Host Integration Server integra sistemi host, programmi, messaggi e dati IBM esistenti con applicazioni di Azure. Host Integration Server è un componente client file host utilizzabile per sviluppare una soluzione personalizzata per la conversione del set di dati.
Il connettore personalizzato di Azure Data Factory si basa sul framework Spark open source e viene eseguito in Azure Synapse Analytics. Analogamente ad altre soluzioni, può analizzare il copybook e convertire i dati. Gestire il servizio per la conversione dei dati usando il connettore di analisi di contenuti file host di App per la logica di Azure.
c. Viene eseguita la migrazione dei dati del database relazionale.
I sistemi IBM mainframe e intermedi archiviano i dati in database relazionali come questi:
Questi servizi consentono di eseguire la migrazione dei dati del database:
- Data Factory usa un connettore Db2 per estrarre e integrare i dati dai database.
- SQL Server Integration Services gestisce varie attività ETL dei dati.
d. Viene eseguita la migrazione dei dati del database non relazionale.
I sistemi IBM mainframe e intermedi archiviano i dati in database non relazionali come questi:
- IDMS, un sistema di gestione di database (DBMS) a modello di rete
- IMS, un DBMS a modello gerarchico
- Adabas
- Datacom
I prodotti di terze parti integrano i dati di questi database.
Servizi di Azure come Data Factory e AzCopy caricano i dati nei database di Azure e nell'archiviazione dati di Azure. È anche possibile usare soluzioni di terze parti e soluzioni di caricamento personalizzate per caricare i dati.
Azure offre molte soluzioni di archiviazione dei dati gestiti:
I servizi di Azure usano il livello dati modernizzato per il calcolo, l'analisi, l'archiviazione e la rete.
Anche le applicazioni client usano il livello dati modernizzato.
Componenti
Archiviazione di dati
- Database SQL fa parte della famiglia SQL di Azure. È progettato per il cloud e offre tutti i vantaggi di una classica piattaforma distribuita come servizio completamente gestita. Database SQL offre anche funzionalità automatizzate basate sull'intelligenza artificiale che ottimizzano le prestazioni e la durabilità. Le opzioni di calcolo serverless e di archiviazione Hyperscale ridimensionano automaticamente le risorse su richiesta.
- Database di Azure per PostgreSQL è un servizio di database relazionale completamente gestito basato sull'edizione community del motore di database PostgreSQL open source.
- Azure Cosmos DB è un database multimodello NoSQL distribuito a livello globale.
- Database di Azure per MySQL è un servizio di database relazionale completamente gestito basato sull'edizione community del motore di database MySQL open source.
- Istanza gestita di SQL è un servizio di database cloud intelligente e scalabile che offre tutti i vantaggi di una piattaforma distribuita come servizio completamente gestita e sempre aggiornata. Istanza gestita di SQL di Azure presenta una compatibilità quasi totale con la versione più recente del motore di database di SQL Server Enterprise Edition. Fornisce anche un'implementazione di rete virtuale nativa che risolve i problemi di sicurezza più comuni.
- Un Azure Data Lake Storage è un repository che contiene grandi quantità di dati nel relativo formato nativo non elaborato. Gli archivi data lake sono ottimizzati per la scalabilità fino a terabyte e petabyte di dati. In genere i dati provengono da più origini eterogenee. Possono essere strutturati, semistrutturati o non strutturati.
Calcolo
- Data Factory integra i dati in diversi ambienti di rete usando un runtime di integrazione, ovvero un'infrastruttura di calcolo. Data Factory copia i dati tra archivi dati cloud e archivi dati in reti locali usando runtime di integrazione self-hosted.
- Macchine virtuali di Azure offre risorse di calcolo scalabili su richiesta. Una macchina virtuale (VM) di Azure offre la flessibilità della virtualizzazione eliminando però le esigenze di manutenzione dell'hardware fisico. Le macchine virtuali di Azure offrono un'ampia scelta di sistemi operativi, tra cui Windows e Linux.
Integrazione dei dati
- Azure Data Factory è un servizio di integrazione di dati ibridi. In questa soluzione, un connettore personalizzato di Azure Data Factory usa il componente client file host di Host Integration Server per convertire i set di dati mainframe. Con una configurazione minima, è possibile usare un connettore personalizzato per convertire il set di dati mainframe esattamente come si userebbe qualsiasi altro connettore di Azure Data Factory.
- AzCopy è un'utilità della riga di comando che sposta BLOB o file all'esterno e all'interno degli account di archiviazione.
- SQL Server Integration Services è una piattaforma per la creazione di soluzioni di integrazione e trasformazione di dati a livello aziendale. È possibile usarlo per risolvere problemi aziendali complessi tramite:
- Copia o download dei file.
- Caricamento di data warehouse.
- Pulizia e data mining.
- Gestione di oggetti e dati di SQL Server.
- Le tecnologie e gli strumenti di Host Integration Server consentono di integrare sistemi host, programmi, messaggi e dati IBM esistenti con applicazioni Azure. Il componente client file host offre flessibilità per i dati convertiti da EBCDIC a ASCII. Ad esempio, è possibile generare JSON/XML dai dati convertiti.
- Azure Synapse combina l'integrazione dei dati, il data warehousing aziendale e l'analisi dei Big Data. La soluzione di conversione di Azure Synapse usata in questa architettura è basata su Apache Spark ed è adatta per la conversione di carichi di lavoro del set di dati mainframe di grandi dimensioni. Supporta un'ampia gamma di destinazioni e strutture di dati mainframe e richiede un impegno minimo di codifica.
Altri strumenti
- SQL Server Migration Assistant per Db2 automatizza la migrazione da Db2 ai servizi di database Microsoft. Quando viene eseguito in una VM, questo strumento converte gli oggetti di database Db2 in oggetti di database di SQL Server e crea tali oggetti in SQL Server.
- Il provider di dati per i file host è un componente di Host Integration Server che usa connessioni offline, SNA o TCP/IP.
- Con le connessioni offline, il provider di dati legge e scrive i record in un file binario locale.
- Con le connessioni SNA e TCP/IP, il provider di dati legge e scrive i record archiviati in set di dati z/OS remoti (mainframe IBM zSeries) o in file fisici i5/OS remoti (sistemi IBM AS/400 e iSeries). Solo i sistemi i5/OS usano TCP/IP.
- Servizi di Azure offrono ambienti, strumenti e processi per lo sviluppo e la scalabilità di nuove applicazioni nel cloud pubblico.
Dettagli dello scenario
Soluzioni moderne di archiviazione dati come la piattaforma dati di Azure offrono scalabilità e prestazioni migliori rispetto ai sistemi mainframe e intermedi. Modernizzando i sistemi, è possibile sfruttare questi vantaggi. Tuttavia, l'aggiornamento della tecnologia, dell'infrastruttura e delle procedure è complesso. Il processo prevede un'analisi completa delle attività aziendali e di progettazione. La gestione dei dati è un fattore da prendere in considerazione quando si modernizzano i sistemi. Occorre anche esaminare la visualizzazione e l'integrazione dei dati.
Le modernizzazioni che vanno a buon fine usano una strategia data-first. Quando si usa questo approccio, ci si concentra sui dati anziché sul nuovo sistema. La gestione dei dati non è più solo una voce nell'elenco di controllo per la modernizzazione. Il centro dell'attenzione è costituito dai dati. Le soluzioni di dati coordinate e orientate alla qualità sostituiscono quelle frammentate e mal regolate.
Questa soluzione usa i componenti della piattaforma dati di Azure in un approccio data-first. In particolare, la soluzione prevede:
- La conversione degli oggetti. La conversione delle definizioni di oggetti dall'archivio dati di origine agli oggetti corrispondenti nell'archivio dati di destinazione.
- Inserimento dati. La connessione all'archivio dati di origine e l'estrazione dei dati.
- Trasformazione dei dati. La trasformazione dei dati estratti in strutture appropriate dell'archivio dati di destinazione.
- Archiviazione dei dati. Il caricamento di dati dall'archivio dati di origine all'archivio dati di destinazione, inizialmente e continuamente.
Potenziali casi d'uso
Le organizzazioni che usano sistemi mainframe e intermedi possono trarre vantaggio da questa soluzione, soprattutto quando vogliono raggiungere i seguenti obiettivi:
- Modernizzare i carichi di lavoro critici.
- Acquisizione di business intelligence per migliorare le operazioni e ottenere un vantaggio competitivo.
- Rimozione dei costi elevati e della rigidità associati agli archivi dati mainframe e intermedi.
Considerazioni
Queste considerazioni implementano i pilastri di Azure Well-Architected Framework, che è un set di principi guida che possono essere usati per migliorare la qualità di un carico di lavoro. Per altre informazioni, vedere Microsoft Azure Well-Architected Framework. Quando si usa il provider di dati per il client di file host per convertire i dati, attivare il pool di connessioni per ridurre il tempo di avvio della connessione. Quando si usa Data Factory per estrarre i dati, ottimizzare le prestazioni dell'attività di copia.
Sicurezza
La sicurezza offre garanzie contro attacchi intenzionali e l'abuso di dati e sistemi preziosi. Per altre informazioni, vedere Panoramica del pilastro della sicurezza.
- Tenere presenti le differenze tra identità client locali e identità client in Azure. È necessario compensare le eventuali differenze.
- Usare le identità gestite per i flussi di dati da componente a componente.
- Quando si usa il provider di dati per i file host per convertire i dati, seguire le indicazioni riportate in Sicurezza e protezione dei provider per i file host.
Ottimizzazione dei costi
L'ottimizzazione dei costi riguarda la riduzione delle spese non necessarie e il miglioramento dell'efficienza operativa. Per maggiori informazioni, consultare la sezione Panoramica del pilastro di ottimizzazione dei costi.
- SQL Server Migration Assistant è uno strumento gratuito e supportato che semplifica la migrazione del database da Db2 a SQL Server, Database SQL e Istanza gestita di SQL. SQL Server Migration Assistant consente di automatizzare tutti gli aspetti della migrazione inclusa l'analisi della valutazione della migrazione, la conversione degli schemi e delle istruzioni SQL, la migrazione dei dati e il test della migrazione.
- La soluzione basata su Spark di Azure Synapse è creata a partire da librerie open source. Elimina il carico finanziario degli strumenti di conversione delle licenze.
- Per stimare il costo di implementazione di questa soluzione, usare il calcolatore dei prezzi di Azure.
Efficienza delle prestazioni
L'efficienza delle prestazioni è la capacità di dimensionare il carico di lavoro per soddisfare in modo efficiente le richieste poste dagli utenti. Per altre informazioni, vedere la Panoramica del pilastro dell'efficienza delle prestazioni.
- I pilastri chiave dell'efficienza delle prestazioni sono la gestione delle prestazioni, la pianificazione della capacità, la scalabilità e la scelta di un modello di prestazioni appropriato.
- In termini di disponibilità elevata e scalabilità è possibile aumentare il numero di istanze per il runtime di integrazione self-hosted associando l'istanza logica a più computer locali in modalità attivo-attivo.
- Il database SQL di Azure offre la possibilità di scalare dinamicamente i database. In un livello serverless può scalare automaticamente le risorse di calcolo. Il pool elastico, che consente ai database di condividere le risorse in un pool, può essere scalato solo manualmente.
Collaboratori
Questo articolo viene gestito da Microsoft. Originariamente è stato scritto dai seguenti contributori.
Autore principale:
- Ashish Khandelwal | Principal Engineering Architect Manager
Altri contributori:
- Nithish Aruldoss | Engineering Architect
Per visualizzare i profili LinkedIn non pubblici, accedere a LinkedIn.
Passaggi successivi
Vedere le Guide alla migrazione di database di Azure. Contattare Azure Data Engineering - Mainframe & Midrange Modernization per altre informazioni.
Fai riferimento ai seguenti articoli:
- Carichi di lavoro IBM in Azure
- Rehosting di mainframe in macchine virtuali di Azure
- Carichi di lavoro mainframe supportati in Azure
- Spostare l'ambiente di calcolo mainframe in Azure