Idées de solution
Cet article présente une idée de solution. Votre architecte cloud peut s’appuyer sur ces conseils pour visualiser les principaux composants d’une implémentation typique de cette architecture. Utilisez cet article comme point de départ pour concevoir une solution bien conçue qui répond aux exigences spécifiques de votre charge de travail.
Lorsque vous effectuez une migration d’un mainframe local ou une application de milieu de gamme vers Azure, le transfert des données est une considération principale. Plusieurs scénarios de modernisation nécessitent la réplication rapide des fichiers vers Azure ou le maintien d’une synchronisation entre les fichiers locaux et les fichiers Azure.
Cet article décrit plusieurs processus de transfert de fichiers vers Azure, de conversion et de transformation des données de fichiers, et de stockage des données en local et dans Azure.
Architecture
Le diagramme suivant montre quelques-unes des options de réplication et de synchronisation des fichiers locaux sur Azure :
Téléchargez un fichier Visio de cette architecture.
Dataflow
Transférer des fichiers vers Azure :
Le moyen le plus simple de transférer des fichiers en local ou vers Azure consiste à utiliser le Protocole FTP. Vous pouvez héberger un serveur FTP sur une machine virtuelle Azure. Un langage de contrôle des travaux (JCL) FTP simple envoie des fichiers à Azure en format binaire, ce qui est essentiel à la préservation du calcul du mainframe et du milieu de gamme, ainsi qu’aux types de données binaires. Vous pouvez stocker les fichiers transmis dans des disques locaux, dans le stockage de fichiers de machine virtuelle Azure ou dans le Stockage Blob Azure.
Vous pouvez également charger des fichiers locaux vers le Stockage Blob à l’aide d’outils, tels que AzCopy.
Le connecteur FTP/SFTP d'Azure Data Factory peut également être utilisé pour transférer les données du système central vers le stockage Blob. Cette méthode nécessite également une machine virtuelle intermédiaire sur laquelle un runtime d’intégration auto-hébergé (SHIR) est installé.
Vous pouvez également trouver des outils tiers sur Azure Marketplace qui vous permettront de transférer des fichiers depuis des mainframes vers Azure.
Orchestrez, convertissez et transformez vos données :
Azure ne peut pas lire les fichiers de pages de codes Extended Binary Coded Decimal Interchange Code (EBCDIC) IBM sur les disques de machines virtuelles Azure ou dans Stockage Blob. Pour rendre ces fichiers compatibles avec Azure, Host Integration Server (HIS) les convertit du format EBCDIC au format ASCII (American Standard Code for Information Interchange).
Les copybooks définissent la structure de données des fichiers COBOL, PL/I et langage assembleur. HIS convertit ces fichiers au format ASCII en fonction des layouts du copybook.
Avant de transférer des données vers des magasins de données Azure, vous devrez peut-être transformer les données ou les utiliser pour l’analyse. Data Factory peut gérer ces activités ETL (extraction, transformation et chargement) et ELT (extraction, chargement et transformation) . De plus, HIS peut stocker les données directement dans Azure Data Lake Storage.
Pour les intégrations de big data, Azure Databricks et Azure Synapse Analytics peuvent effectuer toutes les activités de transformation rapidement et efficacement en utilisant le moteur Apache Spark pour effectuer des calculs en mémoire.
Stocker vos données :
Vous pouvez stocker les données transférées dans l’un des différents modes de stockage Azure persistants disponibles, en fonction de vos exigences.
Si les analyses ne sont pas nécessaires, Azure Data Factory peut stocker les données directement dans un large éventail d’options de stockage, telles que Data Lake Storage et Stockage Blob.
Azure héberge différentes bases de données, qui répondent à différents besoins :
- Les bases de données relationnelles incluent la famille SQL Server et les bases de données open source, comme PostgreSQL et MySQL.
- Les bases de données non relationnelles incluent Azure Cosmos DB, une base de données NoSQL rapide, multimodèle et distribuée dans le monde entier.
Examen des données analytiques et Business Intelligence
Microsoft Fabric est une solution analytique tout-en-un que votre organisation peut utiliser pour étudier les mouvements de données, expérimenter avec les sciences des données et examiner les analyses en temps réel et les informations commerciales. Il offre une suite complète de fonctionnalités, notamment un lac de données, l'ingénierie des données et l'intégration des données.
Composants
Divers scénarios de transfert, d’intégration et de stockage de fichiers utilisent des composants différents. Utilisez la calculatrice de prix Azure pour estimer les coûts des ressources Azure.
Mise en réseau
Une passerelle de données locale est un logiciel faisant office de pont qui connecte des données locales à des services cloud. Vous pouvez installer la passerelle sur une machine virtuelle locale dédiée.
Intégration et transformation des données
Le fournisseur de données pour les fichiers hôtes est un composant de HIS qui convertit les fichiers de pages de codes EBCDIC en ASCII. Le fournisseur peut lire et écrire des enregistrements hors connexion dans un fichier binaire local ou utiliser l’architecture de système en réseau (SNA) ou le protocole TCP/IP (Transmission Control Protocol/Protocole Internet) pour lire et écrire des enregistrements dans des jeux de données de mainframe IBM z/OS distants ou des fichiers physiques i5/OS. Les connecteurs HIS sont disponibles pour BizTalk et Azure Logic Apps.
Azure Data Factory est un service d’intégration de données hybride qui vous permet de créer, de planifier et d’orchestrer vos flux de travail ETL et ELT.
Azure Databricks est une plateforme d’analyse basée sur Apache Spark et optimisée pour Azure. Vous pouvez utiliser Databricks pour mettre en corrélation des données entrantes et les enrichir avec d’autres données stockées dans Databricks.
Azure Synapse Analytics est un entrepôt de données cloud rapide et flexible doté d'une architecture de traitement massivement parallèle (MPP) que vous pouvez utiliser pour mettre à l'échelle, calculer et stocker des données de manière élastique et indépendante.
Bases de données
Azure SQL Database est un service de base de données cloud relationnel et évolutif. Azure SQL Database est persistant et toujours à jour, avec des fonctionnalités automatisées alimentées par l’IA qui optimisent les performances et la durabilité. Le calcul serverless et les options de stockage hyperscale mettent automatiquement à l’échelle les ressources à la demande. Avec Azure Hybrid Benefit, vous pouvez utiliser vos licences SQL Server locales existantes sur le cloud sans frais supplémentaires.
Azure SQL Managed Instance combine la plus grande compatibilité de moteur de base de données SQL Server à tous les avantages d’un modèle platform as a service (PaaS) complètement managé et persistant. Avec SQL Managed Instance, vous pouvez moderniser vos applications existantes à grande échelle avec des outils, des compétences et des ressources familiers.
SQL Server sur Azure Virtual Machines procède au lift-and-shift de vos charges de travail SQL Server vers le cloud pour combiner la flexibilité et la connectivité hybride d’Azure aux performances, à la sécurité et aux analyses de SQL Server. Vous pouvez accéder aux dernières mises à jour et versions de SQL Server avec une compatibilité de code de 100 %.
Azure Database pour PostgreSQL est un service de base de données relationnelle complètement managé, basé sur l’édition communautaire du moteur de base de données open source PostgreSQL.
Azure Database pour MySQL est un service de base de données relationnelle complètement managé, basé sur l’édition communautaire du moteur de base de données open source MySQL.
Azure Cosmos DB est un service de base de données NoSQL complètement managé et multimodèle pour la génération et la modernisation d’applications évolutives hautes performances. Azure Cosmos DB met à l’échelle le débit et le stockage de manière élastique et indépendante dans les régions géographiques, et garantit des latences en millisecondes à un chiffre dans le 99e centile, où que vous soyez dans le monde.
Autres magasins de données
Stockage Blob stocke d’importants volumes de données non structurées, telles que du texte ou des données binaires, qui sont accessibles depuis n’importe où dans le monde via HTTP ou HTTPS. Vous pouvez utiliser Stockage Blob pour exposer des données publiquement ou pour stocker des données d’applications de façon privée.
Data Lake Storage est un référentiel de stockage qui stocke de grandes quantités de données dans leur format natif et brut. Data Lake Storage permet d'échelonner les charges de travail analytiques de big data avec des téraoctets et des pétaoctets de données. En général, les données proviennent de plusieurs sources hétérogènes et peuvent être structurées, semi-structurées ou non structurées.
Cas d’usage potentiels
Les cas d’utilisation de la réplication et de la synchronisation des fichiers locaux sont les suivants :
Dépendances en aval ou en amont, par exemple si des applications qui s'exécutent sur un mainframe et des applications qui s'exécutent sur Azure doivent échanger des données via des fichiers.
Test parallèle d’applications réhébergées ou remaniées sur Azure avec des applications locales.
Applications locales étroitement couplées sur des systèmes qui ne peuvent pas être corrigés ou modernisés immédiatement.
Contributeurs
Cet article est géré par Microsoft. Il a été écrit à l’origine par les contributeurs suivants.
Principaux auteurs :
- Ashish Khandelwal | Directeur principal de l’architecture d’ingénierie
- Nithish Aruldoss | Architecte Ingénierie
Pour afficher les profils LinkedIn non publics, connectez-vous à LinkedIn.
Étapes suivantes
- Pour plus d'informations, contactez l'équipe Microsoft SQL Data Engineering.
- Guides de migration de base de données Azure