Modifier

Partager via

Reprise d’activité pour Azure Data Platform - Architecture

Azure Synapse Analytics
Azure Machine Learning
Azure Cosmos DB
Azure Data Lake
Hubs d'événements Azure

Définition de cas d’usage

Pour étayer cet exemple pratique, l'entreprise fictive « Contoso » sera utilisée avec une plateforme de données Azure basée sur les architectures de référence de Microsoft.

Service de données - Vue des composants

Contoso a implémenté l’architecture Azure fondamentale suivante, qui est un sous-ensemble de la conception de la zone d’atterrissage d’entreprise. Diagramme montrant un exemple de zone d’atterrissage Azure d’entreprise.

Les numéros dans les descriptions suivantes correspondent à ceux qui apparaissent dans le diagramme précédent.

Fondations Azure de Contoso - Workflow

  1. Inscription d’entreprise : l’inscription principale parente de Contoso dans Azure reflète son contrat commercial avec Microsoft, sa structure de compte organisationnel et ses abonnements Azure disponibles. L’inscription fournit une base de facturation pour les abonnements et indique comment le patrimoine numérique est administré.
  2. Gestion des identités et des accès : composants requis pour fournir des services d’identité, d’authentification, d’accès aux ressources et d’autorisation dans le patrimoine Azure de Contoso.
  3. Organisation de groupe d’administration et d’abonnement : hiérarchie de groupe évolutive alignée sur les fonctionnalités principales de la plateforme de données, ce qui permet une opérationnalisation à grande échelle à l’aide de la sécurité et de la gouvernance gérées de manière centralisée où les charges de travail ont une séparation claire. Les groupes d’administration fournissent une étendue de gouvernance au-delà des abonnements.
  4. Abonnement de gestion : abonnement dédié pour les différentes fonctions de niveau de gestion requises pour prendre en charge la plateforme de données.
  5. Abonnement à la connectivité : un abonnement dédié pour les fonctions de connectivité de la plateforme de données lui permettant d’identifier les services nommés, de déterminer le routage et la communication sécurisés entre les services internes et externes.
  6. Abonnement de zone d’atterrissage : abonnements un-à-plusieurs pour les applications natives Azure, les applications en ligne, les charges de travail et les ressources internes et externes
  7. Plateforme DevOps : plateforme DevOps qui prend en charge l’ensemble du patrimoine Azure. Cette plateforme contient le référentiel de contrôle de code source de base et les pipelines CI/CD permettant des déploiements automatisés d’infrastructure en tant que code (IaC).

Remarque

De nombreux clients maintiennent encore une importante infrastructure en tant que service (IaaS). Pour fournir des fonctionnalités de récupération dans IaaS, le composant clé à ajouter est Azure Site Recovery. Site Recovery orchestrera et automatisera la réplication de machines virtuelles Azure entre les régions, des machines virtuelles locales et serveurs physiques vers Azure, et des machines locales vers un centre de données secondaire.

Au sein de cette structure de base, Contoso a implémenté les éléments suivants pour prendre en charge ses besoins décisionnels d’entreprise, en fonction des conseils fournis dans Analytics de bout en bout avec Azure Synapse.

Diagramme montrant une architecture pour une plateforme moderne de données utilisant des services de données Azure.Plateforme de données Contoso

Plate-forme de données de Contoso - Workflow

Le workflow est lu de gauche à droite, en suivant le flux de données :

  • Sources de données : sources ou types de données à partir duquel la plateforme de données peut consommer.
  • Ingestion - Capacité de la plate-forme à ingérer des données provenant de diverses sources dont la structure et la vitesse varient. Cette conception reflète une architecture Lambda.
  • Stocker : capacité de stocker en toute sécurité les données à grande échelle qui ont été ingérées sur la plateforme.
  • Processus - Capacité de la plate-forme à traiter les données, en les rendant « adaptées » aux processus en aval tels que le nettoyage, la normalisation et la modélisation. Le prétraitement des données garantit généralement qu’elles se trouvent dans une « position et une condition, prêtes à être utilisées ».
  • Enrichir : capacité d’améliorer les données traitées sur la plateforme via des techniques statistiques, machine learning ou d’autres techniques de modélisation ou des services Azure AI prédéfinis.
  • Servir : capacité de la plateforme à mettre en forme et à présenter des données pour la consommation en aval.
  • Consommateurs de données : les individus, les applications ou les processus en aval qui consomment des données à partir des différents points de contact de service des plateformes.
  • Découvrir et gouverner : les fonctionnalités de la plateforme pour régir les données qu’elle contient et s’assurer qu’elles sont indexées, détectables/pouvant faire l’objet d’une recherche, bien décrites, avec une traçabilité complète et sont transparentes pour ses utilisateurs finaux et les processus consommants.
  • Plateforme : la base sur laquelle la plateforme est créée, c’est-à-dire les bases Azure de Contoso, comme décrit ci-dessus.

Remarque

Pour de nombreux clients, le niveau conceptuel de l’architecture de référence Data Platform utilisée sera aligné, mais l’implémentation physique pourra varier. Par exemple, les processus ELT (extraire, charger, transformer) peuvent être effectués via Azure Data Factory, et la modélisation des données par un serveur Azure SQL. Pour résoudre ce problème, la section Relative à l’état et aux composants sans état ci-dessous fournit des conseils.

Pour la plateforme de données, Contoso a sélectionné les niveaux de service de production les plus bas recommandés pour tous les composants et a choisi d’adopter une stratégie de reprise d’activité après sinistre (DR) basée sur une approche de réduction des coûts d’exploitation.

Les sections suivantes présentent une vue d’ensemble du processus de reprise d’activité et des leviers accessibles aux clients pour atteindre plus facilement cette posture.

Vue des services et des composants Azure

Les tableaux suivants présentent une répartition de chaque service et composant Azure utilisé dans la plateforme de données Contoso, avec des options pour faciliter la reprise d’activité.

Remarque

Les sections ci-dessous sont organisées par des services avec état et sans état.

Composants fondamentaux avec état

  • Microsoft Entra ID, notamment les droits d’utilisation

    • Responsabilité de récupération des composants : Microsoft
    • Responsabilité de récupération de la charge de travail/configuration : Microsoft
    • Sélection de la référence SKU Contoso : Premium P1
    • Options de récupération d’urgence : la résilience de Microsoft Entra fait partie de son offre SaaS (Software as a Service).
    • Notes

  • Azure Key Vault

    • Responsabilité de récupération des composants : Microsoft
    • Responsabilité de récupération de la charge de travail/configuration : Microsoft
    • Sélection de la référence SKU Contoso : N/A
    • Options de récupération d’urgence : N/A, couvertes dans le cadre du service Azure.

  • Coffre Recovery Services

    • Responsabilité de récupération des composants : Microsoft
    • Responsabilité de récupération de la charge de travail/configuration : Microsoft
    • Sélection de l'UGS Contoso : Par défaut (stockage géoredondant (GRS))
    • Options d’élévation de récupération d’urgence : l’activation de la restauration interrégion crée une restauration des données dans la région secondaire associée.
    • Notes
      • Bien que le stockage localement redondant (LRS) et le stockage redondant interzone (ZRS) soient disponibles, il nécessite des activités de configuration à partir du paramètre par défaut.

  • Azure DevOps

    • Responsabilité de récupération des composants : Microsoft
    • Responsabilité de récupération de la charge de travail/configuration : Microsoft
    • Sélection de la référence SKU Contoso : DevOps Services
    • Options de récupération d’urgence : le service DevOps et la résilience des données font partie de son offre SaaS.
    • Notes
      • DevOps Server en tant qu’offre locale restera la responsabilité du client pour la reprise d’activité après sinistre.
      • Si des services tiers (SonarCloud, Jfrog Artifactory, serveurs de build Jenkins par exemple) sont utilisés, ils restent la responsabilité du client pour la récupération d’un sinistre.
      • Si les machines virtuelles IaaS sont utilisées dans la chaîne d’outils DevOps, elles restent responsables de la récupération du client à partir d’un sinistre.

Composants de base sans état

  • Abonnements

    • Responsabilité de récupération des composants : Microsoft
    • Responsabilité de récupération de la charge de travail/configuration : Microsoft
    • Sélection de la référence SKU Contoso : N/A
    • Options de récupération d’urgence : N/A, couvertes dans le cadre du service Azure.

  • Groupes d’administration

    • Responsabilité de récupération des composants : Microsoft
    • Responsabilité de récupération de la charge de travail/configuration : Microsoft
    • Sélection de la référence SKU Contoso : N/A
    • Options de récupération d’urgence : N/A, couvertes dans le cadre du service Azure.

  • Azure Monitor

    • Responsabilité de récupération des composants : Microsoft
    • Responsabilité de récupération de la charge de travail/configuration : Microsoft
    • Sélection de la référence SKU Contoso : N/A
    • Options de récupération d’urgence : N/A, couvertes dans le cadre du service Azure.

  • Cost Management

    • Responsabilité de récupération des composants : Microsoft
    • Responsabilité de récupération de la charge de travail/configuration : Microsoft
    • Sélection de la référence SKU Contoso : N/A
    • Options de récupération d’urgence : N/A, couvertes dans le cadre du service Azure.

  • Microsoft Defender pour le cloud

    • Responsabilité de récupération des composants : Microsoft
    • Responsabilité de récupération de la charge de travail/configuration : Microsoft
    • Sélection de la référence SKU Contoso : N/A
    • Options de récupération d’urgence : N/A, couvertes dans le cadre du service Azure.

  • DNS Azure

    • Responsabilité de récupération des composants : Microsoft
    • Responsabilité de récupération de la charge de travail/configuration : Microsoft
    • Sélection de la référence SKU Contoso : Zone unique - Public
    • Options de récupération d’urgence : N/A, DNS est hautement disponible par conception.

  • Network Watcher

    • Responsabilité de récupération des composants : Microsoft
    • Responsabilité de récupération de la charge de travail/configuration : Microsoft
    • Sélection de la référence SKU Contoso : N/A
    • Options de récupération d’urgence : N/A, couvertes dans le cadre du service Azure.

  • Réseaux virtuels, y compris les sous-réseaux, les routes définies par l'utilisateur (UDR) & les groupes de sécurité réseau (NSG)

    • Responsabilité de récupération des composants : Contoso
    • Responsabilité de récupération de la charge de travail/configuration : Contoso
    • Sélection de la référence SKU Contoso : N/A
    • Options de récupération d’urgence : les réseaux virtuels peuvent être répliqués dans la région secondaire, jumelée.

  • Pare-feu Azure

    • Responsabilité de récupération des composants : Contoso
    • Responsabilité de récupération de la charge de travail/configuration : Contoso
    • Sélection de la référence SKU Contoso : Standard
    • Options d’élévation de la récupération d’urgence : Pare-feu Azure est hautement disponible par conception et peut être créé avec Zones de disponibilité pour une disponibilité accrue.

  • Service de protection DDoS Azure

    • Responsabilité de récupération des composants : Microsoft
    • Responsabilité de récupération de la charge de travail/configuration : Contoso
    • Sélection de la référence SKU Contoso : Protection réseau DDoS
    • Options de récupération d’urgence : N/A, couvertes dans le cadre du service Azure.

  • Circuit ExpressRoute

    • Responsabilité de récupération des composants : Contoso, partenaire de connectivité et Microsoft
    • Responsabilité de récupération de la charge de travail/configuration : partenaire de connectivité et Microsoft
    • Sélection de la référence SKU Contoso : Standard
    • Options d’élévation de récupération d’urgence :
      • ExpressRoute peut être soulevé pour utiliser le peering privé, en fournissant un service géoredondant.
      • ExpressRoute dispose également de conceptions haute disponibilité (HA) disponibles.
      • La connexion VPN de site à site peut être utilisée comme sauvegarde pour ExpressRoute.
    • Notes
      • ExpressRoute dispose d’une redondance intégrée, chaque circuit comprenant deux connexions à deux routeurs de périphérie Microsoft Enterprise (MSEE) à un emplacement ExpressRoute à partir de la périphérie réseau du fournisseur de connectivité/du client.
      • Le circuit ExpressRoute Premium permet d’accéder à toutes les régions Azure à l’échelle mondiale.

  • Passerelle VPN

    • Responsabilité de récupération des composants : Contoso
    • Responsabilité de récupération de la charge de travail/configuration : Contoso
    • Sélection de la référence SKU Contoso : Zone unique - VpnGw1
    • Options de récupération d’urgence : une passerelle VPN peut être déployée dans une zone de disponibilité avec les références SKU VpnGw#AZ pour fournir un service redondant interzone.

  • Équilibrage de charge Azure

    • Responsabilité de récupération des composants : Contoso
    • Responsabilité de récupération de la charge de travail/configuration : Contoso
    • Sélection de la référence SKU Contoso : Standard
    • Options d’élévation de récupération d’urgence :
    • Notes
      • Azure Traffic Manager est un équilibreur de charge de trafic DNS. Ce service prend en charge la distribution du trafic pour les applications publiques dans les régions Azure du monde entier. Cette solution fournira une protection contre une panne régionale au sein d’une conception à haute disponibilité.

Services spécifiques à la plateforme de données avec état

  • Compte de stockage : Azure Data Lake Gen2

    • Responsabilité de récupération des composants : Microsoft
    • Responsabilité de récupération de la charge de travail/configuration : Contoso
    • Sélection de la référence SKU Contoso : LRS
    • Options de montée en charge de la récupération d’urgence : les comptes de stockage ont un large éventail d’options de redondance des données de la redondance de région principale jusqu’à la redondance de région secondaire.
    • Notes
      • GrS est recommandé pour élever la redondance, en fournissant une copie des données dans la région jumelée.

  • Azure Event Hubs

    • Responsabilité de récupération des composants : Microsoft
    • Responsabilité de récupération de la charge de travail/configuration : Contoso
    • Sélection de la référence SKU Contoso : Standard
    • Options de récupération d’urgence : un espace de noms Event Hub peut être créé avec les zones de disponibilité activées . Cette résilience peut être étendue pour couvrir une panne complète de région avec la géo-reprise d’activité après sinistre.
    • Notes
      • Par conception, la géorécupération d’urgence Event Hubs ne réplique pas les données. Il existe donc plusieurs considérations à prendre en compte pour le basculement et le secours.

  • Hubs Azure IoT

    • Responsabilité de récupération des composants : Microsoft
    • Responsabilité de récupération de la charge de travail/configuration : Contoso
    • Sélection de la référence SKU Contoso : Standard
    • Options d’élévation de récupération d’urgence :
    • Notes
      • IoT Hub permet le basculement initié par Microsoft et le basculement manuel en répliquant les données dans la région appairée pour chaque hub IoT.
      • IoT Hub fournit une haute disponibilité intra-région et utilise automatiquement une zone de disponibilité si elle est créée dans un ensemble prédéfini de régions Azure.

  • Azure Stream Analytics

    • Responsabilité de récupération des composants : Microsoft
    • Responsabilité de récupération de la charge de travail/configuration : Contoso
    • Sélection de la référence SKU Contoso : Standard
    • Options de récupération d’urgence : Alors qu’Azure Stream Analytics est une offre PaaS (Platform as a Service) entièrement managée, elle ne fournit pas de géo-basculement automatique. La géoredondance peut être obtenue en déployant des travaux Stream Analytics identiques dans plusieurs régions Azure.

  • Azure Machine Learning

    • Responsabilité de récupération des composants : Contoso et Microsoft
    • Responsabilité de récupération de la charge de travail/configuration : Contoso
    • Sélection de la référence SKU Contoso : instances de la série D, Usage général
    • Options d’élévation de récupération d’urgence :
      • Azure Machine Learning dépend de plusieurs services Azure, dont certains sont provisionnés dans l'abonnement du client. Par conséquent, le client reste responsable de la configuration de haute disponibilité de ces services.
      • La résilience peut être élevée via un déploiement multirégion.
    • Remarques:

  • Power BI

    • Responsabilité de récupération des composants : Microsoft
    • Responsabilité de récupération de la charge de travail/configuration : Microsoft
    • Sélection de la référence SKU Contoso : Power BI Pro
    • Options de récupération d’urgence : N/A, la résilience de Power BI fait partie de son offre SaaS.
    • Notes

  • Azure Cosmos DB

    • Responsabilité de récupération des composants : Microsoft
    • Responsabilité de récupération de la charge de travail/configuration : Microsoft
    • Sélection de la référence SKU Contoso : écriture dans une région unique avec sauvegarde périodique
    • Options d’élévation de récupération d’urgence :
      • Les comptes dans une seule région peuvent perdre leur disponibilité en raison d’une panne régionale. La résilience peut être convertie en une seule région d’écriture et au moins une seconde (lecture) et activer le basculement géré par le service.
      • Il est recommandé d'utiliser les comptes Azure Cosmos DB pour les charges de travail de production afin de permettre le basculement automatique. En l’absence de cette configuration, le compte subit une perte de disponibilité en écriture pendant toute la durée de la panne de la région d’écriture, car le basculement manuel échoue en raison d’un manque de connectivité de la région.
    • Notes
      • Pour vous protéger contre la perte de données dans une région, Azure Cosmos DB fournit deux modes - de sauvegarde différents périodiques et continus.
      • Les basculements régionaux sont détectés et traités dans le client Azure Cosmos DB. Ils ne nécessitent aucune modification de l’application.
      • Les instructions suivantes décrivent l’impact d’une panne de région en fonction de la configuration cosmos DB.

  • Azure Data Share

    • Responsabilité de récupération des composants : Microsoft
    • Responsabilité de récupération de la charge de travail/configuration : Microsoft
    • Sélection de la référence SKU Contoso : N/A
    • Options de montée en charge de la récupération d’urgence : la résilience Azure Data Share peut être élevée par le déploiement haute disponibilité dans une région secondaire.

  • Microsoft Purview

Services spécifiques à la plateforme de données sans état

  • Azure Synapse : Pipelines

    • Responsabilité de récupération des composants : Microsoft
    • Responsabilité de récupération de la charge de travail/configuration : Contoso
    • Sélection de la référence SKU Contoso : Gen2 optimisé pour le calcul
    • Options de récupération d’urgence : N/A, la résilience Synapse fait partie de son offre SaaS à l’aide de la fonctionnalité de basculement automatique.
    • Notes
      • Si des pipelines de données auto-hébergés sont utilisés, ils restent la responsabilité du client pour la récupération d’un sinistre.

  • Azure Synapse : pools Data Explorer

    • Responsabilité de récupération des composants : Microsoft
    • Responsabilité de récupération de la charge de travail/configuration : Contoso
    • Sélection de la référence SKU Contoso : Faible (4 cœurs) optimisé pour le calcul
    • Options de récupération d’urgence : N/A, la résilience Synapse fait partie de son offre SaaS.
    • Notes

  • Azure Synapse : pools Spark

    • Responsabilité de récupération des composants : Microsoft
    • Responsabilité de récupération de la charge de travail/configuration : Contoso
    • Sélection de la référence SKU Contoso : Faible (4 cœurs) optimisé pour le calcul
    • Options de récupération d’urgence : N/A, la résilience Synapse fait partie de son offre SaaS.
    • Notes

  • Azure Synapse : pools SQL serverless et dédiés

    • Responsabilité de récupération des composants : Microsoft
    • Responsabilité de récupération de la charge de travail/configuration : Contoso
    • Sélection de la référence SKU Contoso : Gen2 optimisé pour le calcul
    • Options de récupération d’urgence : N/A, la résilience Synapse fait partie de son offre SaaS.
    • Notes

  • Azure AI Services (anciennement Cognitive Services)

    • Responsabilité de récupération des composants : Microsoft
    • Responsabilité de récupération de la charge de travail/configuration : Microsoft
    • Sélection de la référence SKU Contoso : Paiement à l’utilisation
    • Options de récupération d’urgence : N/A, les API pour les services d’INTELLIGENCE artificielle sont hébergées par des centres de données gérés par Microsoft.
    • Notes
      • Si les services IA ont été déployés via des conteneurs Docker déployés par le client, la récupération reste la responsabilité du client.

  • Azure AI Recherche (anciennement Recherche cognitive)

    • Responsabilité de récupération des composants : Microsoft
    • Responsabilité de récupération de la charge de travail/configuration : Microsoft
    • Sélection de la référence SKU Contoso : Standard S1
    • Options d’élévation de récupération d’urgence :
    • Notes
      • Dans la recherche par IA, la continuité d’activité (et la reprise d’activité) sont obtenues par le biais de plusieurs services de recherche par IA.
      • Il n’existe aucun mécanisme intégré pour la reprise d’activité. Si le service continu est requis lors d’une défaillance catastrophique, la recommandation consiste à avoir un deuxième service dans une autre région et à implémenter une stratégie de géoréplication pour garantir que les index sont entièrement redondants sur tous les services.

Composants avec état et sans état

La rapidité d’innovation de la suite de produits Microsoft et d’Azure, en particulier, signifie que l’ensemble de composants que nous avons utilisé pour cet exemple de travail évoluera rapidement. Pour éviter de fournir des conseils obsolètes et étendre ces conseils aux composants qui ne sont pas explicitement couverts dans ce document, la section ci-dessous fournit des instructions basées sur la classification grossière de l’état.

Un composant/service peut être décrit comme avec état s’il est conçu pour mémoriser les événements précédents ou les interactions utilisateur. « Sans état » signifie qu’il n’y a pas d’enregistrement des interactions précédentes, et que chaque demande d’interaction doit être gérée entièrement en fonction des informations qui l’accompagnent.

Pour un scénario de reprise d’activité qui exige un redéploiement :

  • Les composants/services qui sont « sans état », comme Azure Functions et les pipelines Azure Data Factory, peuvent être redéployés à partir du contrôle de code source avec au moins un test de fumée pour valider la disponibilité avant d’être introduits dans le système plus large.
  • Les composants/services qui sont « avec état », comme Azure SQL Database et les comptes de stockage, nécessitent plus d’attention.
    • Lors de l’acquisition du composant, le choix de la fonctionnalité de redondance des données constituera une décision clé. Cette décision se concentre généralement sur un compromis entre la disponibilité et la durabilité avec les coûts d’exploitation.
  • Le magasin de données aura également besoin d’une stratégie de sauvegarde des données. La fonctionnalité de redondance des données du stockage sous-jacent atténue ce risque pour certaines conceptions, tandis que d’autres, comme les bases de données SQL, auront besoin d’un processus de sauvegarde distinct.
    • Si nécessaire, le composant peut être redéployé à partir du contrôle de code source avec une configuration validée via un test de fumée.
    • Un magasin de données redéployé doit avec son jeu de données réhydraté. La réhydratation peut être effectuée par le biais de la redondance des données (si disponible) ou d’un jeu de données de sauvegarde. Une fois la réactivation terminée, elle doit être validée pour la précision et l’exhaustivité.
      • Selon la nature du processus de sauvegarde, les jeux de données de sauvegarde peuvent nécessiter une validation avant d’être appliqués. La corruption ou les erreurs du processus de sauvegarde peuvent entraîner l’utilisation d’une sauvegarde antérieure à la place de la dernière version disponible.
    • Tout delta entre la date/l’horodatage du composant et la date actuelle doit être résolu en réexécutant ou en relectant les processus d’ingestion de données à partir de ce point.
    • Une fois le jeu de données du composant mis à jour, il peut être introduit dans le système plus large.

Autres services clés

Cette section contient des conseils sur la haute disponibilité et la récupération d’urgence pour d’autres composants et services de données Azure clés.

  • Azure Databricks - Conseils de récupération d’urgence sont disponibles dans la documentation du produit.
  • Vous trouverez des conseils sur azure Analysis Services - Haute disponibilité dans la documentation du produit.
  • Azure Database pour MySQL
    • Vous trouverez des conseils sur la haute disponibilité du serveur flexible dans la documentation du produit.
    • Vous trouverez des conseils sur la haute disponibilité à serveur unique dans la documentation du produit.
  • SQL
    • Vous trouverez des conseils sur SQL sur les machines virtuelles Azure dans la documentation du produit.
    • Vous trouverez des conseils sur Azure SQL et Azure SQL Managed Instance dans la documentation du produit.

Étapes suivantes

Maintenant que vous avez découvert l’architecture du scénario, vous pouvez en savoir plus sur les détails du scénario.