Méthodologie de réussite de l’implémentation Synapse : Évaluer la conception de l’intégration de données

Azure Synapse Analytics contient le même moteur et les mêmes expériences d’intégration des données qu’Azure Data Factory (ADF), ce qui vous permet de créer des pipelines ETL enrichis à l’échelle sans quitter Azure Synapse Analytics.

Cet article explique comment évaluer la conception des composants d’intégration de données pour votre projet. Plus précisément, il vous aide à déterminer si les pipelines Azure Synapse sont la meilleure solution pour répondre à vos besoins en matière d’intégration de données. Le temps consacré à l’évaluation de la conception avant de passer au développement d’une solution peut aider à éliminer les changements de conception inattendus susceptibles d’avoir une incidence sur la chronologie ou le coût de votre projet.

Analyse des lacunes

Vous devriez effectuer une analyse approfondie des lacunes de votre stratégie d’intégration de données. Si vous choisissez des pipelines Azure Synapse comme outil d’intégration de données, révisez les points suivants afin de vous assurer qu’ils sont les mieux adaptés aux besoins et à l’orchestration de votre intégration de données. Même si vous choisissez différents outils d’intégration de données, vous devriez toujours examiner les points suivants pour vérifier que tous les points de conception clés ont été pris en compte et que votre outil choisi répondra à vos besoins en matière de solution. Ces informations doivent avoir été capturées au cours de l’évaluation que vous avez effectuée précédemment dans cette méthodologie.

• Révisez vos sources et destinations (cibles) de données :
  • Vérifiez que les magasins source et de destination sont des magasins de données pris en charge.
  • S’ils ne sont pas pris en charge, vérifiez si vous pouvez utiliser les options extensibles.
• Vérifiez les points déclencheurs de votre intégration de données et la fréquence :
  • Les pipelines Azure Synapse prennent en charge la planification, la fenêtre bascule et les déclencheurs d’événements de stockage.
  • Validez l’intervalle de périodicité minimal et les événements de stockage pris en charge en fonction de vos besoins.
• Révisez les modes requis d’intégration de données :
  • Le traitement par lots planifié, périodique et déclenché peut être conçu efficacement dans des pipelines Azure Synapse.
  • Pour implémenter la fonctionnalité de capture des changements de données (CDC), utilisez des produits tiers ou créez une solution personnalisée.
  • Pour prendre en charge la diffusion en continu en temps réel, utilisez Azure Event Hubs, Azure Event Hubs à partir d’Apache Kafka ou Azure IoT Hub.
  • Pour exécuter des packages Microsoft SQL Server Integration Services (SSIS), vous pouvez opérer une migration lift-and-shift des charges de travail SSIS vers le cloud.
• Examinez la conception du calcul :
  • Le calcul requis pour les pipelines doit-il être serverless ou approvisionné ?
  • Les pipelines Azure Synapse prennent en charge les deux modes de runtime d’intégration (IR) : serverless ou auto-hébergé sur un ordinateur Windows.
  • Validez les ports et les pare-feu, ainsi que le paramètre de proxy lors de l’utilisation du runtime d’intégration auto-hébergé (approvisionné).
• Révisez les exigences de sécurité, la mise en réseau et la configuration du pare-feu de l’environnement, et comparez-les à la conception de configuration de la sécurité, de la mise en réseau et du pare-feu :
  • Examinez la façon dont les sources de données sont sécurisées et mises en réseau.
  • Examinez la façon dont les magasins de données cibles sont sécurisés et mis en réseau. Les pipelines Azure Synapse ont différentes stratégies d’accès aux données qui fournissent un moyen sécurisé de connecter des magasins de données via des points de terminaison privés ou des réseaux virtuels.
  • Utilisez Azure Key Vault pour stocker les informations d’identification, le cas échéant.
  • Utilisez ADF pour le chiffrement de clé gérée par le client (CMK) des informations d’identification, et stockez celles-ci dans le runtime d’intégration auto-hébergé.
• Révisez la conception de la surveillance continue de tous les composants d’intégration de données.

Considérations relatives à l’architecture

Lorsque vous examinez la conception de l’intégration de données, tenez compte des recommandations et directives suivantes pour vous assurer que les composants d’intégration de données de votre solution offriront une excellence opérationnelle, une efficacité des performances, une fiabilité et une sécurité continues.

Excellence opérationnelle

Pour une excellence opérationnelle, évaluez les points suivants.

• Environnement : lors de la planification de vos environnements, isolez-les par développement/test, test d’acceptation utilisateur (UAT) et production. Utilisez les options organisationnelles de dossier pour organiser vos pipelines et jeux de données par travaux métier/ETL afin de faciliter leur maintenance. Utilisez des annotations pour étiqueter vos pipelines afin de pouvoir les surveiller facilement. Créez des pipelines réutilisables en utilisant des paramètres, ainsi que des activités d’itération et conditionnelles.
• Surveillance et génération d’alertes : les espaces de travail Synapse incluent le hub Monitor, qui contient des informations de supervision complètes sur chaque exécution de pipeline. Il s’intègre également avec Log Analytics pour approfondir l’analyse des journaux et la génération d’alertes. Vous devriez implémenter ces fonctionnalités pour fournir des notifications d’erreur proactives. Utilisez également des chemins d’accès En cas d’échec pour implémenter une gestion des erreurs personnalisée.
• Déploiement et test automatisés : les pipelines Azure Synapse sont intégrés à l’espace de travail Synapse, ce qui vous permet de tirer parti de l’automatisation et du déploiement de l’espace de travail. Utilisez des modèles ARM pour réduire les activités manuelles lors de la création d’espaces de travail Synapse. Par ailleurs, intégrez des espaces de travail Synapse avec Azure DevOps pour générer un contrôle de version du code et automatiser la publication.

Efficacité des performances

Pour améliorer l’efficacité des performances, évaluez les points suivants.

• Suivez les conseils de performances et les fonctionnalités d’optimisation lors de l’utilisation de l’activité de copie.
• Choisissez des connecteurs optimisés pour le transfert de données au lieu de connecteurs génériques. Par exemple, utilisez PolyBase au lieu d’une insertion en bloc lors du déplacement de données d’Azure Data Lake Storage Gen2 (ALDS Gen2) vers un pool SQL dédié.
• Lors de la création d’un runtime d’intégration Azure, définissez l’emplacement de la région comme résolution automatique, ou sélectionnez la même région que les magasins de données.
• Pour le runtime d’intégration auto-hébergé, choisissez la taille de machine virtuelle Azure en fonction des exigences d’intégration.
• Choisissez une connexion réseau stable, comme Azure ExpressRoute, pour disposer d’une bande passante rapide et cohérente.

Fiabilité

Lorsque vous exécutez un pipeline à l’aide d’Azure Integration Runtime, il est serverless par nature et fournit une résilience immédiatement opérationnelle. Il ne restent aux clients que peu de choses à gérer. Toutefois, quand un pipeline s’exécute dans un runtime d’intégration auto-hébergé, nous vous recommandons de l’exécuter à l’aide d’une configuration de haute disponibilité dans les machines virtuelles Azure. Cette configuration garantit que les pipelines d’intégration ne sont pas interrompus même quand une machine virtuelle est hors connexion. Nous vous recommandons également d’utiliser Azure ExpressRoute pour une connexion réseau rapide et fiable entre l’environnement local et Azure.

Sécurité

Une plateforme de données sécurisée est l’une des principales exigences de chaque organisation. Vous devez planifier minutieusement la sécurité de la plateforme entière, plutôt que de composants individuels. Voici quelques directives de sécurité pour les solutions de pipeline Azure Synapse.

• Sécurisez la migration de données vers le cloud à l’aide de points de terminaison privés Azure Synapse.
• Utilisez les identités managées Microsoft Entra à des fins d’authentification.
• Utilisez le contrôle d’accès en fonction du rôle (RBAC) Azure et le RBAC Synapse pour l’autorisation.
• Stockez les informations d’identification, secrets et autres clés dans Azure Key Vault plutôt que dans le pipeline. Pour plus d’informations, consultez Utiliser des secrets Azure Key Vault dans les activités de pipeline.
• Connectez-vous à des ressources locales via Azure ExpressRoute ou un VPN sur des points de terminaison privés.
• Activez les options Sortie sécurisée et Entrée sécurisée dans les activités du pipeline lorsque les paramètres stockent des secrets ou mots de passe.

Étapes suivantes

Dans l’article suivant de la série Réussite d’Azure Synapse par conception, découvrez comment évaluer la conception de votre pool SQL dédié pour identifier d’éventuels problèmes et valider qu’elle est conforme aux directives et exigences.