Choisir une technologie de traitement par lots dans Azure

Les solutions Big Data se composent souvent de tâches de traitement par lots distinctes, qui contribuent à la solution globale de traitement des données. Vous pouvez utiliser le traitement par lots pour les charges de travail qui ne nécessitent pas d’accès immédiat aux aperçus. Le traitement par lots peut répondre aux exigences de traitement en temps réel. Cette méthode vous permet également d’équilibrer la complexité et de réduire les coûts de votre implémentation globale.

L’exigence fondamentale des moteurs de traitement par lots est la possibilité d’effectuer un scale-out des calculs pour gérer de gros volumes de données. Contrairement au traitement en temps réel, le traitement par lots comporte des latences (temps entre l’ingestion des données et le calcul du résultat) qui se mesurent en minutes, voire en heures.

Choisir une technologie pour le traitement par lots

Microsoft propose plusieurs services vous permettant d’effectuer le traitement par lots.

Microsoft Fabric

Microsoft Fabric est une plateforme d’analytique et de données tout-en-un destinée aux organisations. Il s’agit d’une offre de logiciel en tant que service qui simplifie l’approvisionnement, la gestion et la gouvernance d’une solution d’analytique de bout en bout. Fabric gère le déplacement, le traitement, l’ingestion, la transformation et le reporting des données. Parmi les fonctionnalités de traitement par lots proposées par Fabric, on retrouve les ingénieurs de données, les entrepôts de données, les lakehouses et le traitement Apache Spark. Azure Data Factory dans Fabric accepte également les lakehouses. Pour simplifier et accélérer le développement, vous pouvez activer Copilot, basé sur l’IA.

• Langages : R, Python, Java, Scala et SQL

• Sécurité : réseau virtuel géré et contrôle d’accès en fonction du rôle OneLake (RBAC)

• Stockage principal : OneLake, qui propose des raccourcis et des options de mise en miroir

• Spark : un pool de démarrage préhydraté et un pool Spark personnalisé avec des tailles de nœud prédéfinies

Azure Synapse Analytics

Azure Synapse Analytics est un service analytique d’entreprise qui réunit les technologies SQL et Spark dans un seul espace de travail. Azure Synapse Analytics simplifie la sécurité, la gouvernance et la gestion. Chaque espace de travail dispose de pipelines de données intégrés grâce auxquels vous pouvez créer des flux de travail de bout en bout. Vous pouvez également approvisionner un pool SQL dédié pour une analytique à grande échelle, un point de terminaison SQL sans serveur que vous pouvez utiliser pour interroger directement le lac et un runtime Spark pour le traitement des données distribuées.

• Langages : Python, Java, Scala et SQL

• Sécurité : réseau virtuel géré, RBAC et contrôle d’accès, listes de contrôle d’accès au stockage sur Azure Data Lake Storage

• Stockage principal : Data Lake Storage, s’intègre également à d’autres sources

• Spark : configuration Spark personnalisée avec des tailles de nœud prédéfinies

Azure Databricks

Azure Databricks est une plateforme d’analyse basée sur Spark. Il propose des fonctionnalités Spark enrichies et premium basées sur Spark open source. Azure Databricks est un service Microsoft qui s’intègre au reste des services Azure. Ce service propose des configurations supplémentaires pour les déploiements de cluster Spark. Par ailleurs, Unity Catalog permet de simplifier la gouvernance des objets Azure Databricks Spark.

• Langages : R, Python, Java, Scala et Spark SQL.

• Sécurité : authentification utilisateur avec Microsoft Entra ID.

• Stockage principal : intégration au Stockage Blob Azure, à Azure Data Lake Storage (ADLS), à Azure Synapse et à d’autres services. Pour plus d’informations, consultez Sources de données.

Voici d’autres avantages :

• Notebooks basés sur le web pour la collaboration et l’exploration de données.

• Heures de début du cluster rapides, arrêt et mise à l’échelle automatiques.

• Prend en charge les clusters compatibles GPU.

Critères de sélection principaux

Pour choisir votre technologie de traitement par lots, posez-vous les questions suivantes :

• Avez-vous besoin d’un service géré, ou préférez-vous gérer vos propres serveurs ?

• Souhaitez-vous créer la logique de traitement par lots de manière déclarative ou impérative ?

• Effectuez-vous des traitements par lots en rafales ? Si c’est le cas, optez pour des solutions qui vous permettent de mettre fin automatiquement à un cluster ou qui proposent des modèles tarifaires pour chaque tâche de traitement par lots.

• Avez-vous besoin d’interroger des magasins de données relationnels en parallèle de vos traitements par lots, par exemple, pour rechercher des données de référence ? Si c’est le cas, optez pour des solutions qui vous permettent d’interroger des magasins relationnels externes.

Matrice des fonctionnalités

Les tableaux suivants récapitulent les principales différences entre les fonctionnalités des différents services.

Fonctionnalités générales

[1] Capacité Fabric affectée.

[2] Une unité Azure Databricks mesure la capacité de traitement par heure.

Autres fonctionnalités

[1] prédicats de filtre uniquement. Pour en savoir plus, consultez Sécurité au niveau des lignes.

Contributeurs

Cet article est géré par Microsoft. Il a été écrit à l’origine par les contributeurs suivants.

Principaux auteurs :

• Zoiner Tejada | CEO et Architecte
• Pratima Valavala | Architecte principal de solutions

Pour afficher les profils LinkedIn non publics, connectez-vous à LinkedIn.

Étapes suivantes

• Présentation de Fabric
• Guide de décision de Fabric
• Formation : Présentation d’Azure Synapse Analytics
• Présentation d’Azure HDInsight
• Présentation d’Azure Databricks

Ressources associées

• Conception d’une architecture d’analyse
• Choisir un magasin de données analytiques dans Azure
• Choisir une technologie d’analytique de données dans Azure
• Analyse de bout en bout avec Azure Synapse Analytics