Bases de données SQL utilisant le connecteur Apache Spark

Le connecteur Apache Spark pour Azure SQL Database et SQL Server permet à ces bases de données de faire office de sources de données d’entrée et de générer des récepteurs de données en sortie pour les travaux Apache Spark. Il vous permet d’utiliser des données transactionnelles en temps réel dans l’analytique du Big Data et de conserver les résultats pour des requêtes ad hoc ou des rapports.

Par rapport au connecteur JDBC intégré, ce connecteur offre la possibilité d’insérer des données en bloc dans des bases de données SQL. Il peut donner de meilleurs résultats que l’insertion ligne par ligne et atteindre des performances entre 10 et 20 fois plus rapides. Le connecteur Spark pour SQL Server et Azure SQL Database prend également en charge l’authentification Microsoft Entra ID, ce qui vous permet de vous connecter en toute sécurité à vos bases de données Azure SQL à partir d’Azure Databricks à l’aide de votre compte d’ID Microsoft Entra. Il fournit des interfaces similaires au connecteur JDBC intégré. Il est facile de migrer vos travaux Spark existants pour utiliser ce connecteur.

Spécifications

il existe deux versions du connecteur spark pour SQL Server : une pour spark 2.4 et une pour spark 3 x. Le connecteur Spark 3. x requiert Databricks Runtime 7. x ou une version ultérieure. Le connecteur est pris en charge par la communauté et n’inclut pas la prise en charge des contrats SLA Microsoft. retrouvez tous les problèmes sur GitHub pour vous aider à participer à la communauté.

Utiliser un connecteur Spark

Pour obtenir des instructions sur l’utilisation du connecteur Spark, voir Connecteur Apache Spark : SQL Server & Azure SQL.