Guide pratique pour configurer les paramètres de Cluster Big Data après le déploiement
S’applique à : 
SQL Server 2019 (15.x)
Important
Le module complémentaire Clusters Big Data Microsoft SQL Server 2019 sera mis hors service. La prise en charge de la plateforme Clusters Big Data Microsoft SQL Server 2019 se terminera le 28 février 2025. Tous les utilisateurs existants de SQL Server 2019 avec Software Assurance seront entièrement pris en charge sur la plateforme, et le logiciel continuera à être maintenu par les mises à jour cumulatives SQL Server jusqu’à ce moment-là. Pour plus d’informations, consultez le billet de blog d’annonce et les Options Big Data sur la plateforme Microsoft SQL Server.
Les paramètres du cluster, du service et de l’étendue des ressources pour les Clusters Big Data SQL Server peuvent être configurés après le déploiement par le biais de l’interface CLI azdata. Cette fonctionnalité permet aux administrateurs de Clusters Big Data SQL Server d’ajuster les configurations pour toujours satisfaire aux exigences de charge de travail. Cet article passe en revue des exemples de scénarios relatifs à la configuration du fuseau horaire et des exigences de charge de travail Spark. La fonctionnalité de configuration après le déploiement suit un flux Set, Diff, Apply.
Notes
La configuration des paramètres après le déploiement est uniquement disponible dans les déploiements Clusters Big Data SQL Server CU9 et versions ultérieures. La configuration des paramètres n’inclut pas celle de l’échelle, du stockage ou du point de terminaison. Vous trouverez les options et instructions de configuration d’un Clusters Big Data SQL Server avant l’application de CU9 ici.
Scénario pas à pas : Configurer le fuseau horaire sur Clusters Big Data SQL Server
À partir de Clusters Big Data SQL Server CU13, il est possible de personnaliser la configuration du fuseau horaire du cluster, de sorte que les horodateurs des services s’alignent sur le fuseau horaire sélectionné. Le paramètre ne s’applique pas au plan de contrôle du cluster Big Data, il définit la nouvelle configuration de fuseau horaire pour tous les pools SQL Server (principal, calcul et données), les composants Hadoop, et Spark.
Notes
Par défaut, Clusters Big Data SQL Server définit le fuseau horaire sur UTC.
Utilisez la commande suivante pour définir la configuration du fuseau horaire :
azdata bdc settings set --settings bdc.timezone=America/Los_Angeles
Appliquer les paramètres en attente au cluster
La commande suivante applique la configuration et redémarre tous les services. Passez en revue les dernières sections de cet article sur le suivi des modifications et le contrôle du processus de configuration.
azdata bdc settings apply
Scénario pas à pas : Configurez le cluster pour répondre aux exigences de votre charge de travail Spark
Afficher les configurations actuelles du service Spark du cluster Big Data
L’exemple suivant montre comment afficher les paramètres configurés par l’utilisateur du service Spark. Vous pouvez afficher tous les paramètres configurables, les paramètres gérés par le système et tous les paramètres configurables, ainsi que les paramètres en attente par le biais de paramètres facultatifs. Pour plus d’informations, consultez Instruction azdata bdc spark.
azdata bdc spark settings show
Exemple de sortie
Service Spark
| Paramètre | Valeur d'exécution |
|---|---|
spark-defaults-conf.spark.driver.cores |
1 |
spark-defaults-conf.spark.driver.memory |
1664m |
Modifier le nombre de cœurs et la mémoire par défaut pour le pilote Spark
Mettez à jour le nombre de cœurs par défaut en le définissant sur deux et la mémoire par défaut en la définissant sur 7424 Mo pour le service Spark. Cela affecte toutes les ressources avec Spark, pour le service Spark.
azdata bdc spark settings set --settings spark-defaults-conf.spark.driver.cores=2,spark-defaults-conf.spark.driver.memory=7424m
Modifier le nombre de cœurs et la mémoire par défaut pour les exécuteurs Spark dans le pool de stockage
Mettez à jour le nombre de cœurs Exécuteur par défaut en le définissant sur 4 pour le pool de stockage.
azdata bdc spark settings set --settings spark-defaults-conf.spark.executor.cores=4 --resource=storage-0
Configurer des chemins d’accès supplémentaires au classpath par défaut des applications Spark
Le chemin d’accès /opt/hadoop/share/hadoop/tools/lib/ contient plusieurs bibliothèques à utiliser par vos applications Spark, mais le chemin d’accès indiqué n’est pas chargé par défaut dans le classpath des applications Spark. Pour activer ce paramètre, appliquez le modèle de configuration suivant.
azdata bdc hdfs settings set --settings hadoop-env.HADOOP_CLASSPATH="/opt/hadoop/share/hadoop/tools/lib/*"
Afficher les modifications de paramètres en attente indexées dans le cluster Big Data
Affichez les modifications de paramètres en attente pour le service Spark uniquement et dans l’ensemble du cluster Big Data.
Paramètres du service Spark en attente
azdata bdc spark settings show --filter-option=pending --include-details
Service Spark
| Paramètre | Valeur d'exécution | Valeur configurée | Configurable | Configuré | Heure de la dernière mise à jour |
|---|---|---|---|---|---|
spark-defaults-conf.spark.driver.cores |
1 |
2 |
true |
true |
|
spark-defaults-conf.spark.driver.memory |
1664m |
7424m |
true |
true |
Tous les paramètres en attente
azdata bdc settings show --filter-option=pending --include-details --recursive
Paramètres du service Spark - En attente
| Paramètre | Valeur d'exécution | Valeur configurée | Configurable | Configuré | Heure de la dernière mise à jour |
|---|---|---|---|---|---|
spark-defaults-conf.spark.driver.cores |
1 |
2 |
true |
true |
|
spark-defaults-conf.spark.driver.memory |
1664m |
7424m |
true |
true |
Paramètres Spark des ressources Stockage-0 - En attente
| Paramètre | Valeur d'exécution | Valeur configurée | Configurable | Configuré | Heure de la dernière mise à jour |
|---|---|---|---|---|---|
spark-defaults-conf.spark.executor.cores |
1 |
4 |
true |
true |
Appliquer les paramètres en attente au cluster Big Data
azdata bdc settings apply
Surveiller l’état de mise à jour de la configuration
azdata bdc status show
Étapes facultatives
Rétablir les paramètres de configuration en attente
Si vous déterminez que vous n’avez plus besoin de modifier les paramètres de configuration en attente, vous pouvez annuler l’indexation de ces paramètres. Les paramètres en attente sont alors rétablis dans toutes les étendues.
azdata bdc settings revert
Abandonner la mise à niveau de la configuration
Si la mise à niveau de la configuration échoue pour l’un des composants, vous pouvez annuler le processus de mise à niveau et rétablir les configurations précédentes du cluster. Les paramètres indexés pour modification pendant la mise à niveau seront de nouveau listés en tant que paramètres en attente.
azdata bdc settings cancel-apply