Come configurare le impostazioni dei cluster Big Data dopo la distribuzione
Si applica a: 
SQL Server 2019 (15.x)
Importante
Il componente aggiuntivo per i cluster Big Data di Microsoft SQL Server 2019 verrà ritirato. Il supporto per i cluster Big Data di SQL Server 2019 terminerà il 28 febbraio 2025. Tutti gli utenti esistenti di SQL Server 2019 con Software Assurance saranno completamente supportati nella piattaforma e fino a quel momento il software continuerà a ricevere aggiornamenti cumulativi di SQL Server. Per altre informazioni, vedere il post di blog relativo all'annuncio e Opzioni per i Big Data nella piattaforma Microsoft SQL Server.
Le impostazioni con ambito cluster, servizio e risorsa per i cluster Big Data di SQL Server possono essere configurate dopo la distribuzione tramite l'interfaccia della riga di comando azdata. Questa funzionalità consente agli amministratori dei cluster Big Data di SQL Server di modificare le configurazioni in modo da soddisfare sempre i requisiti del carico di lavoro. In questo articolo vengono illustrati scenari di esempio su come configurare i requisiti relativi al fuso orario e al carico di lavoro Spark. La funzionalità di configurazione post-distribuzione segue un flusso di impostazione, differenziazione, applicazione.
Nota
La configurazione delle impostazioni post-distribuzione è disponibile solo con i cluster Big Data di SQL Server CU9 e implementazioni successive. La configurazione delle impostazioni non include la scalabilità, l'archiviazione o la configurazione dell'endpoint. Le opzioni e le istruzioni per configurare i cluster Big Data di SQL Server prima dell'aggiornamento CU9 sono disponibili qui.
Scenario dettagliato: Configurare il fuso orario nei cluster Big Data di SQL Server
A partire dai cluster Big Data di SQL Server CU13, è possibile personalizzare la configurazione del fuso orario del cluster. In questo modo, i timestamp dei servizi saranno allineati al fuso orario selezionato. L'impostazione non si applica al piano di controllo dei cluster Big Data. La nuova configurazione del fuso orario viene applicata a tutti i pool di SQL Server (master, calcolo e dati), ai componenti Hadoop e a Spark.
Nota
Per impostazione predefinita, i cluster Big Data di SQL Server impostano come fuso orario l'ora UTC.
Usare il comando seguente per impostare la configurazione del fuso orario:
azdata bdc settings set --settings bdc.timezone=America/Los_Angeles
Applicare le impostazioni in sospeso al cluster
Il comando seguente applicherà la configurazione e riavvierà tutti i servizi. Esaminare le ultime sezioni di questo articolo per indicazioni su come tenere traccia delle modifiche e controllare il processo di configurazione.
azdata bdc settings apply
Scenario dettagliato: Configurare il cluster per soddisfare i requisiti del carico di lavoro Spark
Visualizzare le configurazioni correnti del servizio Spark del cluster Big Data
L'esempio seguente illustra come visualizzare le impostazioni configurate dall'utente del servizio Spark. È possibile visualizzare tutte le possibili impostazioni configurabili, le impostazioni gestite dal sistema e tutte le impostazioni configurabili e le impostazioni in sospeso tramite parametri facoltativi. Per altre informazioni, vedere Istruzione azdata bdc spark.
azdata bdc spark settings show
Output di esempio
Servizio Spark
| Impostazione | Valore corrente |
|---|---|
spark-defaults-conf.spark.driver.cores |
1 |
spark-defaults-conf.spark.driver.memory |
1664m |
Modificare il numero predefinito di core e memoria per il driver Spark
Aggiornare il numero predefinito di core a due e la memoria predefinita a 7.424 MB per il servizio Spark. Questo aggiornamento influirà su tutte le risorse con Spark, per il servizio Spark.
azdata bdc spark settings set --settings spark-defaults-conf.spark.driver.cores=2,spark-defaults-conf.spark.driver.memory=7424m
Modificare il numero predefinito di core e memoria per gli executor Spark nel pool di archiviazione
Aggiornare il numero predefinito di core dell'executor a 4 per il pool di archiviazione.
azdata bdc spark settings set --settings spark-defaults-conf.spark.executor.cores=4 --resource=storage-0
Configurare percorsi aggiuntivi per il classpath predefinito delle applicazioni Spark
Il percorso /opt/hadoop/share/hadoop/tools/lib/ contiene diverse librerie da usare dalle applicazioni Spark. Il percorso di riferimento, tuttavia, non viene caricato per impostazione predefinita nel classpath delle applicazioni Spark. Per abilitare questa impostazione, applicare il modello di configurazione seguente.
azdata bdc hdfs settings set --settings hadoop-env.HADOOP_CLASSPATH="/opt/hadoop/share/hadoop/tools/lib/*"
Visualizzare le modifiche apportate alle impostazioni in sospeso nel cluster Big Data
Visualizzare le modifiche delle impostazioni in sospeso solo per il servizio Spark e nell'intero cluster Big Data.
Impostazioni del servizio Spark in sospeso
azdata bdc spark settings show --filter-option=pending --include-details
Servizio Spark
| Impostazione | Valore corrente | Valore configurato | Configurabile | Configurata | Ora ultimo aggiornamento |
|---|---|---|---|---|---|
spark-defaults-conf.spark.driver.cores |
1 |
2 |
true |
true |
|
spark-defaults-conf.spark.driver.memory |
1664m |
7424m |
true |
true |
Tutte le impostazioni in sospeso
azdata bdc settings show --filter-option=pending --include-details --recursive
Impostazioni del servizio Spark - In sospeso
| Impostazione | Valore corrente | Valore configurato | Configurabile | Configurata | Ora ultimo aggiornamento |
|---|---|---|---|---|---|
spark-defaults-conf.spark.driver.cores |
1 |
2 |
true |
true |
|
spark-defaults-conf.spark.driver.memory |
1664m |
7424m |
true |
true |
Impostazioni Spark risorsa di archiviazione-0 - In sospeso
| Impostazione | Valore corrente | Valore configurato | Configurabile | Configurata | Ora ultimo aggiornamento |
|---|---|---|---|---|---|
spark-defaults-conf.spark.executor.cores |
1 |
4 |
true |
true |
Applicare le impostazioni in sospeso al cluster Big Data
azdata bdc settings apply
Monitorare lo stato di aggiornamento della configurazione
azdata bdc status show
Passaggi facoltativi
Ripristinare le impostazioni di configurazione in sospeso
Se non si desidera più modificare le impostazioni di configurazione in sospeso, è possibile annullare la preparazione per il commit di queste impostazioni. Verranno ripristinate le impostazioni in sospeso in tutti gli ambiti.
azdata bdc settings revert
Interrompere l'aggiornamento della configurazione
Se l'aggiornamento della configurazione ha esito negativo per uno dei componenti, è possibile annullare il processo di aggiornamento e ripristinare le configurazioni precedenti del cluster. Le impostazioni che sono state preparate per la modifica durante l'aggiornamento verranno elencate di nuovo come impostazioni in sospeso.
azdata bdc settings cancel-apply