Modalità ad elevata concorrenza in Apache Spark per Fabric
La modalità ad elevata concorrenza consente agli utenti di condividere le stesse sessioni Spark in Spark per Fabric per carichi di lavoro di ingegneria dei dati e data science. Un elemento come un notebook usa una sessione Spark standard per l'esecuzione. In modalità ad elevata concorrenza, la sessione Spark può supportare l'esecuzione indipendente di più elementi all'interno di singoli core REPL (Read-Eval-Print Loop) esistenti all'interno dell'applicazione Spark. Questi core REPL forniscono l'isolamento per ogni elemento e impediscono la sovrascrittura delle variabili del notebook locali con variabili con lo stesso nome da altri notebook che condividono la stessa sessione.
Poiché la sessione è già in esecuzione, ciò offre agli utenti un'esperienza di esecuzione immediata durante il riutilizzo della sessione in più notebook.
Nota
In caso di pool personalizzati con modalità ad elevata concorrenza, gli utenti ottengono un'esperienza di avvio sessione 36 volte più veloce rispetto a una sessione Spark standard.
Importante
Le condizioni di condivisione delle sessioni includono:
- Le sessioni devono essere all’interno di un singolo limite utente.
- Le sessioni devono avere la stessa configurazione lakehouse predefinita.
- Le sessioni devono avere le stesse proprietà dell’ambiente di calcolo Spark.
Come parte dell'inizializzazione della sessione Spark, viene creato un core REPL. Ogni volta che un nuovo elemento inizia a condividere la stessa sessione, gli executor vengono allocati in una modalità basata su FAIR a questi notebook in esecuzione in questi core REPL all'interno dell'applicazione Spark, evitando scenari di insufficienza di risorse.
Contenuto correlato
- Per iniziare a usare la modalità ad elevata concorrenza nei notebook, vedere Configurare la modalità ad elevata concorrenza per i notebook Fabric.