Databricks Runtime 12.0 per Machine Learning (EoS)

Databricks Runtime 12.0 per Machine Learning è un ambiente pronto all’uso ottimizzato per l'esecuzione di processi di apprendimento automatico e data science basato su Databricks Runtime 12.0 (EoS). Databricks Runtime ML contiene molte di queste popolari librerie per l’apprendimento automatico, tra cui TensorFlow, PyTorch e XGBoost. Databricks Runtime ML include AutoML, uno strumento per eseguire automaticamente il training delle pipeline di Machine Learning. Azure Databricks supporta il training di Deep Learning distribuito tramite HorovodRunner e il pacchetto .

Per altre informazioni, incluse le istruzioni per la creazione di un cluster di Machine Learning di Databricks Runtime, vedere Intelligenza artificiale e Machine Learning in Databricks.

Miglioramenti e nuove funzionalità

Databricks Runtime 12.0 ML è basato su Databricks Runtime 12.0. Per informazioni sulle novità di Databricks Runtime 12.0, tra cui Apache Spark MLlib e SparkR, vedere le note sulla versione di Databricks Runtime 12.0 (EoS).

Miglioramenti a AutoML

• I modelli di previsione possono ora includere facoltativamente le festività del paese.
• La previsione supporta ora frequenze mensili, trimestrali e annuali.
• AutoML ora può usare set di dati di dimensioni maggiori per il training. AutoML alloca automaticamente più core CPU per set di dati di grandi dimensioni.

Per altre informazioni su AutoML, vedere Che cos'è AutoML?.

MLflow 2.0

Databricks Runtime 12.0 ML include MLflow 2.0. MLflow 2.0 si basa sulla solida piattaforma MLflow e incorpora un ampio feedback degli utenti per semplificare i flussi di lavoro di data science e offrire strumenti innovativi e di prima classe per MLOps. Le funzionalità e i miglioramenti includono estensioni per le ricette MLflow (in precedenza pipeline MLflow), come AutoML, ottimizzazione degli iperparametri e supporto della classificazione, nonché integrazioni modernizzate con l'ecosistema ml, un'interfaccia utente di rilevamento MLflow semplificata, un aggiornamento delle API principali nei componenti della piattaforma di MLflow e altro ancora. Per altre informazioni, vedere la documentazione di MLflow 2.0 o consultare il post di blog.

scikit-learn 1.0

Databricks Runtime ML 12.0 include la versione scikit-learn 1.0. Visitare la documentazione scikit-learn per informazioni sulle modifiche apportate a questa versione scikit-learn.

Ambiente di sistema

L'ambiente di sistema in Databricks Runtime 12.0 ML differisce da Databricks Runtime 12.0 come indicato di seguito:

• DBUtils: Databricks Runtime ML non include l'utilità libreria (dbutils.library) (legacy). Usare %pip invece i comandi. Vedere Librerie Python con ambito notebook.
• Per i cluster GPU, Databricks Runtime ML include le librerie GPU NVIDIA seguenti:
  • CUDA 11.3
  • cuDNN 8.0.5.39
  • NCCL 2.9.9
  • TensorRT 7.2.2

Databricks Runtime 12.0 ML include XGBoost 1.6.2, che non supporta cluster GPU con capacità di calcolo 5.2 e versioni precedenti.

Librerie

Le sezioni seguenti elencano le librerie incluse in Databricks Runtime 12.0 ML che differiscono da quelle incluse in Databricks Runtime 12.0.

Contenuto della sezione:

• Librerie di livello superiore
• Librerie Python
• Librerie R
• Librerie Java e Scala (cluster Scala 2.12)

Librerie di livello superiore

Databricks Runtime 12.0 ML include le librerie di livello superiore seguenti:

• GraphFrames
• Horovod e HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard
• Scikit-learn

Librerie Python

Databricks Runtime 12.0 ML usa Virtualenv per la gestione dei pacchetti Python e include molti dei pacchetti ML più diffusi.

Oltre ai pacchetti specificati nelle sezioni seguenti, Databricks Runtime 12.0 ML include anche i pacchetti seguenti:

• hyperopt 0.2.7.db1
• sparkdl 2.3.0-db3
• automl 1.14.1

Per riprodurre l'ambiente Python di Databricks Runtime ML nell'ambiente virtuale Python locale, scaricare il file requirements-12.0.txt ed eseguire pip install -r requirements-12.0.txt. Questo comando installa tutte le librerie open source usate da Databricks Runtime ML, ma non installa librerie sviluppate da Databricks, ad esempio databricks-automl, databricks-feature-store o la creazione di copia tramite fork di Databricks di hyperopt.

Librerie Python nei cluster CPU

Librerie Python nei cluster GPU

Librerie R

Le librerie R sono identiche alle librerie R in Databricks Runtime 12.0.

Librerie Java e Scala (cluster Scala 2.12)

Oltre alle librerie Java e Scala in Databricks Runtime 12.0, Databricks Runtime 12.0 ML contiene i file JAR seguenti:

Cluster CPU

Cluster GPU