Deep Learning
Questo articolo offre una breve introduzione all’uso di PyTorch, Tensorflow e training distribuito per lo sviluppo e l’ottimizzazione di modelli di Deep Learning in Azure Databricks. Include anche collegamenti a pagine con esempi di notebook che illustrano come usare tali strumenti.
- Per altre informazioni sul Deep Learning in Azure Databricks, consultare Procedure consigliate per il Deep Learning in Azure Databricks.
- Per informazioni sull’uso di modelli linguistici di grandi dimensioni e sull'intelligenza artificiale generativa in Azure Databricks, consultare:
PyTorch
PyTorch è incluso in Databricks Runtime ML e fornisce il calcolo accelerato della GPU e le funzionalità di alto livello per la creazione di reti di Deep Learning. È possibile eseguire il training a nodo singolo o il training distribuito con PyTorch in Databricks. Vedere PyTorch.
TensorFlow
È possibile usare queste librerie in Databricks Runtime ML senza installare alcun pacchetto. TensorFlow supporta l’apprendimento avanzato e i calcoli numerici generali su CPU, GPU e cluster di GPU. TensorBoard offre strumenti di visualizzazione che consentono di eseguire il debug e ottimizzare i flussi di lavoro di Machine Learning e Deep Learning. Consultare TensorFlow per esempi di training a nodo singolo e distribuito.
Training distribuito
Poiché i modelli di Deep Learning sono dati e calcoli a elevato utilizzo di calcolo, il training diffuso può essere importante. Per esempi di diffusione di deep learning con le integrazioni con Ray, TorchDistributor e DeepSpeed, consultare Training distribuito.
Tenere traccia dello sviluppo di modelli di Deep Learning
Il rilevamento rimane una pietra angolare dell’ecosistema MLflow ed è particolarmente essenziale per la natura iterativa dell’apprendimento avanzato. Databricks usa MLflow per tenere traccia delle esecuzioni di training e dello sviluppo di modelli di Deep Learning. Consultare Tenere traccia dello sviluppo di modelli con MLflow.