Gennaio 2019

Queste funzionalità e i miglioramenti della piattaforma Azure Databricks sono stati rilasciati a gennaio 2019.

Cambiamenti in arrivo: Python 3 diventa la versione predefinita quando si creano cluster

29 gennaio 2019

Quando la piattaforma Databricks versione 2.91 verrà rilasciata a metà febbraio, la versione predefinita di Python per i nuovi cluster passerà da Python 2 a Python 3. Ovviamente, i cluster esistenti non modificheranno le loro versioni di Python. Tuttavia, se si ha l'abitudine di prendere l'impostazione predefinita di Python 2 quando si creano nuovi cluster, è necessario iniziare a prestare attenzione alla selezione della versione di Python.

Versione Databricks Runtime 5.2 per Machine Learning (beta)

24 gennaio 2019

Databricks Runtime 5.2 ML è basato su Databricks Runtime 5.2 (EoS). Contiene molte delle più diffuse librerie di Machine Learning, tra cui TensorFlow, PyTorch, Keras e XGBoost, e fornisce il training di TensorFlow distribuito usando Horovod. Oltre alla nuova libreria da Databricks Runtime ML 5.1, Databricks Runtime 5.2 ML include le seguenti nuove funzionalità:

• GraphFrames supporta ora l'API Pregel (Python) con le ottimizzazioni delle prestazioni di Databricks.
• HorovodRunner aggiunge:
  • In un cluster GPU, i processi di training vengono mappati alle GPU anziché ai nodi di lavoro per semplificare il supporto dei tipi di istanza multi-GPU. Questo supporto predefinito consente di distribuire a tutte le GPU in un computer multi-GPU senza codice personalizzato.
  • HorovodRunner.run() restituisce ora il valore restituito dal primo processo di training.

Vedere le note sulla versione complete per Databricks Runtime 5.2 ML.

Versione Databricks Runtime 5.2

24 gennaio 2019

Databricks Runtime 5.2 è ora disponibile. Databricks Runtime 5.2 include Apache Spark 2.4.0, nuove funzionalità e aggiornamenti di Delta Lake e Structured Streaming e librerie di Python, R, Java e Scala aggiornate. Per informazioni dettagliate, vedere Databricks Runtime 5.2 (EoS).

Vista JSON della configurazione cluster

15 gennaio - 22 gennaio 2019

La pagina di configurazione del cluster adesso supporta una visualizzazione JSON:

La visualizzazione JSON è di sola lettura. È tuttavia possibile copiare il JSON e usarlo per creare e aggiornare i cluster con l'API Clusters.

Interfaccia utente del cluster

15 gennaio - 22 gennaio 2019: versione 2.89

La pagina di creazione del cluster è stata pulita e riorganizzata per semplificarne l'uso, includendo anche il nuovo interruttore Opzioni avanzate.

Distribuire Azure Databricks nella rete virtuale di Azure (aggiunta nella rete virtuale)

10 gennaio 2019

La distribuzione predefinita di Azure Databricks è un servizio completamente gestito in Azure: tutte le risorse del piano di calcolo, inclusa una rete virtuale (VNet) a cui verranno associati tutti i cluster, vengono distribuite in un gruppo di risorse bloccato. Comunque, in caso fosse necessario apportare personalizzazioni alla rete, adesso è possibile distribuire Azure Databricks nella rete virtuale (anche nota come Aggiunta nella rete virtuale) così da permettere di:

• Connettere Azure Databricks ad altri servizi di Azure (ad esempio Archiviazione di Azure) in modo più sicuro usando endpoint servizio.
• Connettersi alle origini dati locali per l'uso con Azure Databricks sfruttando i percorsi definiti dall'utente.
• Connettere Azure Databricks a un'appliance virtuale di rete per ispezionare tutto il traffico in uscita e intraprendere azioni a seconda delle regole di autorizzazione e negazione.
• Configurare Azure Databricks in modo che usi DNS personalizzato.
• Configurare le regole del gruppo di sicurezza di rete (NSG) in modo che specifichino le restrizioni del traffico in uscita.
• Distribuire i cluster di Azure Databricks nella rete virtuale esistente.

La distribuzione di Azure Databricks nella propria rete virtuale consente anche di sfruttare i vantaggi degli intervalli CIDR flessibili (qualsiasi valore tra /16 e /24 per la rete virtuale e tra /18 e /26 per le subnet).

La configurazione con l'interfaccia utente di portale di Azure è rapida e semplice: quando si crea un'area di lavoro, è sufficiente selezionare Distribuisci l'area di lavoro di Azure Databricks nella Rete virtuale, selezionare la rete virtuale e fornire intervalli CIDR per due subnet. Azure Databricks aggiorna la rete virtuale con due nuove subnet e gruppi di sicurezza di rete usando intervalli CIDR forniti dall'utente, consente l'accesso al traffico subnet in ingresso e in uscita e distribuisce l'area di lavoro nella rete virtuale aggiornata.

Se si preferisce configurare manualmente la rete virtuale per l'aggiunta nella reti virtuale, se ad esempio si vogliono usare subnet o gruppi di sicurezza di rete esistenti o creare regole di sicurezza personalizzate, è possibile usare modelli ARM forniti da Azure-Databricks anziché l'interfaccia utente del portale.

Per informazioni dettagliate, vedere Distribuire Azure Databricks nella rete virtuale di Azure (aggiunta nella rete virtuale) e Connettere l'area di lavoro di Azure Databricks alla rete locale.

Interfaccia utente della libreria

2 gennaio - 9 gennaio 2019: versione 2.88

I miglioramenti dell'interfaccia utente della libreria rilasciati originariamente a novembre 2018 e ripristinati poco dopo sono stati ridistribuiti. Questi aggiornamenti semplificano il caricamento, l'installazione e la gestione delle librerie per i cluster di Azure Databricks.

L'interfaccia utente di Azure Databricks supporta ora sia le librerie dell'area di lavoro che le librerie installate nel cluster. Esiste una libreria dell'area di lavoro in Area di lavoro e può essere installata in uno o più cluster. Una libreria installata dal cluster è una libreria esistente solo nel contesto del cluster in cui è installata. In aggiunta:

• Adesso è possibile creare una libreria da un file caricato nell'archivio oggetti.
• Adesso è possibile installare e disinstallare le librerie dalla pagina dei dettagli della libreria e dalla scheda Librerie di un cluster.
• Le librerie installate usando l'API ora vengono visualizzate nella scheda Librerie di un cluster.

Per informazioni dettagliate, vedere Librerie.

Eventi del cluster

2 gennaio - 9 gennaio 2019: versione 2.88

Sono stati aggiunti nuovi eventi del cluster per riflettere lo stato del driver Spark. Per informazioni dettagliate, vedere API dei cluster.

Controllo della versione notebook tramite Azure DevOps Services

2 gennaio - 9 gennaio 2019: versione 2.88

Adesso Azure Databricks semplifica l'uso di Azure DevOps Services (in precedenza VSTS) per effettuare il controllo della versione dei notebook. L'autenticazione è automatica, la configurazione è semplice e si gestiscono le revisioni dei notebook esattamente come si fa con l'integrazione di GitHub.

Per informazioni dettagliate, vedere Controllo della versione Git per notebook (legacy).