Agosto 2023

Queste funzionalità e i miglioramenti della piattaforma Azure Databricks sono stati rilasciati a agosto 2023.

Le tabelle ora vengono visualizzate nella ricerca di spostamento

31 agosto 2023

Le tabelle registrate in Unity Catalog ora vengono visualizzate nella ricerca di spostamento nella barra superiore. Vedere Cercare oggetti dell'area di lavoro.

Interfaccia della riga di comando di Databricks aggiornata alla versione 0.203.3 (anteprima pubblica)

30 agosto 2023

L'interfaccia della riga di comando di Databricks (CLI di Databricks) è stata aggiornata alla versione 0.203.3. Per altre informazioni, vedere il log delle modifiche per la versione 0.203.3.

Driver JDBC di Databricks 2.6.34

30 agosto 2023

È stata rilasciata la versione 2.6.34 del driver JDBC di Databricks (download). Questa versione risolve diversi problemi di vulnerabilità aggiornando le librerie di terze parti. In questa versione vengono risolti anche i seguenti problemi:

• Perdita di thread quando una query non riesce a connettersi al server.
• Commenti mancanti nella REMARKS colonna dei metadati della tabella.
• Quando un'operazione di chiusura di un insieme di risultati restituisce un errore, il connettore non rimuove le voci del gestore dell'operazione dal thread di controllo heartbeat.

La versione migliora inoltre la gestione dei messaggi di errore rispettando SQLState e codici di errore dal server e verifica correttamente la versione del protocollo del server.

Databricks SDK per Go aggiornato alla versione 0.18.0 (beta)

29 agosto 2023

Databricks SDK per Go versione 0.18.0 introduce 17 modifiche che causano un'interruzione dell'API, aggiunge 30 API e aggiunge una dozzina di campi. Per altre informazioni, vedere il log delle modifiche per la versione 0.18.0.

Databricks SDK per Python aggiornato alla versione 0.7.0 (Beta)

29 agosto 2023

Databricks SDK per Python versione 0.7.0 introduce una modifica che causa un'interruzione per l'API dei file e 17 ulteriori modifiche che causano un'interruzione. Questa versione aggiunge anche 14 campi e aggiunge 27 classi di dati. Per altre informazioni, vedere il log delle modifiche per la versione 0.7.0.

Provider Databricks Terraform aggiornato alla versione 1.24.1

29 agosto 2023

Il provider Databricks Terraform versione 1.24.1 include una correzione per la verifica della raggiungibilità dell'area di lavoro. Per altre informazioni, vedere il log delle modifiche per la versione 1.24.1.

Gli script Init per la fine del ciclo di vita di DBFS sono stati estesi al 1° dicembre 2023

29 agosto 2023

Databricks ha annunciato in precedenza che gli script init in DBFS raggiungevano la fine della vita il 1° settembre 2023. La data di fine vita è stata estesa al 1° dicembre 2023.

Databricks Runtime 14.0 (Beta)

29 agosto 2023

Databricks Runtime 14.0 e Databricks Runtime 14.0 ML sono ora disponibili come versioni beta.

Vedere Databricks Runtime 14.0 (EoS) e Databricks Runtime 14.0 per Machine Learning (EoS).

L’esperienza di spostamento unificata è disponibile a livello generale

28 agosto 2023

L'esperienza di spostamento unificata di Azure Databricks è ora disponibile a livello generale. Gli utenti non possono più ripristinare l'esperienza di spostamento classica. Per altre informazioni, vedere Navigazione nell'area di lavoro.

Provider Databricks Terraform aggiornato alla versione 1.24.0

25 agosto 2023

Il provider Terraform di Databricks versione 1.24.0 aggiunge il supporto API a livello di account per gli oggetti catalogo unity, aggiunge acl_principal_id a diverse origini dati e altro ancora. Per altre informazioni, vedere il log delle modifiche per la versione 1.24.0.

Impostazione di Databricks Runtime per Genomica rimossa dalla pagina delle impostazioni di amministrazione dell’area di lavoro

25 agosto 2023

Gli amministratori dell'area di lavoro non possono più abilitare o disattivare Databricks Runtime per Genomica dalla pagina delle impostazioni di amministrazione dell'area di lavoro o dall'API di configurazione dell'area di lavoro. Il runtime di Genomica di Databricks è deprecato e il supporto per Databricks Runtime per Genomica è stato rimosso il 24 settembre 2022.

Il runtime di Genomica di Databricks è stato deprecato. Per gli equivalenti open source, vedere repository per genomics-pipelines e Glow.

Per altre informazioni sui criteri di deprecazione e sulla pianificazione di Databricks Runtime, vedere Versioni LTS supportate di Databricks Runtime.

Impostazione di servizi contenitore rimossa dalla pagina delle impostazioni di amministrazione dell’area di lavoro

25 agosto 2023

Gli amministratori dell'area di lavoro non possono più abilitare o disattivare Servizi contenitore dalla pagina delle impostazioni di amministrazione dell'area di lavoro. Servizi contenitore consente di usare i contenitori dei clienti nei cluster. È abilitata per impostazione predefinita in tutte le nuove aree di lavoro. I servizi contenitore possono comunque essere abilitati o disabilitati usando l'API di configurazione dell'area di lavoro. Per altre informazioni, vedere Abilitare Servizi contenitori.

Interfaccia della riga di comando di Databricks aggiornata alla versione 0.203.2 (anteprima pubblica)

24 agosto 2023

L’interfaccia della riga di comando di Databricks (CLI di Databricks) è stata aggiornata alla versione 0.203.2. Per altre informazioni, vedere il log delle modifiche per la versione 0.203.2.

Passare alla definizione per funzioni e variabili nei notebook Python

24 agosto 2023

In Databricks Runtime 12.2 LTS e versioni successive, quando un notebook Python è collegato a un cluster, è possibile passare automaticamente alla definizione di una variabile o di una funzione definita in tale notebook. Per altre informazioni, vedere Vai alla definizione.

Databricks Runtime 13.3 LTS è disponibile a livello generale

22 agosto 2023

Databricks Runtime 13.3 LTS e Databricks Runtime 13.3 LTS ML sono ora disponibili a livello generale.

Vedere Databricks Runtime 13.3 LTS e Databricks Runtime 13.3 LTS per Machine Learning.

Introduzione ai tag con Unity Catalog

22 agosto 2023

È ora possibile applicare tag agli oggetti a protezione diretta in Unity Catalog. I tag consentono di organizzare gli oggetti a protezione diretta e semplificare la ricerca e l'individuazione degli asset di dati. Vedere Applicare tag a oggetti a protezione diretta del catalogo Unity.

L'elenco elementi consentiti per script init, JAR e coordinate Maven nei cluster condivisi del catalogo Unity è disponibile in anteprima pubblica

23 agosto 2023

È ora possibile usare il catalogo unity allowlist per controllare l'installazione di script init, JAR e coordinate Maven nel calcolo con la modalità di accesso condiviso che esegue Databricks Runtime 13.3 e versioni successive. Si veda Librerie Allowlist e script di init su calcolo condiviso.

Il supporto dei volumi per script init e JAR è disponibile in anteprima pubblica

23 agosto 2023

È ora possibile usare i volumi di catalogo Unity per archiviare script init e JAR nel calcolo con modalità di accesso assegnato o condiviso che eseguono Databricks Runtime 13.3 e versioni successive. Vedere Librerie con ambito cluster e Installare librerie da un volume.

Commit di output del file con estensione ipynb di Databricks Repos più semplice

21 agosto 2023

Databricks Repos ha aggiunto funzionalità per semplificare il controllo e vedere i commit di output dei file con estensione ipynb:

• I repository possono creare automaticamente un file di configurazione commit_output.
• Le notifiche nell'interfaccia utente consentono di conoscere lo stato dei commit di output.
• Dal menu File è possibile controllare se viene eseguito il commit degli output del notebook.

Vedere Controllare i commit di output del notebook .ipynb.

Il supporto dei notebook IPYNB in Databricks Repos è disponibile a livello generale

21 agosto 2023

Il supporto dei notebook IPYNB in Databricks Repos è disponibile a livello generale. Per altre informazioni sui repository, vedere:

• Supporto per notebook IPYNB
• Integrazione Git per le cartelle Git di Databricks

Databricks SDK per Go aggiornato alla versione 0.17.0 (beta)

18 agosto 2023

Databricks SDK per Go versione 0.17.0 aggiunge più di 30 API e rinomina circa 10 API. Per altre informazioni, vedere il log delle modifiche per la versione 0.17.0.

Databricks SDK per Python aggiornato alla versione 0.6.0 (beta)

18 agosto 2023

Databricks SDK per Python versione 0.6.0 aggiunge circa 20 classi di dati, aggiunge circa 10 API e include circa 20 ridenominazioni. Per altre informazioni, vedere il log delle modifiche per la versione 0.6.0.

Interfaccia della riga di comando di Databricks aggiornata alla versione 0.203.1 (anteprima pubblica)

16 agosto 2023

L'interfaccia della riga di comando di Databricks (CLI di Databricks) è stata aggiornata alla versione 0.203.1. Per altre informazioni, vedere il log delle modifiche per la versione 0.203.1.

Il browser dello schema unificato è ora disponibile a livello generale

16 agosto 2023

È ora disponibile un modo unificato per esplorare i dati per notebook, editor SQL ed Esplora cataloghi, incluse le nuove funzionalità seguenti:

• Versione condensata dell'albero.
• Visualizzazione del numero di oggetti del catalogo Unity a livello di schema durante il filtraggio.
• Fare clic con il pulsante destro del mouse sul menu per visualizzare le azioni.

Le modifiche alla subnet serverless possono influire sull'utente se si codificano gli ID in uno script o un modello

15 agosto 2023

Se si usa un firewall Archiviazione di Azure, fino alla fine di agosto, alcuni ID subnet cambiano. Ciò non influisce sulla maggior parte dei clienti perché Azure esegue automaticamente la migrazione degli ID subnet nelle regole del firewall di archiviazione esistenti. Questa migrazione non influisce sui carichi di lavoro esistenti.

Se si codifica l'elenco di subnet serverless in un modello o in uno script che aggiorna le regole del firewall di Archiviazione di Azure, è necessario ottenere l'elenco più recente di ID subnet prima di tentare di aggiornare le regole. Per gli ID più recenti per ogni area, vedere Aree di Azure Databricks.

Databricks SDK per Go aggiornato alla versione 0.16.0 (beta)

14 agosto 2023

Databricks SDK per Go versione 0.16.0 aggiunge circa una dozzina di campi, rimuove circa una mezza dozzina di campi e modifica le firme di circa una mezza dozzina di API. Per altre informazioni, vedere il log delle modifiche per la versione 0.16.0.

Partner Connect supporta Census

14 agosto 2023

È ora possibile usare Partner Connect per connettere l'area di lavoro di Azure Databricks a Census. Per altre informazioni, vedere Connettersi a Census.

Chiavi del HSM gestito di Azure Key Vault ora supportate per le chiavi gestite dal cliente

14 agosto 2023

Alcuni servizi e dati di Azure Databricks supportano l'aggiunta di una chiave gestita dal cliente per proteggere e controllare l'accesso ai dati crittografati. Azure Databricks offre tre funzionalità chiave gestite dal cliente per diversi tipi di dati e posizioni. Tutte e tre queste funzionalità supportano ora le chiavi gestite dal cliente dal modulo di protezione hardware (HSM) gestito di Azure Key Vault (moduli di sicurezza hardware) insieme agli insiemi di credenziali di Azure Key Vault. Vedere Chiavi gestite dal cliente per la crittografia.

Databricks SDK per Python aggiornato alla versione 0.5.0 (beta)

11 agosto 2023

Databricks SDK per Python versione 0.5.0 modifica le firme di una mezza dozzina di API, aggiunge una dozzina di campi, rimuove una mezza dozzina di campi e aggiunge alcune classi di dati. Per altre informazioni vedere il log delle modifiche per la versione 0.5.0.

Supporto per la scrittura a livello di codice per i file dell’area di lavoro

11 agosto 2023

I cluster che usano Databricks Runtime 11.2 e versioni successive supportano la scrittura nei file dell'area di lavoro. È possibile creare, aggiornare ed eliminare file e directory a livello di codice all'interno dell'area di lavoro.

Interfaccia della riga di comando di Databricks aggiornata alla versione 0.203.0 (anteprima pubblica)

10 agosto 2023

L'interfaccia della riga di comando di Databricks (interfaccia della riga di comando di Databricks) versione 0.203.0 migliora il auth login comando e altro ancora. Per altre informazioni, vedere il log delle modifiche per la versione 0.203.0.

Provider Databricks Terraform aggiornato alla versione 1.23.0

9 agosto 2023

Il provider Databricks Terraform versione 1.23.0 si estende RunJobTask con campi supportati aggiuntivi in databricks_job, aggiunge il supporto per l'utilità di esportazione per databricks_model_servinge altro ancora. Per altre informazioni, vedere il log delle modifiche per la versione 1.23.0.

I gruppi possono ora essere rinominati

8 agosto 2023

È ora possibile rinominare i gruppi di account esistenti e i gruppi locali dell'area di lavoro. Vedere Modificare il nome di un gruppo.

Databricks SDK per Go aggiornato alla versione 0.15.0 (beta)

7 agosto 2023

Databricks SDK per Go versione 0.15.0 effettua il refactoring delle API correlate alle autorizzazioni per renderle più comprensibili e più facili da usare. Per altre informazioni, vedere il log delle modifiche per la versione 0.15.0.

Databricks SDK per Python aggiornato alla versione 0.4.0 (Beta)

7 agosto 2023

Databricks SDK per Python versione 0.4.0 effettua il refactoring delle API correlate alle autorizzazioni per renderle più comprensibili e più facili da usare. Per altre informazioni, vedere il log delle modifiche per la versione 0.4.0.

L’impostazione di configurazione della prevenzione di iFraming di terze parti è stata rimossa

7 agosto 2023

Azure Databricks riduce il rischio di domini di terze parti da iFraming di Azure Databricks aggiungendo intestazioni HTTP appropriate. La prevenzione di iFraming di terze parti è ancora abilitata per impostazione predefinita, ma Azure Databricks ha rimosso l'impostazione di amministrazione dell'area di lavoro per disabilitarla. Se in precedenza è stato disabilitato l'iFraming di terze parti per un'area di lavoro, la funzionalità continua a essere disabilitata per tale area di lavoro. Per riabilitare iFraming di terze parti, contattare il team dell'account Azure Databricks.

Estensione Databricks per Visual Studio Code aggiornata alla versione 1.1.1

4 agosto 2023

L'estensione Databricks per Visual Studio Code versione 1.1.1 offre diverse correzioni secondarie, ad esempio la corretta gestione della HOME variabile di ambiente in Windows e altro ancora. Per altre informazioni, vedere il log delle modifiche per la versione 1.1.1.

LangChain disponibile nella versione 13.1 e successive

4 agosto 2023

LangChain è disponibile come una versione sperimentale di MLflow, il quale consente ai clienti di LangChain di sfruttare gli strumenti robusti e sperimentare le capacità di tracciamento di MLflow direttamente dall'ambiente Azure Databricks.

LangChain è un framework software progettato per creare applicazioni che usano modelli di linguaggio di grandi dimensioni (LLM) e combinarli con dati esterni per offrire un contesto di training maggiore per gli LLM.

Databricks Runtime per Machine Learning include langchain in Databricks Runtime 13.1 ML e versioni successive.

Progettazione delle funzionalità nel catalogo unity è anteprima pubblica

3 agosto 2023

Con La progettazione delle funzionalità nel catalogo unity, Unity Catalog diventa l'archivio delle funzionalità. È possibile usare qualsiasi tabella Delta con una chiave primaria come tabella delle funzionalità per il training o l'inferenza del modello. Il catalogo unity offre funzionalità di individuazione e governance.

Miglioramento della gestione degli errori per errori continui ripetuti

3 agosto 2023

I processi continui che superano una soglia per gli errori consecutivi ora usano uno schema di backoff esponenziale per ripetere in modo efficiente le esecuzioni dei processi e consentire il ripristino da problemi temporanei. In precedenza, i processi continui che superano la soglia di errore venivano sospesi e non ritentati.

I data warehouse SQL serverless sono ora disponibili in aree aggiuntive

3 agosto 2023

I warehouse SQL serverless sono disponibili in aree aggiuntive: Australia orientale, Canada centrale, Stati Uniti occidentali 2, Stati Uniti centro-meridionali e Asia sud-orientale. Vedere Aree di Azure Databricks.

Se si prevede di usare un firewall Archiviazione di Azure, configurare il firewall per consentire l'accesso da subnet di SQL Warehouse serverless. Vedere Aree di Azure Databricks.

Condividere schemi con condivisione delta (anteprima pubblica)

2 agosto 2023

È ora possibile utilizzare Delta Sharing per la condivisione dell’intero schema e consentire al destinatario di accedere a tutte le tabelle e le viste nello schema al momento della condivisione, insieme alle tabelle e alle viste aggiunte allo schema in futuro. L’aggiunta di schemi a una condivisione tramite i comandi SQL richiede un'istanza di SQL Warehouse o un cluster che esegue Databricks Runtime 13.2 o una versione successiva. Per eseguire la stessa operazione con Esplora Catalog non sono previsti requisiti di calcolo. Consultare Aggiungere schemi a una condivisione.

Eseguire attività in modo condizionale nei processi di Azure Databricks

2 agosto 2023

È possibile usare la nuova condizione Run if per eseguire un'attività di processo in base allo stato delle dipendenze dell'attività, offrendo maggiore flessibilità quando si implementa un flusso di lavoro con un processo di Azure Databricks. Ad esempio, è possibile usare la condizione Run if per eseguire un'attività quando alcune o tutte le dipendenze dell'attività non sono riuscite. Vedere Configurare le dipendenze delle attività.

Provider Databricks Terraform aggiornato alla versione 1.22.0

1 agosto 2023

Il provider Databricks Terraform versione 1.22.0 aggiunge una databricks_access_control_rule_set risorsa, aggiunge databricks_metastore e databricks_metastore origini dati e altro ancora. Per altre informazioni, vedere il log delle modifiche per la versione 1.22.0.

Protezione avanzata e funzionalità di conformità

1 agosto 2023

È possibile abilitare il profilo di sicurezza della conformità, che fornisce monitoraggio aggiuntivo, un'immagine di calcolo con protezione avanzata e altre funzionalità nelle aree di lavoro. Il profilo di sicurezza della conformità è necessario per usare Azure Databricks per elaborare i dati regolamentati da PCI-DSS, ma è possibile scegliere di abilitare il profilo se tali dati non vengono elaborati. L'utente è totalmente responsabile di garantire la propria conformità a tutte le leggi e i regolamenti applicabili.

In alternativa, è possibile abilitare separatamente il monitoraggio della protezione avanzata, che fornisce un monitoraggio aggiuntivo e un'immagine di calcolo con protezione avanzata.

Entrambe le funzionalità sono disponibili come parte del nuovo componente aggiuntivo Protezione avanzata e conformità. Se si abilita una di queste funzionalità in un'area di lavoro, il nuovo componente aggiuntivo verrà addebitato come descritto nella pagina dei prezzi. Entrambe le funzionalità richiedono il piano tariffario Premium.

Il monitoraggio di Lakehouse è anteprima pubblica

1 agosto 2023

Databricks Lakehouse Monitoring integra il monitoraggio della qualità dei dati e del modello nella piattaforma Databricks. Fornisce metriche di qualità predefinite, ad esempio statistiche di riepilogo, modifiche nella distribuzione nel tempo e prestazioni del modello, tra cui equità e distorsione. Lakehouse Monitoring genera automaticamente un dashboard di riepilogo che consente di visualizzare la qualità dei dati nel tempo. È possibile impostare avvisi in base ai dati.

Databricks Runtime 13.3 LTS (Beta)

1 agosto 2023

Databricks Runtime 13.3 LTS e Databricks Runtime 13.3 LTS ML sono ora disponibili come versioni beta.

Vedere Databricks Runtime 13.3 LTS e Databricks Runtime 13.3 LTS per Machine Learning.

Le nuove operazioni Git sono disponibili a livello generale: unire rami, riassegnare ed eseguire il pull con la risoluzione dei conflitti

1 agosto 2023

Le operazioni Git seguenti sono ora disponibili a livello generale in Databricks Repos:

• Unire e riassegnare: È ora possibile unire con Git o riassegnare due rami direttamente in Azure Databricks. Questo semplifica il processo di combinazione dei rami e consente di risolvere i conflitti che si verificano durante l'operazione.
• Pull con risoluzione dei conflitti: è ora possibile usare Databricks Repos per gestire e risolvere i conflitti che si verificano quando si esegue il pull da un repository Git remoto usando Azure Databricks.

Grazie a questi potenti strumenti di risoluzione dei conflitti, la collaborazione al codice con Databricks Repos diventa ancora più semplice ed efficiente.