Agosto 2022

Queste funzionalità e i miglioramenti della piattaforma Azure Databricks sono stati rilasciati ad agosto 2022.

Gli utenti dell’account possono accedere alla console dell’account

1-31 agosto 2022

Gli utenti dell'account possono accedere alla console dell'account di Azure Databricks per visualizzare un list delle aree di lavoro. Gli utenti dell'account possono visualizzare solo le aree di lavoro per i quali hanno ricevuto i diritti di accesso. Vedere Gestire l'account Azure Databricks.

Gli utenti delle aree di lavoro vengono sincronizzati automaticamente con l'account come utenti dell'account. Tutti gli utenti e le entità servizio esistenti dell'area di lavoro vengono sincronizzati automaticamente con l'account come utenti a livello di account e entità servizio. Vedere In che modo gli amministratori assegnano gli utenti all'account?.

Driver ODBC di Databricks 2.6.26

29 agosto 2022

È stata rilasciata la versione 2.6.26 del driver ODBC di Databricks (download). Questa versione aggiorna il supporto delle query. È ora possibile annullare in modo asincrono le query sui connections HTTP su richiesta dell'API.

Questa versione risolve anche il problema seguente:

• Quando si usano query personalizzate in Spotfire, il connettore non risponde.

Driver JDBC di Databricks 2.6.29

29 agosto 2022

È stata rilasciata la versione 2.6.29 del driver JDBC di Databricks (download). Questa versione risolve i problemi seguenti:

• Quando si usa un proxy HTTP con Cloud Fetch abilitato, il connettore non restituisce risultati di grandi dimensioni set.
• Problemi di testo secondari nel testo della licenza di Databricks. Mancavano i collegamenti alla documentazione.
• I nomi dei file JAR non erano corretti. Invece di SparkJDBC41.jar avrebbe dovuto essere DatabricksJDBC41.jar. Invece di SparkJDBC42.jar avrebbe dovuto essere DatabricksJDBC42.jar.

Client Databricks Feature Store ora disponibile in PyPI

26 agosto 2022

Il client Feature Store è ora disponibile in PyPI. Il client richiede Databricks Runtime 9.1 LTS o versione successiva e può essere installato usando:

%pip install databricks-feature-store

Il client è già incluso in un pacchetto con Databricks Runtime per Machine Learning 9.1 LTS e versioni successive.

Il client non può essere eseguito all'esterno di Databricks. Tuttavia, è possibile installarlo in locale per facilitare il testing unità e per il supporto dell'IDE aggiuntivo (ad esempio, completamento automatico). Per altre informazioni, vedere Client Python per Databricks Feature Store

Unity Catalog è disponibile a livello generale

25 agosto 2022

Unity Catalog è disponibile a livello generale. Per informazioni dettagliate sugli annunci e sulle limitazioni delle funzionalità, vedere la nota sulla versione Catalog ga di Unity.

Delta Sharing è disponibile a livello generale

25 agosto 2022

Delta Sharing è ora disponibile a livello generale, a partire da Databricks Runtime 11.1. Per informazioni dettagliate, vedere Che cos'è Delta Sharing?.

• Delta Sharing da Databricks a Databricks è completamente gestito senza la necessità di scambiare i token.
• Creare e gestire providers, recipientse shares con un'interfaccia utente semplice da usare.
• Creare e gestire providers, recipientse shares con le API SQL e REST con supporto completo per CLI e Terraform.
• Eseguire query su modifiche ai dati o condividere versioni incrementali con feed di dati delle modifiche.
• Limitare l'accesso dei destinatari al download di file di credenziali o all'esecuzione di query sui dati tramite elenchi di accesso IP e restrizioni all'area.
• L'uso di Delta Sharing per condividere i dati all'interno dello stesso account Azure Databricks è abilitato per impostazione predefinita.
• Applicare la separazione dei diritti delegando la gestione di Delta Sharing a utenti non amministratori.

Databricks Runtime 11.2 (Beta)

23 agosto 2022

Databricks Runtime 11.2, 11.2 Photon e 11.2 ML sono ora disponibili come versioni beta.

Vedere le note complete sulla versione di Databricks Runtime 11.2 (EoS) e Databricks Runtime 11.2 for Machine Learning (EoS).

Riduzione del volume di messaggi nell'interfaccia utente Tables Delta Live per le pipeline continue

22-29 agosto 2022 - Versione 3.79

Con questa versione, le transizioni di stato per tables in tempo reale in una pipeline continua di Delta Live Tables vengono visualizzate nell'interfaccia utente solo fino a quando il tables non entra nello stato di esecuzione. Tutte le transizioni correlate alla ricompilazione corretta del tables non vengono visualizzate nell'interfaccia utente, ma sono disponibili nel registro eventi Delta Live Tables a livello di METRICS. Tutte le transizioni agli stati di errore vengono comunque visualizzate nell'interfaccia utente. In precedenza, tutte le transizioni di stato per tablessono state visualizzate in tempo reale nell'interfaccia utente. Questa modifica riduce il volume di eventi della pipeline visualizzati nell'interfaccia utente e semplifica la ricerca dei messaggi importanti per le pipeline. Per altre informazioni sull'esecuzione di query sul registro eventi, vedere Che cos'è il registro eventi Delta Live Tables?.

Configurazione più semplice del cluster per le pipeline Delta Live Tables

22-29 agosto 2022 - Versione 3.79

È ora possibile select una modalità cluster, scalabilità automatica o dimensione fissa, direttamente nell'interfaccia utente di Delta Live Tables quando si crea una pipeline. In precedenza, la configurazione di un cluster a scalabilità automatica richiedeva modifiche alle impostazioni JSON della pipeline. Per ulteriori informazioni sulla creazione di una pipeline e sulla nuova modalità impostazione cluster , vedere eseguire un update su una pipeline Delta Live Tables.

Orchestrare lei task dbt nei flussi di lavoro di Databricks (anteprima pubblica)

22-29 agosto 2022 - Versione 3.79

È possibile eseguire il progetto dbt core come task in un processo di Azure Databricks con il nuovo task dbt, consentendo di includere le trasformazioni dbt in un flusso di lavoro di elaborazione dati. Ad esempio, il flusso di lavoro consente di inserire dati con il caricatore automatico, trasformare i dati con dbt e analizzare i dati con un task notebook. Per altre informazioni sul task dbt, incluso un esempio, vedere Usare trasformazioni dbt in un processo di Azure Databricks. Per altre informazioni sulla creazione, l'esecuzione e la pianificazione di un flusso di lavoro che include un task dbt, vedere Pianificare e orchestrare i flussi di lavoro.

Federazione delle identità è disponibile a livello generale

25 agosto 2022

La federazione delle identità semplifica l'amministrazione di Azure Databricks consentendo di assegnare utenti, entità servizio e gruppi a livello di account ad aree di lavoro con federazione delle identità. È possibile configurare tutti gli utenti, le entità servizio e i gruppi una sola volta nella console dell'account, anziché ripetere la configurazione separatamente in ogni area di lavoro. Per maggiori informazioni sulla federazione delle identità, vedere In che modo gli amministratori assegnano gli utenti alle aree di lavoro?. Per iniziare get, vedere Come gli amministratori abilitano la federazione delle identità in un'area di lavoro?.

Partner Connect supporta la connessione a Stardog

24 agosto 2022

Ora è possibile creare facilmente una connessione tra Stardog e l'area di lavoro di Azure Databricks usando Partner Connect. Stardog offre una piattaforma del grafico delle conoscenze per rispondere a query complesse tra silo di dati.

Integrazione dell’archivio funzionalità di Databricks con inferenza in tempo reale serverless

22-29 agosto 2022 - Versione 3.79

Databricks Feature Store supporta ora la ricerca automatica delle funzionalità per inferenza serverless in tempo reale. Per informazioni dettagliate, vedere Ricerca automatica delle funzionalità con Databricks Model Serving.

Supporto aggiuntivo dei tipi di dati per la ricerca automatica delle funzionalità di Databricks Feature Store

22-29 agosto 2022 - Versione 3.79

Databricks Feature Store ora supporta BooleanType per la ricerca automatica delle funzionalità. Vedere Ricerca automatica delle funzionalità con Databricks Model Serving.

Porta la tua chiave: Encrypt Git credentials

23-29 agosto 2022

È possibile usare una chiave di crittografia per Git credentials per Databricks Repos.

Vedi Porta la tua chiave: Crittografa Git credentials.

L’anteprima e la modalità di accesso dell’interfaccia utente del cluster sostituiscono la modalità di sicurezza

19 agosto 2022

La nuova interfaccia utente Crea cluster è disponibile in anteprima. Vedere Guida di riferimento per la configurazione di calcolo.

Limitazioni di Unity Catalog (anteprima pubblica)

16 agosto 2022

• I carichi di lavoro Scala, R e Machine Learning Runtime sono supportati solo nei cluster che usano la modalità di accesso utente singolo. I carichi di lavoro in questi linguaggi non supportano l'uso di views dinamici per la sicurezza a livello di riga o per la sicurezza a livello di column.
• I cloni superficiali non sono supportati quando si usa Unity Catalog come origine o destinazione del clone.
• Il bucketing non è supportato per Unity Catalogtables. I comandi che tentano di creare un table raggruppato in Unity Catalog genereranno un'eccezione.
• La modalità di sovrascrittura per le operazioni di scrittura del dataframe in Unity Catalog è supportata solo per Delta tables, non per altri formati di file. L'utente deve avere il privilegio di CREATE per il schema padre e deve essere il proprietario dell'oggetto esistente.
• Lo streaming presenta attualmente le limitazioni seguenti:
  • Non è supportato nei cluster che usano la modalità di accesso condiviso. Per i carichi di lavoro di streaming, è necessario usare la modalità di accesso utente singolo.
  • Il checkpoint asincrono non è ancora supportato.
  • Le query di streaming che durano più di 30 giorni in tutti i cluster obiettivi o processi genereranno un'eccezione. Per le query di streaming a esecuzione prolungata, configurare i tentativi automatici dei processi.
• Il riferimento a Unity Catalogtables dalle pipeline di Delta Live Tables non è attualmente supportato.
• I gruppi creati in precedenza in un'area di lavoro non possono essere usati nelle istruzioni Unity CatalogGRANT. Ciò consente di garantire una visualizzazione coerente dei gruppi che possono estendersi tra aree di lavoro. Per usare i gruppi nelle istruzioni GRANT, creare i gruppi nella console dell'account e update qualsiasi automazione per la gestione dell'entità o del gruppo ,ad esempio i connettori SCIM, Okta e Microsoft Entra ID e Terraform, per fare riferimento agli endpoint dell'account anziché agli endpoint dell'area di lavoro.

Unity Catalog è disponibile nelle aree seguenti:

• canadacentral
• centralus
• francecentral
• germanywestcentral
• japaneast
• norwayeast
• southafricanorth
• swedencentral
• switzerlandnorth
• switzerlandwest
• uaenorth
• westcentralus
• westus3
• australiaeast
• brazilsouth
• centralindia
• eastus
• eastus2
• koreacentral
• northcentralus
• northeurope
• southeastasia
• ukwest
• westeurope
• westus

Per usare Unity Catalog in un'altra area, contatta il team del tuo account.

Inferenza serverless in tempo reale nell’anteprima pubblica

16 agosto 2022

L'inferenza in tempo reale serverless elabora i modelli di Machine Learning usando MLflow e li mostra come endpoint dell'API REST. Questa funzionalità usa l'elaborazione serverless, ovvero gli endpoint e le risorse di calcolo associate vengono gestiti ed eseguiti nell'account cloud di Azure Databricks. Al momento non sono previsti costi per utilizzo e archiviazione, ma Azure Databricks fornirà notifiche all'inizio dell'addebito.

Gli amministratori dell'area di lavoro devono abilitare l'inferenza in tempo reale serverless nell'area di lavoro per poter usare questa funzionalità.

Per partecipare all'anteprima pubblica dell'inferenza in tempo reale serverless, contattare il team dell'account Azure Databricks.

La ricerca nell’area di lavoro migliorata è ora disponibile a livello generale

9 agosto 2022

È ora possibile cercare notebook, librerie, cartelle, file e repository in base al nome. È anche possibile cercare il contenuto all'interno di un notebook e visualizzare un'anteprima del contenuto corrispondente. I risultati della ricerca possono essere filtrati in base al tipo. Vedere Cercare oggetti dell'area di lavoro.

Usare le columns generate quando si creano set di dati delta Live Tables

8-15 agosto 2022 - Versione 3.78

È ora possibile usare generate columns quando si definiscono tables nelle pipeline di Tables Delta Live. Le generate sono supportate dalle interfacce Delta Live Python e SQL .

Modifica migliorata per i notebook con l’editor basato su Monaco (sperimentale)

8-15 agosto 2022

Per i notebook Python è disponibile un nuovo editor di codice basato su Monaco. Per abilitarla, selezionare l'opzione Attiva il nuovo editor di notebook nella scheda Impostazioni editor della pagina Impostazioni utente.

Il nuovo editor include suggerimenti sui tipi di parametro, ispezione degli oggetti al passaggio del mouse, riduzione del codice, supporto multi-cursore, selezione column (casella) e diff affiancati nella cronologia delle versioni del notebook.

Termine del supporto di Databricks Runtime serie 10.3

2 agosto 2022

Il supporto per Databricks Runtime 10.3 e Databricks Runtime 10.3 for Machine Learning è terminato il 2 agosto. Vedere Cicli di vita del supporto di Databricks.

Abilitare la connettività privata con collegamento privato di Azure (anteprima pubblica)

2 agosto 2022

Azure Databricks supporta ora l'abilitazione di collegamento privato di Azureconnections per la connettività privata tra gli utenti e le aree di lavoro di Azure Databricks e tra cluster sul piano di calcolo e i servizi principali nel piano di controllo all'interno dell'infrastruttura dell'area di lavoro di Databricks. Collegamento privato di Azure si connette direttamente ai servizi senza esporre il traffico alla rete pubblica. Questa funzionalità è disponibile come anteprima pubblica. Consultare Abilitare il backend e il frontend di Collegamento Privato di Azure connections.

Abilitare i warehouse SQL serverless per l’area di lavoro nell’interfaccia utente (anteprima pubblica)

2 agosto 2022

I data warehouse SQL serverless sono ora disponibili per gli account e le aree di lavoro in Azure Databricks come anteprima pubblica. Questa funzionalità richiede il piano tariffario Premium. Prima di creare i warehouse SQL serverless, un amministratore deve abilitarli per l'area di lavoro.

Delta Live Tables supporta ora il refresh solo delle tables selezionate durante gli aggiornamenti della pipeline

2-24 agosto 2022

È ora possibile avviare un update solo per le tables selezionate in una pipeline di Tables Delta Live. Questa funzionalità accelera il test delle pipeline e la risoluzione degli errori consentendo di avviare una pipeline update che aggiorna solo i tablesselezionati. Per scoprire come avviare un update solo per tablesselezionati, vedere Eseguire un update in una pipeline Delta Live Tables.

L’esecuzione del processo attende ora il completamento dell’installazione delle librerie cluster

1 agosto 2022

All'avvio di un cluster, i processi di Databricks ora attendono il completamento dell'installazione delle librerie cluster prima dell'esecuzione. In precedenza, l'esecuzione dei processi attendeva l'installazione delle librerie sui cluster multiuso solo se queste erano specificate come librerie dipendenti per il processo. Per maggiori informazioni sulla configurazione delle librerie dipendenti per i task, vedere Configurare e modificare i task di Databricks.