Databricks Runtime 7.1 (EoS)

Databricks ha rilasciato questa versione a luglio 2020.

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 7.1, basate su Apache Spark 3.0.

Nuove funzionalità

Databricks Runtime 7.1 include le nuove funzionalità seguenti:

Delta Lake

• È ora possibile impostare i metadati definiti dall'utente in ogni commit eseguito dalle operazioni Delta. Per informazioni dettagliate, vedere Arricchire le tabelle Delta Lake con metadati personalizzati.

• È ora possibile eseguire una query sulla configurazione spark.databricks.delta.lastCommitVersionInSession SQL per ottenere la versione dell'ultimo commit scritto dall'oggetto corrente SparkSession.

  Se non sono stati eseguiti commit da , l'esecuzione SparkSessiondi query sulla chiave restituisce un valore vuoto. Questa funzionalità non è supportata nei casi di streaming o multithreading.

• CONVERT TO DELTA può ora convertire le tabelle Parquet create da Structured Streaming usando il log delle transazioni presente nella _spark_metadata cartella . In questo modo, i file di cui non è stato eseguito il commit tramite la query di streaming vengono considerati nella tabella Delta. È quindi possibile continuare il flusso usando la stessa posizione del checkpoint.

  Nota

  È possibile che il commit dei dati dell'ultimo micro batch venga eseguito di nuovo nella tabella dopo il processo di conversione.

• Questa versione contiene miglioramenti delle prestazioni per MERGE INTO le operazioni con solo clausole corrispondenti. Cioè, hanno solo UPDATE azioni e DELETE nessuna INSERT azione.

Comandi pip per supportare le librerie Python con ambito notebook

A partire da Databricks Runtime 7.1, è possibile usare %pip i comandi per gestire le librerie Python installate in una sessione di notebook. Per altre informazioni, vedere Librerie Python con ambito Notebook.

Miglioramenti

• Aggiunge un display metodo ai dataframe PySpark, pandas e Koalas, quindi è ora possibile eseguire df.display() per un'analisi esplorativa più semplice dei dati. Vedere Creare una nuova visualizzazione.
• Koalas è ora installato.

Apache Spark

Databricks Runtime 7.1 include Apache Spark 3.0.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 7.0 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

• [SPARK-32057] ExecuteStatement: l'annullamento e la chiusura non devono essere temporaneamente ERROR
• [SPARK-32167] [SQL] Correzione di GetArrayStructFields per rispettare il supporto dei valori Null del campo interno insieme
• [SPARK-31935] La configurazione del file system Hadoop deve essere efficace nelle opzioni dell'origine dati
• [SPARK-32038] [SQL] NormalizeFloatingNumbers deve funzionare anche su un'aggregazione distinta
• [SPARK-31705] [SQL] Eseguire il push di predicati più possibili tramite join tramite la conversione CNF
• [SPARK-31945] [SQL][PYSPARK] Abilitare la cache per la stessa funzione Python
• [SPARK-8981] [CORE] Aggiungere il supporto MDC in Executor
• [SPARK-31986] [SQL] Correzione dei micros julian gregoriani per la sovrapposizione di timestamp locali sovrapposti
• [SPARK-31959] [SQL] Correzione del microbasing gregoriano-Julian durante il cambio della differenza di fuso orario standard
• [SPARK-26905] [SQL] Seguire le parole chiave riservate SQL:2016
• [SPARK-31990] [SS] Usare toSet.toSeq in Dataset.dropDuplicates
• [SPARK-31992] [SQL] Eseguire il benchmark della modalità rebase EXCEPTION
• [SPARK-31983] [WEBUI] Correzione dell'ordinamento per la colonna duration nella scheda Structured Streaming
• [SPARK-31593] [SS] Rimuovere l'aggiornamento dello stato delle query di streaming non necessario
• [SPARK-31968] [SQL] Colonne di partizione duplicate controllano quando si scrivono dati
• [SPARK-31632] [CORE][WEBUI] Arricchire il messaggio di eccezione quando il riepilogo dell'applicazione non è disponibile
• [SPARK-31916] [SQL] StringConcat può portare a StringIndexOutOfBoundsException
• [SPARK-31935] [SQL] La configurazione del file system Hadoop deve essere efficace nelle opzioni dell'origine dati
• [SPARK-31954] [SQL] Eliminare testcase duplicati in HiveQuerySuite
• [SPARK-28199] [SS] Rimuovere il pacchetto privato nella classe/oggetto nel pacchetto sql.execution
• [SPARK-31956] [SQL] Non avere esito negativo se non è presente un self join ambiguo
• [SPARK-31941] [CORE] Sostituire SparkException in NoSuchElementException per applicationInfo in AppStatusStore
• [SPARK-26905] [SQL] Aggiungere TYPE nell'elenco ANSI non riservato
• [SPARK-31921] [CORE] Correzione dell'avviso errato: "App app-xxx richiede più risorse di qualsiasi tipo di ruoli di lavoro"
• [SPARK-31220] [SQL] la ripartizione obbedisce a initialPartitionNum quando adaptiveExecutionEnabled
• [SPARK-29295] [SQL] La mappa di partizione dinamica analizzata dal percorso della partizione deve non fare distinzione tra maiuscole e minuscole
• [SPARK-31849] [PYTHON][SQL] Messaggio di errore più corretto nel messaggio di eccezione UDF python
• [SPARK-31923] [CORE] Ignorare gli exploreri interni che usano tipi non riconosciuti anziché arrestarsi in modo anomalo
• [SPARK-31849] [PYTHON][SQL] Deduplicare e riutilizzare Utils.exceptionString nella gestione delle eccezioni python

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 7.1.

Ambiente di sistema

• Sistema operativo: Ubuntu 18.04.4 LTS
• Java: 1.8.0_252
• Scala: 2.12.10
• Python: 3.7.5
• R: R versione 3.6.3 (2020-02-29)
• Delta Lake 0.7.0

Librerie Python installate

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2020-04-22.

Librerie Java e Scala installate (versione del cluster Scala 2.12)