Databricks Runtime 7.0 (EoS)

Databricks ha rilasciato questa versione nel giugno 2020.

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 7.0, basate su Apache Spark 3.0.

Nuove funzionalità

Databricks Runtime 7.0 include le nuove funzionalità seguenti:

• Scala 2.12

  Databricks Runtime 7.0 aggiorna Scala dalla versione 2.11.12 alla versione 2.12.10. L'elenco delle modifiche tra Scala 2.12 e 2.11 si trova nelle note sulla versione di Scala 2.12.0.

• Il caricatore automatico (anteprima pubblica), rilasciato in Databricks Runtime 6.4, è stato migliorato in Databricks Runtime 7.0

  Il caricatore automatico offre un modo più efficiente per elaborare i nuovi file di dati in modo incrementale man mano che arrivano in un archivio BLOB cloud durante LTL. Si tratta di un miglioramento rispetto allo streaming strutturato basato su file, che identifica i nuovi file elencando ripetutamente la directory cloud e monitorando i file visualizzati e può essere molto inefficiente man mano che la directory cresce. Il caricatore automatico è anche più pratico ed efficace rispetto allo streaming strutturato basato su notifica file, che richiede di configurare manualmente i servizi di notifica file nel cloud e non consente di riempire i file esistenti. Per informazioni dettagliate, vedere Che cos'è il caricatore automatico?.

  In Databricks Runtime 7.0 non è più necessario richiedere un'immagine di Databricks Runtime personalizzata per usare il caricatore automatico.

• COPY INTO (Anteprima pubblica), che consente di caricare dati in Delta Lake con tentativi idempotenti, è stato migliorato in Databricks Runtime 7.0

  Rilasciato come anteprima pubblica in Databricks Runtime 6.4, il COPY INTO comando SQL consente di caricare dati in Delta Lake con tentativi idempotenti. Per caricare i dati in Delta Lake, è necessario usare le API dataframe di Apache Spark. Se si verificano errori durante i carichi, è necessario gestirli in modo efficace. Il nuovo COPY INTO comando fornisce un'interfaccia dichiarativa familiare per caricare i dati in SQL. Il comando tiene traccia dei file caricati in precedenza ed è possibile eseguirlo di nuovo in modo sicuro in caso di errori. Per informazioni dettagliate, vedere COPY INTO.

Miglioramenti

• Il connettore Azure Synapse (in precedenza SQL Data Warehouse) supporta l'istruzione COPY .

  Il vantaggio principale di COPY è che gli utenti con privilegi inferiori possono scrivere dati in Azure Synapse senza dover disporre di autorizzazioni rigorose CONTROL in Azure Synapse.

• Il %matplotlib inline comando magic non è più necessario per visualizzare gli oggetti Matplolib inline nelle celle del notebook. Vengono sempre visualizzate inline per impostazione predefinita.

• Il rendering delle figure matplolib viene ora eseguito con transparent=False, in modo che gli sfondi specificati dall'utente non vengano persi. Questo comportamento può essere sottoposto a override impostando la configurazione spark.databricks.workspace.matplotlib.transparent truedi Spark.

• Quando si eseguono processi di produzione Structured Streaming in cluster in modalità concorrenza elevata, i riavvii di un processo hanno occasionalmente esito negativo perché il processo in esecuzione in precedenza non è stato terminato correttamente. Databricks Runtime 6.3 ha introdotto la possibilità di impostare la configurazione spark.sql.streaming.stopActiveRunOnRestart true SQL nel cluster per assicurarsi che l'esecuzione precedente si arresti. Questa configurazione è impostata per impostazione predefinita in Databricks Runtime 7.0.

Modifiche principali alla libreria

Pacchetti Python

Pacchetti Python principali aggiornati:

• boto3 1.9.162 -> 1.12.0
• matplotlib 3.0.3 -> 3.1.3
• numpy 1.16.2 -> 1.18.1
• pandas 0.24.2 -> 1.0.1
• pip 19.0.3 -> 20.0.2
• pyarrow 0.13.0 -> 0.15.1
• psycopg2 2.7.6 -> 2.8.4
• scikit-learn 0.20.3 -> 0.22.1
• scipy 1.2.1 -> 1.4.1
• seaborn 0.9.0 -> 0.10.0

Pacchetti Python rimossi:

• boto (usare boto3)
• pycurl

Pacchetti R

Pacchetti R aggiunti:

• Scopa
• highr
• isoband
• knitr
• markdown
• modelr
• reprex
• rmarkdown
• rvest
• selectr
• tidyverse
• tinytex
• xfun

Pacchetti R rimossi:

• abind
• bitops
• car
• carData
• doMC
• gbm
• h2o
• Littler
• lme4
• mapproj
• mappe
• maptools
• MatrixModels
• minqa
• mvtnorm
• nloptr
• openxlsx
• pbkrtest
• pkgKitten
• quantreg
• R.methodsS3
• R.oo
• R.utils
• RcppEigen
• RCurl
• Rio de Janeiro
• sp
• SparseM
• statmod
• zip

Librerie Java e Scala

• Versione di Apache Hive usata per gestire le funzioni definite dall'utente Hive e Hive SerDes aggiornate alla versione 2.3.
• In precedenza Archiviazione di Azure e i file JAR dell'insieme di credenziali delle chiavi venivano inseriti nel pacchetto come parte di Databricks Runtime, impedendo così di usare versioni diverse di tali librerie collegate ai cluster. Le classi in com.microsoft.azure.storage e com.microsoft.azure.keyvault non sono più nel percorso della classe in Databricks Runtime. Se si dipende da uno di questi percorsi di classe, è ora necessario collegare Archiviazione di Azure SDK o Azure Key Vault SDK ai cluster.

Modifiche del comportamento

Questa sezione elenca le modifiche del comportamento da Databricks Runtime 6.6 a Databricks Runtime 7.0. Quando si esegue la migrazione dei carichi di lavoro da versioni inferiori di Databricks Runtime a Databricks Runtime 7.0 e versioni successive, è necessario tenere presente questi carichi di lavoro.

Modifiche al comportamento di Spark

Dato che Databricks Runtime 7.0 è il primo runtime di Databricks basato su Spark 3.0, quando si esegue la migrazione dei carichi di lavoro da Databricks Runtime 5.5 LTS o 6.x, basati su Spark 2.4, sono state apportate molte modifiche. Queste modifiche sono elencate nella sezione "Modifiche del comportamento" di ogni area funzionale nella sezione Apache Spark di questo articolo sulle note sulla versione:

• Modifiche del comportamento per spark core, Spark SQL e Structured Streaming
• Modifiche del comportamento per MLlib
• Modifiche del comportamento per SparkR

Altre modifiche al comportamento

• L'aggiornamento a Scala 2.12 comporta le modifiche seguenti:

  • La serializzazione delle celle del pacchetto viene gestita in modo diverso. L'esempio seguente illustra la modifica del comportamento e come gestirla.

    L'esecuzione foo.bar.MyObjectInPackageCell.run() come definito nella cella del pacchetto seguente attiverà l'errore java.lang.NoClassDefFoundError: Could not initialize class foo.bar.MyObjectInPackageCell$

    package foo.bar
    
    case class MyIntStruct(int: Int)
    
    import org.apache.spark.sql.SparkSession
    import org.apache.spark.sql.functions._
    import org.apache.spark.sql.Column
    
    object MyObjectInPackageCell extends Serializable {
    
      // Because SparkSession cannot be created in Spark executors,
      // the following line triggers the error
      // Could not initialize class foo.bar.MyObjectInPackageCell$
      val spark = SparkSession.builder.getOrCreate()
    
      def foo: Int => Option[MyIntStruct] = (x: Int) => Some(MyIntStruct(100))
    
      val theUDF = udf(foo)
    
      val df = {
        val myUDFInstance = theUDF(col("id"))
        spark.range(0, 1, 1, 1).withColumn("u", myUDFInstance)
      }
    
      def run(): Unit = {
        df.collect().foreach(println)
      }
    }
    

    Per risolvere questo errore, è possibile eseguire il wrapping MyObjectInPackageCell all'interno di una classe serializzabile.

  • Alcuni casi che usano DataStreamWriter.foreachBatch richiederanno un aggiornamento del codice sorgente. Questa modifica è dovuta al fatto che Scala 2.12 ha la conversione automatica da espressioni lambda a tipi SAM e può causare ambiguità.

    Ad esempio, il codice Scala seguente non può essere compilato:

    streams
      .writeStream
      .foreachBatch { (df, id) => myFunc(df, id) }
    

    Per correggere l'errore di compilazione, passare foreachBatch { (df, id) => myFunc(df, id) } a foreachBatch(myFunc _) o usare l'API Java in modo esplicito: foreachBatch(new VoidFunction2 ...).

• Poiché la versione di Apache Hive usata per la gestione delle funzioni definite dall'utente Hive e Hive SerDes viene aggiornata alla versione 2.3, sono necessarie due modifiche:

  • L'interfaccia di SerDe Hive viene sostituita da una classe AbstractSerDeastratta . Per qualsiasi implementazione personalizzata di Hive SerDe , è necessaria la migrazione a AbstractSerDe .
  • L'impostazione spark.sql.hive.metastore.jars su builtin indica che il client metastore Hive 2.3 verrà usato per accedere ai metastore per Databricks Runtime 7.0. Se è necessario accedere ai metastore esterni basati su Hive 1.2, impostare spark.sql.hive.metastore.jars sulla cartella contenente i file JAR Hive 1.2.

Deprecazioni e rimozioni

• L'indice di salto dei dati è stato deprecato in Databricks Runtime 4.3 e rimosso in Databricks Runtime 7.0. È consigliabile usare invece tabelle Delta, che offrono funzionalità di salto dei dati migliorate.
• In Databricks Runtime 7.0 la versione sottostante di Apache Spark usa Scala 2.12. Poiché le librerie compilate in Scala 2.11 possono disabilitare i cluster Databricks Runtime 7.0 in modi imprevisti, i cluster che eseguono Databricks Runtime 7.0 e versioni successive non installano le librerie configurate per l'installazione in tutti i cluster. La scheda Librerie cluster mostra uno stato Skipped e un messaggio di deprecazione che illustra le modifiche nella gestione della libreria. Tuttavia, se è stato creato un cluster in una versione precedente di Databricks Runtime prima del rilascio della piattaforma Azure Databricks versione 3.20 nell'area di lavoro e ora si modifica tale cluster per usare Databricks Runtime 7.0, tutte le librerie configurate per l'installazione in tutti i cluster verranno installate in tale cluster. In questo caso, eventuali JAR incompatibili nelle librerie installate possono causare la disabilitazione del cluster. La soluzione alternativa consiste nel clonare il cluster o per creare un nuovo cluster.

Apache Spark

Databricks Runtime 7.0 include Apache Spark 3.0.

Contenuto della sezione:

• Core, Spark SQL, Structured Streaming
• MLlib
• SparkR
• Deprecazione
• Problemi noti

Core, Spark SQL, Structured Streaming

Caratteristiche salienti

• (Progetto Idrogeno) Utilità di pianificazione con riconoscimento dell'acceleratore (SPARK-24615)
• Esecuzione di query adattive (SPARK-31412)
• Eliminazione delle partizioni dinamiche (SPARK-11150)
• API UDF pandas riprogettata con hint di tipo (SPARK-28264)
• Interfaccia utente di Structured Streaming (SPARK-29543)
• API plug-in catalogo (SPARK-31121)
• Migliore compatibilità SQL ANSI

Miglioramenti delle prestazioni

• Esecuzione di query adattive (SPARK-31412)
  • Framework di base (SPARK-23128)
  • Rettifica del numero di partizione post shuffle (SPARK-28177)
  • Riutilizzo di sottoquery dinamiche (SPARK-28753)
  • Lettore casuale locale (SPARK-28560)
  • Ottimizzazione dell'asimmetria dei join (SPARK-29544)
  • Ottimizzare la lettura di blocchi casuali contigui (SPARK-9853)
• Eliminazione delle partizioni dinamiche (SPARK-11150)
• Altre regole di ottimizzazione
  • Riutilizzo delle regoleSubquery (SPARK-27279)
  • Rule PushDownLeftSemiAntiJoin (SPARK-19712)
  • Push delle regoleLeftSemiLeftAntiThroughJoin (SPARK-19712)
  • Rule ReplaceNullWithFalse (SPARK-25860)
  • Regola Elimina gli ordinamenti senza limiti nella sottoquery di Join/Aggregation (SPARK-29343)
  • Regola PruneHiveTablePartitions (SPARK-15616)
  • Eliminazione di campi annidati non necessari da Genera (SPARK-27707)
  • RewriteNonCorrelatedExists (SPARK-29800)
• Ridurre al minimo i costi di sincronizzazione della cache delle tabelle (SPARK-26917), (SPARK-26617), (SPARK-26548)
• Suddividere il codice di aggregazione in funzioni di piccole dimensioni (SPARK-21870)
• Aggiungere l'invio in batch nel comando INSERT e ALTER TABLE ADD PARTITION (SPARK-29938)

Miglioramenti dell'estendibilità

• API plug-in catalogo (SPARK-31121)
• Refactoring dell'API V2 dell'origine dati (SPARK-25390)
• Supporto metastore Hive 3.0 e 3.1 (SPARK-27970),(SPARK-24360)
• Estendere l'interfaccia del plug-in Spark al driver (SPARK-29396)
• Estendere il sistema di metriche Spark con metriche definite dall'utente usando i plug-in executor (SPARK-28091)
• API per sviluppatori per il supporto esteso per l'elaborazione a colonne (SPARK-27396)
• Migrazione di origine predefinita con DSV2: parquet, ORC, CSV, JSON, Kafka, Text, Avro (SPARK-27589)
• Allow Function Anywherection in SparkExtensions (SPARK-25560)
• Consente la registrazione di Aggregator come UDAF (SPARK-27296)

Miglioramenti del connettore

• Eliminazione delle colonne tramite espressioni non deterministiche (SPARK-29768)
• Supporto spark.sql.statistics.fallBackToHdfs nelle tabelle dell'origine dati (SPARK-25474)
• Consenti l'eliminazione della partizione con filtri di sottoquery nell'origine file (SPARK-26893)
• Evitare il pushdown delle sottoquery nei filtri dell'origine dati (SPARK-25482)
• Caricamento ricorsivo dei dati da origini file (SPARK-27990)
• Parquet/ORC
  • Pushdown dei predicati disgiuntivi (SPARK-27699)
  • Generalizzare l'eliminazione della colonna nidificata (SPARK-25603) e attivata per impostazione predefinita (SPARK-29805)
  • Solo Parquet
    • Pushdown predicato Parquet per i campi annidati (SPARK-17636)
  • Solo ORC
    • Supporto dello schema di merge per ORC (SPARK-11412)
    • Eliminazione dello schema annidata per ORC (SPARK-27034)
    • Riduzione della complessità della conversione del predicato per ORC (SPARK-27105, SPARK-28108)
    • Aggiornare Apache ORC alla versione 1.5.9 (SPARK-30695)
• CSV
  • Pushdown dei filtri di supporto nell'origine dati CSV (SPARK-30323)
• Hive SerDe
  • Nessuna inferenza dello schema durante la lettura della tabella serde Hive con origine dati nativa (SPARK-27119)
  • I comandi CTAS Hive devono usare l'origine dati se è convertibile (SPARK-25271)
  • Usare l'origine dati nativa per ottimizzare l'inserimento di una tabella Hive partizionata (SPARK-28573)
• Apache Kafka
  • Aggiunta del supporto per le intestazioni Kafka (SPARK-23539)
  • Aggiungere il supporto del token di delega Kafka (SPARK-25501)
  • Introduzione della nuova opzione all'origine Kafka: offset per timestamp (inizio/fine) (SPARK-26848)
  • Supportare l'opzione nell'origine minPartitions batch Kafka e nell'origine di streaming v1 (SPARK-30656)
  • Aggiornare Kafka alla versione 2.4.1 (SPARK-31126)
• Nuove origini dati predefinite
  • Nuove origini dati di file binari predefinite (SPARK-25348)
  • Nuove origini dati batch no-op (SPARK-26550) e sink di streaming no-op (SPARK-26649)

Miglioramenti delle funzionalità

• [Idrogeno] Utilità di pianificazione con riconoscimento dell'acceleratore (SPARK-24615)
• Introdurre un set completo di hint di join (SPARK-27225)
• Aggiungere PARTITION BY hint per le query SQL (SPARK-28746)
• Gestione dei metadati nel server Thrift (SPARK-28426)
• Aggiungere funzioni di ordine superiore all'API scala (SPARK-27297)
• Supporto di semplici operazioni di raccolta nel contesto dell'attività barriera (SPARK-30667)
• Le funzioni definite dall'utente Hive supportano il tipo definito dall'utente (SPARK-28158)
• Supporto degli operatori DELETE/UPDATE/MERGE in Catalyst (SPARK-28351, SPARK-28892, SPARK-28893)
• Implementare DataFrame.tail (SPARK-30185)
• Nuove funzioni predefinite
  • sinh, cosh, tanh, asinh, acosh, atanh (SPARK-28133)
  • any, every, some (SPARK-19851)
  • bit_and, bit_or (SPARK-27879)
  • bit_count (SPARK-29491)
  • bit_xor (SPARK-29545)
  • bool_and, bool_or (SPARK-30184)
  • count_if (SPARK-27425)
  • date_part (SPARK-28690)
  • extract (SPARK-23903)
  • forall (SPARK-27905)
  • from_csv (SPARK-25393)
  • make_date (SPARK-28432)
  • make_interval (SPARK-29393)
  • make_timestamp (SPARK-28459)
  • map_entries (SPARK-23935)
  • map_filter (SPARK-23937)
  • map_zip_with (SPARK-23938)
  • max_by, min_by (SPARK-27653)
  • schema_of_csv (SPARK-25672)
  • to_csv (SPARK-25638)
  • transform_keys (SPARK-23939)
  • transform_values (SPARK-23940)
  • typeof (SPARK-29961)
  • versione (SPARK-29554)
  • xxhash64 (SPARK-27099)
• Miglioramenti delle funzioni predefinite esistenti
  • Miglioramento predefinito di funzioni/operazioni di data e ora (SPARK-31415)
  • Modalità di supporto FAILFAST per from_json (SPARK-25243)
  • array_sort aggiunge un nuovo parametro di confronto (SPARK-29020)
  • Il filtro può ora accettare l'indice come input e l'elemento (SPARK-28962)

Miglioramenti della compatibilità SQL

• Passare al calendario gregoriano proleptico (SPARK-26651)
• Definizione del modello datetime di Spark (SPARK-31408)
• Introdurre i criteri di assegnazione dell'archivio ANSI per l'inserimento di tabelle (SPARK-28495)
• Seguire la regola di assegnazione dell'archivio ANSI nell'inserimento di tabelle per impostazione predefinita (SPARK-28885)
• Aggiungere un SQLConf spark.sql.ansi.enabled (SPARK-28989)
• Supporto della clausola di filtro SQL ANSI per l'espressione di aggregazione (SPARK-27986)
• Supportare la funzione SQL OVERLAY ANSI (SPARK-28077)
• Supportare i commenti annidati ANSI tra parentesi quadre (SPARK-28880)
• Generare un'eccezione in caso di overflow per numeri interi (SPARK-26218)
• Controllo dell'overflow per le operazioni aritmetiche intervallo (SPARK-30341)
• Genera eccezione quando viene eseguito il cast di stringhe non valide al tipo numerico (SPARK-30292)
• Rendere coerente il comportamento di overflow di intervallo e divisione con altre operazioni (SPARK-30919)
• Aggiungere alias di tipo ANSI per char e decimal (SPARK-29941)
• Il parser SQL definisce parole chiave riservate conformi a ANSI (SPARK-26215)
• Impedisci parole chiave riservate come identificatori quando la modalità ANSI è attivata (SPARK-26976)
• Supportare la sintassi SQL LIKE ... ESCAPE ANSI (SPARK-28083)
• Supporto della sintassi booleana-predicato SQL ANSI (SPARK-27924)
• Supporto migliore per l'elaborazione di sottoquery correlate (SPARK-18455)

Miglioramenti di monitoraggio e debug

• Nuova interfaccia utente di Structured Streaming (SPARK-29543)
• SHS: consente il roll over dei registri eventi per l'esecuzione di app di streaming (SPARK-28594)
• Aggiungere un'API che consente a un utente di definire e osservare metriche arbitrarie su query batch e di streaming (SPARK-29345)
• Strumentazione per tenere traccia del tempo di pianificazione per query (SPARK-26129)
• Inserire le metriche casuali di base nell'operatore di scambio SQL (SPARK-26139)
• L'istruzione SQL viene visualizzata nella scheda SQL anziché nel sito di chiamata (SPARK-27045)
• Aggiungere una descrizione comando a SparkUI (SPARK-29449)
• Migliorare le prestazioni simultanee del server cronologia (SPARK-29043)
• EXPLAIN FORMATTED comando (SPARK-27395)
• Supporto del dump dei piani troncati e del codice generato in un file (SPARK-26023)
• Migliorare il framework di descrizione per descrivere l'output di una query (SPARK-26982)
• Comando Add SHOW VIEWS (SPARK-31113)
• Migliorare i messaggi di errore del parser SQL (SPARK-27901)
• Supportare il monitoraggio prometheus in modo nativo (SPARK-29429)

Miglioramenti di PySpark

• Funzioni definite dall'utente pandas riprogettati con hint di tipo (SPARK-28264)
• Pipeline di funzioni definite dall'utente Pandas (SPARK-26412)
• Supportare StructType come argomenti e tipi restituiti per la funzione definita dall'utente di Pandas scalari (SPARK-27240 )
• Supportare il cogroup dei dataframe tramite funzioni definite dall'utente Pandas (SPARK-27463)
• Aggiunta mapInPandas per consentire un iteratore di dataframe (SPARK-28198)
• Alcune funzioni SQL devono accettare anche nomi di colonna (SPARK-26979)
• Rendere più pythoniche le eccezioni di PySpark SQL (SPARK-31849)

Miglioramenti della documentazione e della copertura dei test

• Creare un riferimento SQL (SPARK-28588)
• Creare una guida utente per WebUI (SPARK-28372)
• Compilare una pagina per la documentazione di configurazione di SQL (SPARK-30510)
• Aggiungere informazioni sulla versione per la configurazione di Spark (SPARK-30839)
• Test di regressione delle porte da PostgreSQL (SPARK-27763)
• Copertura dei test thrift-server (SPARK-28608)
• Copertura dei test delle funzioni definite dall'utente (UDF Python, UDF pandas, funzioni definite dall'utente scala) (SPARK-27921)

Altre modifiche rilevanti

• Aggiornamento predefinito dell'esecuzione di Hive dalla versione 1.2.1 alla versione 2.3.6 (SPARK-23710, SPARK-28723, SPARK-31381)
• Usare la dipendenza Apache Hive 2.3 per impostazione predefinita (SPARK-30034)
• GA Scala 2.12 e rimuovere 2.11 (SPARK-26132)
• Migliorare la logica per il timeout degli executor nell'allocazione dinamica (SPARK-20286)
• Blocchi RDD persistenti del disco gestiti dal servizio shuffle e ignorati per l'allocazione dinamica (SPARK-27677)
• Acquisire nuovi executor per evitare blocchi a causa dell'elenco di blocchi (SPARK-22148)
• Consentire la condivisione degli allocatori del pool di memoria di Netty (SPARK-24920)
• Correzione del deadlock tra TaskMemoryManager e UnsafeExternalSorter$SpillableIterator (SPARK-27338)
• Introduzione AdmissionControl delle API per StructuredStreaming (SPARK-30669)
• Miglioramento delle prestazioni della pagina principale della cronologia Spark (SPARK-25973)
• Velocizzare e ridurre l'aggregazione delle metriche nel listener SQL (SPARK-29562)
• Evitare la rete quando i blocchi casuali vengono recuperati dallo stesso host (SPARK-27651)
• Migliorare l'elenco di file per DistributedFileSystem (SPARK-27801)

Modifiche del comportamento per spark core, Spark SQL e Structured Streaming

Le guide alla migrazione seguenti elencano le modifiche del comportamento tra Apache Spark 2.4 e 3.0. Queste modifiche possono richiedere aggiornamenti ai processi in esecuzione nelle versioni precedenti di Databricks Runtime:

• Guida alla migrazione: Spark Core
• Guida alla migrazione: SQL, set di dati e dataframe
• Guida alla migrazione: Structured Streaming
• Guida alla migrazione: PySpark (Python in Spark)

Le modifiche di comportamento seguenti non sono descritte in queste guide alla migrazione:

• In Spark 3.0 la classe org.apache.spark.sql.streaming.ProcessingTime deprecata è stata rimossa. Utilizzare invece org.apache.spark.sql.streaming.Trigger.ProcessingTime. Analogamente, org.apache.spark.sql.execution.streaming.continuous.ContinuousTrigger è stato rimosso a favore di Trigger.Continuouse org.apache.spark.sql.execution.streaming.OneTimeTrigger è stato nascosto a favore di Trigger.Once. (SPARK-28199)
• In Databricks Runtime 7.0, quando si legge una tabella SerDe Hive, per impostazione predefinita Spark non consente la lettura di file in una sottodirectory che non è una partizione di tabella. Per abilitarla, impostare la configurazione spark.databricks.io.hive.scanNonpartitionedDirectory.enabled su true. Ciò non influisce sui lettori di tabelle native e sui lettori di file Spark.

MLlib

Caratteristiche salienti

• È stato aggiunto il supporto di più colonne a Binarizer (SPARK-23578), StringIndexer (SPARK-11215), StopWordsRemover (SPARK-29808) e PySpark QuantileDiscretizer (SPARK-22796)
• Supporto della trasformazione delle funzionalità basata su albero (SPARK-13677)
• Sono stati aggiunti due nuovi analizzatori MultilabelClassificationEvaluator (SPARK-16692) e RankingEvaluator (SPARK-28045)
• Il supporto dei pesi di esempio è stato aggiunto in DecisionTreeClassifier/Regressor (SPARK-19591), RandomForestClassifier/Regressor (SPARK-9478), GBTClassifier/Regressor (SPARK-9612), RegressionEvaluator (SPARK-9612), RegressionEvaluator (SPARK-9478), GBTClassifier/Regressor (SPARK-9612), RegressionEvaluator (SPARK-9612)24102), BinaryClassificationEvaluator (SPARK-24103), BisectingKMeans (SPARK-30351), KMeans (SPARK-29967) e GaussianMixture (SPARK-30102)
• Aggiunta dell'API R per PowerIterationClustering (SPARK-19827)
• Aggiunta del listener spark ML per il rilevamento dello stato della pipeline di ML (SPARK-23674)
• L'adattamento al set di convalida è stato aggiunto agli alberi con boosting sfumato in Python (SPARK-24333)
• È stato aggiunto il trasformatore RobustScaler (SPARK-28399)
• Sono stati aggiunti classificatori e regreditori di factorizzazione (SPARK-29224)
• Sono stati aggiunti Gaussian Naive Bayes (SPARK-16872) e Complement Naive Bayes (SPARK-29942)
• Parità della funzione ML tra Scala e Python (SPARK-28958)
• predictRaw viene reso pubblico in tutti i modelli di classificazione. predictProbability viene reso pubblico in tutti i modelli di classificazione ad eccezione di LinearSVCModel (SPARK-30358)

Modifiche del comportamento per MLlib

La guida alla migrazione seguente elenca le modifiche del comportamento tra Apache Spark 2.4 e 3.0. Queste modifiche possono richiedere aggiornamenti ai processi in esecuzione nelle versioni precedenti di Databricks Runtime:

• Guida alla migrazione: MLlib (Machine Learning)

Le modifiche di comportamento seguenti non sono descritte nella guida alla migrazione:

• In Spark 3.0 una regressione logistica multiclasse in Pyspark restituirà LogisticRegressionSummaryora (correttamente) , non la sottoclasse BinaryLogisticRegressionSummary. In questo caso, i metodi aggiuntivi esposti da BinaryLogisticRegressionSummary non funzionano in questo caso. (SPARK-31681)
•  In Spark 3.0 pyspark.ml.param.shared.Has* i mixins non forniscono più metodi set*(self, value) setter, ma usano invece i rispettivi self.set(self.*, value) metodi. Per informazioni dettagliate, vedere SPARK-29093. (SPARK-29093)

SparkR

• Ottimizzazione della freccia nell'interoperabilità di SparkR (SPARK-26759)
• Miglioramento delle prestazioni tramite R gapply(), dapply(), createDataFrame, collect()
• "Esecuzione eager" per la shell R, IDE (SPARK-24572)
• API R per Power Iteration Clustering (SPARK-19827)

Modifiche del comportamento per SparkR

La guida alla migrazione seguente elenca le modifiche del comportamento tra Apache Spark 2.4 e 3.0. Queste modifiche possono richiedere aggiornamenti ai processi in esecuzione nelle versioni precedenti di Databricks Runtime:

• Guida alla migrazione: SparkR (R in Spark)

Elementi deprecati

• Deprecare il supporto di Python 2 (SPARK-27884)
• Deprecare il supporto di R < 3.4 (SPARK-26014)

Problemi noti

• L'analisi del giorno dell'anno utilizzando la lettera di criterio 'D' restituisce il risultato errato se il campo year non è presente. Questa situazione può verificarsi nelle funzioni SQL come to_timestamp la quale analizza la stringa datetime ai valori datetime usando una stringa di criteri. (SPARK-31939)
• Join/Window/Aggregate all'interno di sottoquery può causare risultati errati se le chiavi hanno valori -0.0 e 0.0. (SPARK-31958)
• Una query di finestra potrebbe non riuscire con un errore di self join ambiguo in modo imprevisto. (SPARK-31956)
• Le query di streaming con dropDuplicates operatore potrebbero non essere in grado di riavviare con il checkpoint scritto da Spark 2.x. (SPARK-31990)

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 7.0.

Ambiente di sistema

• Sistema operativo: Ubuntu 18.04.4 LTS
• Java: 1.8.0_252
• Scala: 2.12.10
• Python: 3.7.5
• R: R versione 3.6.3 (2020-02-29)
• Delta Lake 0.7.0

Librerie Python installate

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2020-04-22.

Librerie Java e Scala installate (versione del cluster Scala 2.12)