Condividi tramite

Aggiornamenti di manutenzione di Databricks Runtime

  • Articolo

Questo articolo elenca gli aggiornamenti di manutenzione per le versioni supportate di Databricks Runtime. Per aggiungere un aggiornamento di manutenzione a un cluster esistente, riavviare il cluster. Per gli aggiornamenti di manutenzione nelle versioni di Databricks Runtime non supportate, vedere Aggiornamenti della manutenzione di Databricks Runtime (archiviati).

Nota

Le versioni vengono distribuite gradualmente. L’account Azure Databricks potrebbe non essere aggiornato per alcuni giorni dopo la data di rilascio iniziale.

Versioni di Databricks Runtime

Aggiornamenti della manutenzione in base al rilascio:

Databricks Runtime 15.4

Si veda Databricks Runtime 15.4 LTS.

  • 10 ottobre 2024
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr non deve modificare i campi dello schema durante l'eliminazione di GetArrayStructFields
    • [SPARK-49688][CONNECT] Correzione di una gara di dati tra interrupt ed esecuzione del piano
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Classe Classify Error per l'errore della funzione utente FlatMapGroupsWithState
    • [SPARK-49460][SQL] Completamento: correzione del potenziale rischio npe
  • 25 settembre 2024
    • [SPARK-49628][SQL] ConstantFolding deve copiare un'espressione con stato prima di valutare
    • [SPARK-49000][SQL] Correzione di "select count(distinct 1) from t" dove t è una tabella vuota espandendo RewriteDistinctAggregates
    • [SPARK-49492][CONNECT] Tentativo di riattaccamento sul segnaposto di esecuzione inattivo
    • [SPARK-49458][CONNECT][PYTHON] Specificare l'ID sessione lato server tramite ReattachExecute
    • [SPARK-49017][SQL] L'istruzione Insert ha esito negativo quando vengono usati più parametri
    • [SPARK-49451] Consenti chiavi duplicate in parse_json.
    • Varie correzioni di bug.
  • 17 settembre 2024
    • [SPARK-48463][ML] Make Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor che supporta colonne di input annidate
    • [SPARK-49409][CONNECT] Modificare il valore predefinito di CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49526][CONNECT][HOTFIX-15.4.2] Supportare percorsi di tipo Windows in ArtifactManager
    • Ripristinare "[SPARK-48482][PYTHON] dropDuplicates e dropDuplicatesWIthinWatermark deve accettare argomenti di lunghezza variabile"
    • [SPARK-43242][CORE] Correzione dell'eccezione 'Tipo imprevisto di BlockId' nella diagnosi di danneggiamento casuale
    • [SPARK-49366][CONNECT] Considerare il nodo Union come foglia nella risoluzione delle colonne del dataframe
    • [SPARK-49018][SQL] Correzione approx_count_distinct non funziona correttamente con le regole di confronto
    • [SPARK-49460][SQL] Rimuovere cleanupResource() da EmptyRelationExec
    • [SPARK-49056][SQL] ErrorClassesJsonReader non è in grado di gestire correttamente i valori Null
    • [SPARK-49336][CONNECT] Limitare il livello di annidamento quando si tronca un messaggio protobuf
  • 29 agosto 2024
    • L'output di un'istruzione SHOW CREATE TABLE ora include tutti i filtri di riga o le maschere di colonna definiti in una vista materializzata o in una tabella di streaming. Vedere SHOW CREATE TABLE. Per informazioni sui filtri di riga e sulle maschere di colonna, vedere Filtrare i dati delle tabelle sensibili usando filtri di riga e maschere di colonne.
    • Nel calcolo configurato con la modalità di accesso condiviso, le operazioni di lettura e scrittura batch Kafka ora hanno le stesse limitazioni applicate a quelle documentate per lo Structured Streaming. Vedere Limitazioni e requisiti di streaming per la modalità di accesso condiviso di Unity Catalog.
    • [SPARK-48941][SPARK-48970] Correzioni del writer/lettore ML backport
    • [SPARK-49074][SQL] Correzione della variante con df.cache()
    • [SPARK-49263][CONNECT] Client Python Spark Connect: gestire in modo coerente le opzioni del lettore di DataFrame booleani
    • [SPARK-48955][SQL] Includere le modifiche di ArrayCompact nella versione 15.4
    • [SPARK-48937][SQL] Aggiungere il supporto delle regole di confronto per le espressioni stringa StringToMap
    • [SPARK-48929] Correzione dell'errore interno di visualizzazione e pulizia del contesto di eccezione del parser
    • [SPARK-49125][SQL] Consentire nomi di colonna duplicati nella scrittura CSV
    • [SPARK-48934][SS] Tipi datetime Python convertiti in modo non corretto per l'impostazione del timeout in applyInPandasWithState
    • [SPARK-48843] Impedire un ciclo infinito con BindParameters
    • [SPARK-48981] Correzione del metodo simpleString di StringType in pyspark per le regole di confronto
    • [SPARK-49065][SQL] Il rebasing nei formattatori/parser legacy deve supportare fusi orari predefiniti non JVM
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] Correzioni del writer ML Spark backport
    • [SPARK-48725][SQL] Integrare CollationAwareUTF8String.lowerCaseCodePoints in espressioni stringa
    • [SPARK-48978][SQL] Implementare il percorso rapido ASCII nel supporto delle regole di confronto per UTF8_LCASE
    • [SPARK-49047][PYTHON][CONNECT] Troncare il messaggio per la registrazione
    • [SPARK-49146][SS] Spostare gli errori di asserzione correlati al limite mancante nelle query di streaming in modalità Append nel framework degli errori
    • [SPARK-48977][SQL] Ottimizzare la ricerca di stringhe nelle regole di confronto UTF8_LCASE
    • [SPARK-48889][SS] testStream per scaricare gli archivi di stato prima di terminare
    • [SPARK-48463] Impostare StringIndexer per il supporto delle colonne di input annidate
    • [SPARK-48954] try_mod() sostituisce try_remainder()
    • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 15.3

Si veda Databricks Runtime 15.3.

  • 10 ottobre 2024
    • [SPARK-49688][CONNECT] Correzione di una gara di dati tra interrupt ed esecuzione del piano
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr non deve modificare i campi dello schema durante l'eliminazione di GetArrayStructFields
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Classe Classify Error per l'errore della funzione utente FlatMapGroupsWithState
    • Aggiornamenti della sicurezza del sistema operativo
  • 25 settembre 2024
    • [SPARK-49492][CONNECT] Tentativo di riattaccamento sul segnaposto di esecuzione inattivo
    • [SPARK-49628][SQL] ConstantFolding deve copiare un'espressione con stato prima di valutare
    • [SPARK-49000][SQL] Correzione di "select count(distinct 1) from t" dove t è una tabella vuota espandendo RewriteDistinctAggregates
    • [SPARK-49458][CONNECT][PYTHON] Specificare l'ID sessione lato server tramite ReattachExecute
    • [SPARK-48719][SQL] Correggere il bug di calcolo di RegrSlope & RegrIntercept quando il primo parametro è Null
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 settembre 2024
    • [SPARK-49336][CONNECT] Limitare il livello di annidamento quando si tronca un messaggio protobuf
    • [SPARK-49526][CONNECT][15.3.5] Supportare percorsi in stile Windows in ArtifactManager
    • [SPARK-49366][CONNECT] Considerare il nodo Union come foglia nella risoluzione delle colonne del dataframe
    • [SPARK-43242][CORE] Correzione dell'eccezione 'Tipo imprevisto di BlockId' nella diagnosi di danneggiamento casuale
    • [SPARK-49409][CONNECT] Modificare il valore predefinito di CONNECT_SESSION_PLAN_CACHE_SIZE
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 agosto 2024
    • [SPARK-49263][CONNECT] Client Python Spark Connect: gestire in modo coerente le opzioni del lettore di DataFrame booleani
    • [SPARK-49056][SQL] ErrorClassesJsonReader non è in grado di gestire correttamente i valori Null
    • [SPARK-48862][PYTHON][CONNECT] Evitare di chiamare _proto_to_string quando il livello INFO non è abilitato
    • [SPARK-49146][SS] Spostare gli errori di asserzione correlati al limite mancante nelle query di streaming in modalità Append nel framework degli errori
  • 14 agosto 2024
    • [SPARK-48941][SPARK-48970] Correzioni del writer/lettore ML backport
    • [SPARK-48706][PYTHON] La funzione definita dall’utente Python in ordine superiore non deve generare un errore interno
    • [SPARK-48954] try_mod() sostituisce try_remainder()
    • [SPARK-48597][SQL] Introdurre un marcatore per la proprietà isStreaming nella rappresentazione testuale del piano logico
    • [SPARK-49065][SQL] Il rebasing nei formattatori/parser legacy deve supportare fusi orari predefiniti non JVM
    • [SPARK-49047][PYTHON][CONNECT] Troncare il messaggio per la registrazione
    • [SPARK-48740][SQL] Rilevare tempestivamente l'errore di specifica della finestra mancante
  • 1 agosto 2024
    • [Modifica che causa un'interruzione] In Databricks Runtime 15.3 e versioni successive, chiamando qualsiasi funzione definita dall'utente (UDF) Python, funzione di aggregazione definita dall'utente (UDAF) o funzione di tabella definita dall'utente (UDTF) che usa un tipo VARIANT come argomento o valore restituito genera un'eccezione. Questa modifica viene apportata per evitare problemi che potrebbero verificarsi a causa di un valore non valido restituito da una di queste funzioni. Per altre informazioni sul tipo VARIANT, vedere Usare VARIANT per archiviare dati semistrutturati.
    • Nell’elaborazione serverless per notebook e processi, la modalità SQL ANSI è abilitata per impostazione predefinita. Vedere Parametri di configurazione Spark supportati.
    • Nel calcolo configurato con la modalità di accesso condiviso, le operazioni di lettura e scrittura batch Kafka ora hanno le stesse limitazioni applicate a quelle documentate per lo Structured Streaming. Vedere Limitazioni e requisiti di streaming per la modalità di accesso condiviso di Unity Catalog.
    • L'output di un'istruzione SHOW CREATE TABLE ora include tutti i filtri di riga o le maschere di colonna definiti in una vista materializzata o in una tabella di streaming. Vedere SHOW CREATE TABLE. Per informazioni sui filtri di riga e sulle maschere di colonna, vedere Filtrare i dati delle tabelle sensibili usando filtri di riga e maschere di colonne.
    • [SPARK-46957][CORE] La rimozione delle autorizzazioni dei file shuffle migrati deve essere in grado di eseguire la pulizia dall'executor
    • [SPARK-48648][PYTHON][CONNECT] Rendere SparkConnectClient.tags correttamente threadlocal
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] Correzioni del writer ML Spark backport
    • [SPARK-48713][SQL] Aggiungere il controllo dell'intervallo di indici per UnsafeRow.pointTo quando baseObject è una matrice di byte
    • [SPARK-48834][SQL] Disabilitare input/output variant in UDF, UDTF, UDAF scalari Python durante la compilazione delle query
    • [SPARK-48934][SS] Tipi datetime Python convertiti in modo non corretto per l'impostazione del timeout in applyInPandasWithState
    • [SPARK-48705][PYTHON] Usare in modo esplicito worker_main quando inizia con pyspark
    • [SPARK-48544][SQL] Ridurre l’utilizzo elevato di memoria di set di bit TreeNode vuoti
    • [SPARK-48889][SS] testStream per scaricare gli archivi di stato prima di terminare
    • [SPARK-49054][SQL] Il valore predefinito della colonna deve supportare funzioni current_*
    • [SPARK-48653][PYTHON] Correzione di riferimenti alla classe di errore dell'origine dati Python non valida
    • [SPARK-48463] Impostare StringIndexer per il supporto delle colonne di input annidate
    • [SPARK-48810][CONNECT] L'API di sessione stop() deve essere idempotente e non avere esito negativo se la sessione è già chiusa dal server
    • [SPARK-48873][SQL] Usare UnsafeRow nel parser JSON.
    • Aggiornamenti della sicurezza del sistema operativo
  • 11 luglio 2024
    • (Modifica funzionale) I dataframe memorizzati nella cache rispetto alle origini di tabella Delta vengono ora invalidati se la tabella di origine viene sovrascritta. Questa modifica indica che tutte le modifiche dello stato apportate alle tabelle Delta ora invalidano i risultati memorizzati nella cache. Usare .checkpoint() per rendere persistente lo stato di una tabella per tutta la durata di un DataFrame.
    • Il driver JDBC Snowflake viene aggiornato alla versione 3.16.1.
    • Questa versione include la correzione di un problema che impediva la visualizzazione corretta della scheda Ambiente interfaccia utente Spark durante l'esecuzione in Databricks Container Services.
    • Per ignorare le partizioni non valide durante la lettura dei dati, le origini dati basate su file, ad esempio Parquet, ORC, CSV o JSON, possono impostare l'opzione ignoreInvalidPartitionPaths dell'origine dati su true. Ad esempio: spark.read.format(“parquet”).option(“ignoreInvalidPartitionPaths”, “true”).load(…)`. È possibile usare anche la configurazione SQL spark.sql.files.ignoreInvalidPartitionPaths. Tuttavia, l'opzione origine dati ha la precedenza sulla configurazione SQL. Per impostazione predefinita, il valore è false.
    • [SPARK-48100][SQL] Correggere i problemi nell’ignorare i campi della struttura annidata non selezionati nello schema
    • [SPARK-47463][SQL] Usare V2Predicate per eseguire il wrapping dell'espressione con tipo restituito booleano
    • [SPARK-48292][CORE] Ripristinare [SPARK-39195] [SQL] Spark OutputCommitCoordinator deve interrompere la fase quando il file di cui è stato eseguito il commit non è coerente con lo stato dell'attività
    • [SPARK-48475][PYTHON] Ottimizzare _get_jvm_function in PySpark.
    • [SPARK-48286] Correzione dell'analisi della colonna con l'espressione predefinita - Aggiungere un errore dell'utente
    • [SPARK-48481][SQL][SS] Non applicare OptimizeOneRowPlan al set di dati di streaming
    • Ripristinare "[SPARK-47406][SQL] Gestire TIMESTAMP e DATETIME in MYSQLDialect"
    • [SPARK-48383][SS] Genera un errore migliore per le partizioni non corrispondenti nell'opzione startOffset in Kafka
    • [SPARK-48503][14.3-15.3][SQL] Correzione di sottoquery scalari non valide con group-by in colonne non equivalenti non consentite correttamente
    • [SPARK-48445][SQL] Non incorporare funzioni definite dall'utente con espressioni figlio dispendiose
    • [SPARK-48252][SQL] Aggiornare CommonExpressionRef quando necessario
    • [SPARK-48273][master][SQL] Correzione della riscrittura tardiva di PlanWithUnresolvedIdentifier
    • [SPARK-48566][PYTHON] Correzione di un bug per cui gli indici di partizione non sono corretti quando l’UDTF analyze() usa sia select che partitionColumns
    • [SPARK-48556][SQL] Correzione di un messaggio di errore non corretto che punta a UNSUPPORTED_GROUPING_EXPRESSION
    • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 15.2

Si veda Databricks Runtime 15.2.

  • 10 ottobre 2024
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Classe Classify Error per l'errore della funzione utente FlatMapGroupsWithState
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr non deve modificare i campi dello schema durante l'eliminazione di GetArrayStructFields
    • [SPARK-49688][CONNECT] Correzione di una gara di dati tra interrupt ed esecuzione del piano
    • Aggiornamenti della sicurezza del sistema operativo
  • 25 settembre 2024
    • [SPARK-49000][SQL] Correzione di "select count(distinct 1) from t" dove t è una tabella vuota espandendo RewriteDistinctAggregates
    • [SPARK-48719][SQL] Correggere il bug di calcolo di RegrSlope & RegrIntercept quando il primo parametro è Null
    • [SPARK-49458][CONNECT][PYTHON] Specificare l'ID sessione lato server tramite ReattachExecute
    • [SPARK-49628][SQL] ConstantFolding deve copiare un'espressione con stato prima di valutare
    • [SPARK-49492][CONNECT] Tentativo di riattaccamento sul segnaposto di esecuzione inattivo
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 settembre 2024
    • [SPARK-49336][CONNECT] Limitare il livello di annidamento quando si tronca un messaggio protobuf
    • [SPARK-49526][CONNECT] Supportare percorsi in stile Windows in ArtifactManager
    • [SPARK-49366][CONNECT] Considerare il nodo Union come foglia nella risoluzione delle colonne del dataframe
    • [SPARK-43242][CORE] Correzione dell'eccezione 'Tipo imprevisto di BlockId' nella diagnosi di danneggiamento casuale
    • [SPARK-49409][CONNECT] Modificare il valore predefinito di CONNECT_SESSION_PLAN_CACHE_SIZE
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 agosto 2024
    • [SPARK-49056][SQL] ErrorClassesJsonReader non è in grado di gestire correttamente i valori Null
    • [SPARK-48597][SQL] Introdurre un marcatore per la proprietà isStreaming nella rappresentazione testuale del piano logico
    • [SPARK-48862][PYTHON][CONNECT] Evitare di chiamare _proto_to_string quando il livello INFO non è abilitato
    • [SPARK-49263][CONNECT] Client Python Spark Connect: gestire in modo coerente le opzioni del lettore di DataFrame booleani
    • [SPARK-49146][SS] Spostare gli errori di asserzione correlati al limite mancante nelle query di streaming in modalità Append nel framework degli errori
  • 14 agosto 2024
    • [SPARK-48941][SPARK-48970] Correzioni del writer/lettore ML backport
    • [SPARK-48050][SS] Registrare un piano logico all'avvio della query
    • [SPARK-48706][PYTHON] La funzione definita dall’utente Python in ordine superiore non deve generare un errore interno
    • [SPARK-48740][SQL] Rilevare tempestivamente l'errore di specifica della finestra mancante
    • [SPARK-49065][SQL] Il rebasing nei formattatori/parser legacy deve supportare fusi orari predefiniti non JVM
    • [SPARK-49047][PYTHON][CONNECT] Troncare il messaggio per la registrazione
  • 1 agosto 2024
  • 11 luglio 2024
    • (Modifica funzionale) I dataframe memorizzati nella cache rispetto alle origini di tabella Delta vengono ora invalidati se la tabella di origine viene sovrascritta. Questa modifica indica che tutte le modifiche dello stato apportate alle tabelle Delta ora invalidano i risultati memorizzati nella cache. Usare .checkpoint() per rendere persistente lo stato di una tabella per tutta la durata di un DataFrame.
    • Il driver JDBC Snowflake viene aggiornato alla versione 3.16.1.
    • Questa versione include la correzione di un problema che impediva la visualizzazione corretta della scheda Ambiente interfaccia utente Spark durante l'esecuzione in Databricks Container Services.
    • Nei notebook e nei processi serverless la modalità SQL ANSI verrà abilitata per impostazione predefinita e supporterà nomi brevi
    • Per ignorare le partizioni non valide durante la lettura dei dati, le origini dati basate su file, ad esempio Parquet, ORC, CSV o JSON, possono impostare l'opzione ignoreInvalidPartitionPaths dell'origine dati su true. Ad esempio: spark.read.format(“parquet”).option(“ignoreInvalidPartitionPaths”, “true”).load(…)`. È possibile usare anche la configurazione SQL spark.sql.files.ignoreInvalidPartitionPaths. Tuttavia, l'opzione origine dati ha la precedenza sulla configurazione SQL. Per impostazione predefinita, il valore è false.
    • [SPARK-48273][SQL] Correzione della riscrittura tardiva di PlanWithUnresolvedIdentifier
    • [SPARK-48292][CORE] Ripristinare [SPARK-39195] [SQL] Spark OutputCommitCoordinator deve interrompere la fase quando il file di cui è stato eseguito il commit non è coerente con lo stato dell'attività
    • [SPARK-48100][SQL] Correggere i problemi nell’ignorare i campi della struttura annidata non selezionati nello schema
    • [SPARK-48286] Correzione dell'analisi della colonna con l'espressione predefinita - Aggiungere un errore dell'utente
    • [SPARK-48294][SQL] Gestire i caratteri minuscoli in nestedTypeMissingElementTypeError
    • [SPARK-48556][SQL] Correzione di un messaggio di errore non corretto che punta a UNSUPPORTED_GROUPING_EXPRESSION
    • [SPARK-48648][PYTHON][CONNECT] Rendere SparkConnectClient.tags correttamente threadlocal
    • [SPARK-48503][SQL] Correzione di sottoquery scalari non valide con group-by in colonne non equivalenti non consentite correttamente
    • [SPARK-48252][SQL] Aggiornare CommonExpressionRef quando necessario
    • [SPARK-48475][PYTHON] Ottimizzare _get_jvm_function in PySpark.
    • [SPARK-48566][PYTHON] Correzione di un bug per cui gli indici di partizione non sono corretti quando l’UDTF analyze() usa sia select che partitionColumns
    • [SPARK-48481][SQL][SS] Non applicare OptimizeOneRowPlan al set di dati di streaming
    • [SPARK-47463][SQL] Usare V2Predicate per eseguire il wrapping dell'espressione con tipo restituito booleano
    • [SPARK-48383][SS] Genera un errore migliore per le partizioni non corrispondenti nell'opzione startOffset in Kafka
    • [SPARK-48445][SQL] Non incorporare funzioni definite dall'utente con espressioni figlio dispendiose
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 giugno 2024
    • applyInPandasWithState() è disponibile nei cluster condivisi.
    • Corregge un bug per cui l'ottimizzazione della finestra di classificazione tramite Photon TopK gestiva erroneamente le partizioni con struct.
    • Correzione di un bug nella funzione try_divide() per cui gli input contenenti decimali generavano eccezioni impreviste.
    • [SPARK-48197][SQL] Evitare l'errore di asserzione per la funzione lambda non valida
    • [SPARK-48276][PYTHON][CONNECT] Aggiungere il metodo __repr__ mancante per SQLExpression
    • [SPARK-48014][SQL] Modificare l'errore makeFromJava in EvaluatePython in un errore rivolto all'utente
    • [SPARK-48016][SQL] Correzione di un bug nella funzione try_divide quando ha decimali
    • [SPARK-47986][CONNECT][PYTHON] Impossibile creare una nuova sessione quando la sessione predefinita viene chiusa dal server
    • [SPARK-48173][SQL] CheckAnalysis deve visualizzare l'intero piano di query
    • [SPARK-48056][CONNECT][PYTHON] Eseguire di nuovo il piano se viene generato un errore di SESSION_NOT_FOUND e non è stata ricevuta alcuna risposta parziale
    • [SPARK-48172][SQL] Risolvere i problemi di escape in JDBCDialects backport alla versione 15.2
    • [SPARK-48105][SS] Correggere la race condition tra lo scaricamento dello stato e la creazione di snapshot
    • [SPARK-48288] Aggiungere il tipo di dati di origine per l'espressione cast del connettore
    • [SPARK-48310][PYTHON][CONNECT] Le proprietà memorizzate nella cache devono restituire copie
    • [SPARK-48277] Miglioramento del messaggio di errore per ErrorClassesJsonReader.getErrorMessage
    • [SPARK-47986][CONNECT][PYTHON] Impossibile creare una nuova sessione quando la sessione predefinita viene chiusa dal server
    • Ripristinare "[SPARK-47406][SQL] Gestire TIMESTAMP e DATETIME in MYSQLDialect"
    • [SPARK-47994][SQL] Correzione di un bug con il push del filtro colonne CASE WHEN in SQLServer
    • [SPARK-47764][CORE][SQL] Pulire le dipendenze casuali in base a ShuffleCleanupMode
    • [SPARK-47921][CONNECT] Correzione della creazione di ExecuteJobTag in ExecuteHolder
    • [SPARK-48010][SQL] Evitare chiamate ripetute a conf.resolver in resolveExpression
    • [SPARK-48146][SQL] Correzione della funzione di aggregazione nell’asserzione figlio dell'espressione With
    • [SPARK-48180][SQL] Migliorare l'errore quando la chiamata UDTF con arg TABLE dimentica le parentesi relative a più espressioni PARTITION/ORDER BY
    • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 15.1

Si veda Databricks Runtime 15.1.

  • 10 ottobre 2024
    • [SPARK-49688][CONNECT] Correzione di una gara di dati tra interrupt ed esecuzione del piano
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr non deve modificare i campi dello schema durante l'eliminazione di GetArrayStructFields
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Classe Classify Error per l'errore della funzione utente FlatMapGroupsWithState
    • Aggiornamenti della sicurezza del sistema operativo
  • 25 settembre 2024
    • [SPARK-49628][SQL] ConstantFolding deve copiare un'espressione con stato prima di valutare
    • [SPARK-48719][SQL] Correggere il bug di calcolo di RegrSlope & RegrIntercept quando il primo parametro è Null
    • [SPARK-49492][CONNECT] Tentativo di riattaccamento sul segnaposto di esecuzione inattivo
    • [SPARK-49000][SQL] Correzione di "select count(distinct 1) from t" dove t è una tabella vuota espandendo RewriteDistinctAggregates
    • [SPARK-49458][CONNECT][PYTHON] Specificare l'ID sessione lato server tramite ReattachExecute
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 settembre 2024
    • [SPARK-49336][CONNECT] Limitare il livello di annidamento quando si tronca un messaggio protobuf
    • [SPARK-49526][CONNECT] Supportare percorsi in stile Windows in ArtifactManager
    • [SPARK-49409][CONNECT] Modificare il valore predefinito di CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-43242][CORE] Correzione dell'eccezione 'Tipo imprevisto di BlockId' nella diagnosi di danneggiamento casuale
    • [SPARK-49366][CONNECT] Considerare il nodo Union come foglia nella risoluzione delle colonne del dataframe
  • 29 agosto 2024
    • [SPARK-49263][CONNECT] Client Python Spark Connect: gestire in modo coerente le opzioni del lettore di DataFrame booleani
    • [SPARK-49056][SQL] ErrorClassesJsonReader non è in grado di gestire correttamente i valori Null
    • [SPARK-48862][PYTHON][CONNECT] Evitare di chiamare _proto_to_string quando il livello INFO non è abilitato
    • [SPARK-49146][SS] Spostare gli errori di asserzione correlati al limite mancante nelle query di streaming in modalità Append nel framework degli errori
  • 14 agosto 2024
    • [SPARK-48941][SPARK-48970] Correzioni del writer/lettore ML backport
    • [SPARK-48050][SS] Registrare un piano logico all'avvio della query
    • [SPARK-48706][PYTHON] La funzione definita dall’utente Python in ordine superiore non deve generare un errore interno
    • [SPARK-48597][SQL] Introdurre un marcatore per la proprietà isStreaming nella rappresentazione testuale del piano logico
    • [SPARK-49065][SQL] Il rebasing nei formattatori/parser legacy deve supportare fusi orari predefiniti non JVM
    • [SPARK-49047][PYTHON][CONNECT] Troncare il messaggio per la registrazione
    • [SPARK-48740][SQL] Rilevare tempestivamente l'errore di specifica della finestra mancante
  • 1 agosto 2024
  • 11 luglio 2024
    • (Modifica funzionale) I dataframe memorizzati nella cache rispetto alle origini di tabella Delta vengono ora invalidati se la tabella di origine viene sovrascritta. Questa modifica indica che tutte le modifiche dello stato apportate alle tabelle Delta ora invalidano i risultati memorizzati nella cache. Usare .checkpoint() per rendere persistente lo stato di una tabella per tutta la durata di un DataFrame.
    • Il driver JDBC Snowflake viene aggiornato alla versione 3.16.1.
    • Questa versione include la correzione di un problema che impediva la visualizzazione corretta della scheda Ambiente interfaccia utente Spark durante l'esecuzione in Databricks Container Services.
    • Nell’elaborazione serverless per notebook e processi, la modalità SQL ANSI è abilitata per impostazione predefinita. Vedere Parametri di configurazione Spark supportati.
    • Per ignorare le partizioni non valide durante la lettura dei dati, le origini dati basate su file, ad esempio Parquet, ORC, CSV o JSON, possono impostare l'opzione ignoreInvalidPartitionPaths dell'origine dati su true. Ad esempio: spark.read.format(“parquet”).option(“ignoreInvalidPartitionPaths”, “true”).load(…)`. È possibile usare anche la configurazione SQL spark.sql.files.ignoreInvalidPartitionPaths. Tuttavia, l'opzione origine dati ha la precedenza sulla configurazione SQL. Per impostazione predefinita, il valore è false.
    • [SPARK-48383][SS] Genera un errore migliore per le partizioni non corrispondenti nell'opzione startOffset in Kafka
    • [SPARK-48481][SQL][SS] Non applicare OptimizeOneRowPlan al set di dati di streaming
    • [SPARK-48100][SQL] Correggere i problemi nell’ignorare i campi della struttura annidata non selezionati nello schema
    • [SPARK-47463][SQL] Usare V2Predicate per eseguire il wrapping dell'espressione con tipo restituito booleano
    • [SPARK-48445][SQL] Non incorporare funzioni definite dall'utente con espressioni figlio dispendiose
    • [SPARK-48292][CORE] Ripristinare [SPARK-39195] [SQL] Spark OutputCommitCoordinator deve interrompere la fase quando il file di cui è stato eseguito il commit non è coerente con lo stato dell'attività
    • [SPARK-48566][PYTHON] Correzione di un bug per cui gli indici di partizione non sono corretti quando l’UDTF analyze() usa sia select che partitionColumns
    • [SPARK-48648][PYTHON][CONNECT] Rendere SparkConnectClient.tags correttamente threadlocal
    • [SPARK-48503][SQL] Correzione di sottoquery scalari non valide con group-by in colonne non equivalenti non consentite correttamente
    • [SPARK-48252][SQL] Aggiornare CommonExpressionRef quando necessario
    • [SPARK-48475][PYTHON] Ottimizzare _get_jvm_function in PySpark.
    • [SPARK-48294][SQL] Gestire i caratteri minuscoli in nestedTypeMissingElementTypeError
    • [SPARK-48286] Correzione dell'analisi della colonna con l'espressione predefinita - Aggiungere un errore dell'utente
    • [SPARK-47309][SQL] XML: Aggiungere test di inferenza dello schema per i tag valore
    • [SPARK-47309][SQL] [XML] Aggiungere unit test di inferenza dello schema
    • [SPARK-48273][SQL] Correzione della riscrittura tardiva di PlanWithUnresolvedIdentifier
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 giugno 2024
    • applyInPandasWithState() è disponibile nei cluster condivisi.
    • Corregge un bug per cui l'ottimizzazione della finestra di classificazione tramite Photon TopK gestiva erroneamente le partizioni con struct.
    • [SPARK-48310][PYTHON][CONNECT] Le proprietà memorizzate nella cache devono restituire copie
    • [SPARK-48276][PYTHON][CONNECT] Aggiungere il metodo __repr__ mancante per SQLExpression
    • [SPARK-48277] Miglioramento del messaggio di errore per ErrorClassesJsonReader.getErrorMessage
    • [SPARK-47764][CORE][SQL] Pulire le dipendenze casuali in base a ShuffleCleanupMode
    • Aggiornamenti della sicurezza del sistema operativo
  • 21 maggio 2024
    • Correzione di un bug nella funzione try_divide() per cui gli input contenenti decimali generavano eccezioni impreviste.
    • [SPARK-48173][SQL] CheckAnalysis deve visualizzare l'intero piano di query
    • [SPARK-48016][SQL] Correzione di un bug nella funzione try_divide quando ha decimali
    • [SPARK-48105][SS] Correggere la race condition tra lo scaricamento dello stato e la creazione di snapshot
    • [SPARK-48197][SQL] Evitare l'errore di asserzione per la funzione lambda non valida
    • [SPARK-48180][SQL] Migliorare l'errore quando la chiamata UDTF con arg TABLE dimentica le parentesi relative a più espressioni PARTITION/ORDER BY
    • [SPARK-48014][SQL] Modificare l'errore makeFromJava in EvaluatePython in un errore rivolto all'utente
    • [SPARK-48056][CONNECT][PYTHON] Eseguire di nuovo il piano se viene generato un errore di SESSION_NOT_FOUND e non è stata ricevuta alcuna risposta parziale
    • [SPARK-48146][SQL] Correzione della funzione di aggregazione nell’asserzione figlio dell'espressione With
    • [SPARK-47994][SQL] Correzione di un bug con il push del filtro colonne CASE WHEN in SQLServer
    • Aggiornamenti della sicurezza del sistema operativo
  • 9 maggio 2024
    • [SPARK-47543][CONNECT][PYTHON] Inferenza di dict come MapType dal DataFrame Pandas per consentire la creazione del DataFrame
    • [SPARK-47739][SQL] Registrare il tipo avro logico
    • [SPARK-48044][PYTHON][CONNECT] Memorizzare nella cache DataFrame.isStreaming
    • [SPARK-47855][CONNECT] Aggiungere spark.sql.execution.arrow.pyspark.fallback.enabled all'elenco non supportato
    • [SPARK-48010][SQL] Evitare chiamate ripetute a conf.resolver in resolveExpression
    • [SPARK-47941] [SS][Connect] Propagare gli errori di inizializzazione del ruolo di lavoro ForeachBatch agli utenti per PySpark
    • [SPARK-47819][CONNECT][Cherry-pick-15.0] Usare il callback asincrono per la pulizia dell'esecuzione
    • [SPARK-47956][SQL] Controllo della integrità per le informazioni di riferimento LCA non risolte
    • [SPARK-47839][SQL] Correzione del bug di aggregazione in RewriteWithExpression
    • [SPARK-48018][SS] Correzione di groupId null che causa un errore param mancante durante la generazione di KafkaException.couldNotReadOffsetRange
    • [SPARK-47371] [SQL] XML: ignorare i tag di riga trovati in CDATA
    • [SPARK-47907][SQL] Mettere bang sotto una configurazione
    • [SPARK-47895][SQL] group by all deve essere idempotente
    • [SPARK-47973][CORE] Sito di chiamata del log in SparkContext.stop() e versioni successive in SparkContext.assertNotStopped()
    • [SPARK-47986][CONNECT][PYTHON] Impossibile creare una nuova sessione quando la sessione predefinita viene chiusa dal server
    • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 14.3

Si veda Databricks Runtime 14.3 LTS.

  • 10 ottobre 2024
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Classe Classify Error per l'errore della funzione utente FlatMapGroupsWithState
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr non deve modificare i campi dello schema durante l'eliminazione di GetArrayStructFields
    • [SPARK-49688][CONNECT] Correzione di una gara di dati tra interrupt ed esecuzione del piano
  • 25 settembre 2024
    • [SPARK-48810][CONNECT] L'API di sessione stop() deve essere idempotente e non avere esito negativo se la sessione è già chiusa dal server
    • [SPARK-48719][SQL] Correzione del bug di calcolo di 'RegrS...
    • [SPARK-49000][SQL] Correzione di "select count(distinct 1) from t" dove t è una tabella vuota espandendo RewriteDistinctAggregates
    • [SPARK-49628][SQL] ConstantFolding deve copiare un'espressione con stato prima di valutare
    • [SPARK-49492][CONNECT] Tentativo di riattaccamento sul segnaposto di esecuzione inattivo
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 settembre 2024
    • [SPARK-49336][CONNECT] Limitare il livello di annidamento quando si tronca un messaggio protobuf
    • [SPARK-43242][CORE] Correzione dell'eccezione 'Tipo imprevisto di BlockId' nella diagnosi di danneggiamento casuale
    • [SPARK-48463][ML] Make Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor che supporta colonne di input annidate
    • [SPARK-49526][CONNECT] Supportare percorsi in stile Windows in ArtifactManager
    • [SPARK-49409][CONNECT] Modificare il valore predefinito di CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49366][CONNECT] Considerare il nodo Union come foglia nella risoluzione delle colonne del dataframe
  • 29 agosto 2024
    • [SPARK-49146][SS] Spostare gli errori di asserzione correlati al limite mancante nelle query di streaming in modalità Append nel framework degli errori
    • [SPARK-48862][PYTHON][CONNECT] Evitare di chiamare _proto_to_string quando il livello INFO non è abilitato
    • [SPARK-49263][CONNECT] Client Python Spark Connect: gestire in modo coerente le opzioni del lettore di DataFrame booleani
  • 14 agosto 2024
    • [SPARK-48941][SPARK-48970] Correzioni del writer/lettore ML backport
    • [SPARK-48706][PYTHON] La funzione definita dall’utente Python in ordine superiore non deve generare un errore interno
    • [SPARK-49056][SQL] ErrorClassesJsonReader non è in grado di gestire correttamente i valori Null
    • [SPARK-48597][SQL] Introdurre un marcatore per la proprietà isStreaming nella rappresentazione testuale del piano logico
    • [SPARK-49065][SQL] Il rebasing nei formattatori/parser legacy deve supportare fusi orari predefiniti non JVM
    • [SPARK-48934][SS] Tipi datetime Python convertiti in modo non corretto per l'impostazione del timeout in applyInPandasWithState
  • 1 agosto 2024
    • Questa versione include la correzione di un bug per le classi ColumnVector e ColumnarArray nell'interfaccia Spark Java. In precedenza a questa correzione, poteva essere generata una ArrayIndexOutOfBoundsException o potevano essere restituiti dati non corretti quando un'istanza di una di queste classi conteneva valori null.
    • Nell’elaborazione serverless per notebook e processi, la modalità SQL ANSI è abilitata per impostazione predefinita. Vedere Parametri di configurazione Spark supportati.
    • Nel calcolo configurato con la modalità di accesso condiviso, le operazioni di lettura e scrittura batch Kafka ora hanno le stesse limitazioni applicate a quelle documentate per lo Structured Streaming. Vedere Limitazioni e requisiti di streaming per la modalità di accesso condiviso di Unity Catalog.
    • L'output di un'istruzione SHOW CREATE TABLE ora include tutti i filtri di riga o le maschere di colonna definiti in una vista materializzata o in una tabella di streaming. Vedere SHOW CREATE TABLE. Per informazioni sui filtri di riga e sulle maschere di colonna, vedere Filtrare i dati delle tabelle sensibili usando filtri di riga e maschere di colonne.
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] Correzioni del writer ML Spark backport
    • [SPARK-48889][SS] testStream per scaricare gli archivi di stato prima di terminare
    • [SPARK-48705][PYTHON] Usare in modo esplicito worker_main quando inizia con pyspark
    • [SPARK-48047][SQL] Ridurre l’utilizzo elevato di memoria dei tag TreeNode vuoti
    • [SPARK-48544][SQL] Ridurre l’utilizzo elevato di memoria di set di bit TreeNode vuoti
    • [SPARK-46957][CORE] La rimozione delle autorizzazioni dei file shuffle migrati deve essere in grado di eseguire la pulizia dall'executor
    • [SPARK-48463] Impostare StringIndexer per il supporto delle colonne di input annidate
    • [SPARK-47202][PYTHON] Correzione del tipo che causa un’interruzione di datetime con tzinfo
    • [SPARK-47713][SQL] [CONNECT] Correzione di un errore di self-join
    • Aggiornamenti della sicurezza del sistema operativo
  • 11 luglio 2024
    • (Modifica funzionale) I dataframe memorizzati nella cache rispetto alle origini di tabella Delta vengono ora invalidati se la tabella di origine viene sovrascritta. Questa modifica indica che tutte le modifiche dello stato apportate alle tabelle Delta ora invalidano i risultati memorizzati nella cache. Usare .checkpoint() per rendere persistente lo stato di una tabella per tutta la durata di un DataFrame.
    • Il driver JDBC Snowflake viene aggiornato alla versione 3.16.1.
    • Questa versione include la correzione di un problema che impediva la visualizzazione corretta della scheda Ambiente interfaccia utente Spark durante l'esecuzione in Databricks Container Services.
    • Nell’elaborazione serverless per notebook e processi, la modalità SQL ANSI è abilitata per impostazione predefinita. Vedere Parametri di configurazione Spark supportati.
    • Per ignorare le partizioni non valide durante la lettura dei dati, le origini dati basate su file, ad esempio Parquet, ORC, CSV o JSON, possono impostare l'opzione ignoreInvalidPartitionPaths dell'origine dati su true. Ad esempio: spark.read.format(“parquet”).option(“ignoreInvalidPartitionPaths”, “true”).load(…). È possibile usare anche la configurazione SQL spark.sql.files.ignoreInvalidPartitionPaths. Tuttavia, l'opzione origine dati ha la precedenza sulla configurazione SQL. Per impostazione predefinita, il valore è false.
    • [SPARK-48648][PYTHON][CONNECT] Rendere SparkConnectClient.tags correttamente threadlocal
    • [SPARK-48445][SQL] Non incorporare funzioni definite dall'utente con espressioni figlio dispendiose
    • [SPARK-48481][SQL][SS] Non applicare OptimizeOneRowPlan al set di dati di streaming
    • [SPARK-48383][SS] Genera un errore migliore per le partizioni non corrispondenti nell'opzione startOffset in Kafka
    • [SPARK-48503][SQL] Correzione di sottoquery scalari non valide con group-by in colonne non equivalenti non consentite correttamente
    • [SPARK-48100][SQL] Correggere i problemi nell’ignorare i campi della struttura annidata non selezionati nello schema
    • [SPARK-48273][SQL] Correzione della riscrittura tardiva di PlanWithUnresolvedIdentifier
    • [SPARK-48252][SQL] Aggiornare CommonExpressionRef quando necessario
    • [SPARK-48475][PYTHON] Ottimizzare _get_jvm_function in PySpark.
    • [SPARK-48292][CORE] Ripristinare [SPARK-39195] [SQL] Spark OutputCommitCoordinator deve interrompere la fase quando il file di cui è stato eseguito il commit non è coerente con lo stato dell'attività
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 giugno 2024
    • applyInPandasWithState() è disponibile nei cluster condivisi.
    • Corregge un bug per cui l'ottimizzazione della finestra di classificazione tramite Photon TopK gestiva erroneamente le partizioni con struct.
    • [SPARK-48310][PYTHON][CONNECT] Le proprietà memorizzate nella cache devono restituire copie
    • [SPARK-48276][PYTHON][CONNECT] Aggiungere il metodo __repr__ mancante per SQLExpression
    • [SPARK-48294][SQL] Gestire i caratteri minuscoli in nestedTypeMissingElementTypeError
    • Aggiornamenti della sicurezza del sistema operativo
  • 21 maggio 2024
    • (Modifica del comportamento) dbutils.widgets.getAll() è ora supportato per ottenere tutti i valori dei widget in un notebook.
    • Correzione di un bug nella funzione try_divide() per cui gli input contenenti decimali generavano eccezioni impreviste.
    • [SPARK-48056][CONNECT][PYTHON] Eseguire di nuovo il piano se viene generato un errore di SESSION_NOT_FOUND e non è stata ricevuta alcuna risposta parziale
    • [SPARK-48146][SQL] Correzione della funzione di aggregazione nell’asserzione figlio dell'espressione With
    • [SPARK-47986][CONNECT][PYTHON] Impossibile creare una nuova sessione quando la sessione predefinita viene chiusa dal server
    • [SPARK-48180][SQL] Migliorare l'errore quando la chiamata UDTF con arg TABLE dimentica le parentesi relative a più espressioni PARTITION/ORDER BY
    • [SPARK-48016][SQL] Correzione di un bug nella funzione try_divide quando ha decimali
    • [SPARK-48197][SQL] Evitare l'errore di asserzione per la funzione lambda non valida
    • [SPARK-47994][SQL] Correzione di un bug con il push del filtro colonne CASE WHEN in SQLServer
    • [SPARK-48173][SQL] CheckAnalysis deve visualizzare l'intero piano di query
    • [SPARK-48105][SS] Correggere la race condition tra lo scaricamento dello stato e la creazione di snapshot
    • Aggiornamenti della sicurezza del sistema operativo
  • 9 maggio 2024
    • (Modifica funzionale) i tipi UDF sono applyInPandas e mapInPandas ora sono supportati nel calcolo in modalità di accesso condiviso che esegue Databricks Runtime 14.3 e versioni successive.
    • [SPARK-47739][SQL] Registrare il tipo avro logico
    • [SPARK-47941] [SS][Connect] Propagare gli errori di inizializzazione del ruolo di lavoro ForeachBatch agli utenti per PySpark
    • [SPARK-48010][SQL] Evitare chiamate ripetute a conf.resolver in resolveExpression
    • [SPARK-48044][PYTHON][CONNECT] Memorizzare nella cache DataFrame.isStreaming
    • [SPARK-47956][SQL] Controllo della integrità per le informazioni di riferimento LCA non risolte
    • [SPARK-47543][CONNECT][PYTHON] Inferenza di dict come MapType dal DataFrame Pandas per consentire la creazione del DataFrame
    • [SPARK-47819][CONNECT][Cherry-pick-14.3] Usare il callback asincrono per la pulizia dell'esecuzione
    • [SPARK-47764][CORE][SQL] Pulire le dipendenze casuali in base a ShuffleCleanupMode
    • [SPARK-48018][SS] Correzione di groupId null che causa un errore param mancante durante la generazione di KafkaException.couldNotReadOffsetRange
    • [SPARK-47839][SQL] Correzione del bug di aggregazione in RewriteWithExpression
    • [SPARK-47371] [SQL] XML: ignorare i tag di riga trovati in CDATA
    • [SPARK-47895][SQL] group by all deve essere idempotente
    • [SPARK-47973][CORE] Sito di chiamata del log in SparkContext.stop() e versioni successive in SparkContext.assertNotStopped()
    • Aggiornamenti della sicurezza del sistema operativo
  • 25 aprile 2024
    • [SPARK-47543][CONNECT][PYTHON] Inferenza di dict come MapType dal DataFrame Pandas per consentire la creazione del DataFrame
    • [SPARK-47694][CONNECT] Rendere configurabili le dimensioni massime dei messaggi sul lato client
    • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] Convalidare il nome della colonna con lo schema memorizzato nella cache
    • [SPARK-47862][PYTHON] [CONNECT] Correzione della generazione di file proto
    • Ripristinare “[SPARK-47543][CONNECT][PYTHON] Inferenza di dict come MapType dal DataFrame Pandas per consentire la creazione del DataFrame”
    • [SPARK-47704][SQL] L'analisi JSON ha esito negativo con "java.lang.ClassCastException" quando spark.sql.json.enablePartialResults è abilitato
    • [SPARK-47812][CONNECT] Supporto della serializzazione di SparkSession per il ruolo di lavoro ForEachBatch
    • [SPARK-47818][CONNECT][Cherry-pick-14.3] Introdurre la cache dei piani in SparkConnectPlanner per migliorare le prestazioni delle richieste di analisi
    • [SPARK-47828][CONNECT] [PYTHON] DataFrameWriterV2.overwrite ha esito negativo con piano non valido
    • Aggiornamenti della sicurezza del sistema operativo
  • 11 aprile 2024
    • (Modifica del comportamento) Per garantire un comportamento coerente tra i vari tipi di calcolo, le UDF di PySpark su cluster condivisi ora corrispondono al comportamento delle UDF su cluster non isolati e assegnati. Questo aggiornamento include le seguenti modifiche che potrebbero interrompere il codice esistente:
      • Le funzioni definite dall'utente con un tipo restituito string non convertono più in modo implicito i valori non string in valori string. In precedenza, le UDF con un tipo restituito di str avrebbero eseguito il wrapping del valore restituito con una funzione str() indipendentemente dal tipo di dati effettivo del valore restituito.
      • Le funzioni definite dall'utente con tipi restituiti timestamp non applicano più in modo implicito una conversione a timestamp con timezone.
      • Le configurazioni spark.databricks.sql.externalUDF.* del cluster Spark non si applicano più alle funzioni definite dall'utente PySpark nei cluster condivisi.
      • La configurazione spark.databricks.safespark.externalUDF.plan.limit del cluster Spark nnon interessa più le UDF di PySpark, eliminando la limitazione dell'Anteprima pubblica di 5 UDF per query per le UDF di PySpark.
      • La configurazione spark.databricks.safespark.sandbox.size.default.mib del cluster Spark non si applica più alle UDF di PySpark nei cluster condivisi. Viene invece utilizzata la memoria disponibile nel sistema. Per limitare la memoria delle UDF di PySpark, usare spark.databricks.pyspark.udf.isolation.memoryLimit con un valore minimo di 100m.
    • Il tipo di dati TimestampNTZ è ora supportato come colonna di clustering con clustering liquido. Vedere Usare il clustering liquido per le tabelle Delta.
    • [SPARK-47511][SQL] Canonizzare le espressioni With assegnando nuovamente gli ID
    • [SPARK-47509][SQL] Blocca le espressioni di sottoquery nelle funzioni lambda e di ordine superiore
    • [SPARK-46990][SQL] Correzione del caricamento di file Avro vuoti generati da hub eventi
    • [SPARK-47638][PS] [CONNECT] Ignorare la convalida del nome della colonna in PS
    • Aggiornamenti della sicurezza del sistema operativo
  • 14 marzo 2024
    • [SPARK-47135][SS] Implementare classi di errore per le eccezioni di perdita di dati Kafka
    • [SPARK-47176][SQL] Disporre di una funzione helper ResolveAllExpressionsUpWithPruning
    • [SPARK-47145][SQL] Passare l'identificatore di tabella all'esecuzione analisi dell'origine dati di riga per la strategia V2.
    • [SPARK-47044][SQL] Aggiungere una query eseguita per origini dati esterne JDBC per spiegare l'output
    • [SPARK-47167][SQL] Aggiungere una classe concreta per la relazione anonima JDBC
    • [SPARK-47070] Correzione dell'aggregazione non valida dopo la riscrittura della sottoquery
    • [SPARK-47121][CORE] Evitare RejectedExecutionExceptions durante l'arresto di StandaloneSchedulerBackend
    • Ripristinare “[SPARK-46861][CORE] Evitare deadlock in DAGScheduler”
    • [SPARK-47125][SQL] Restituire Null se l'univocità non attiva mai l'analisi
    • [SPARK-46999][SQL] ExpressionWithUnresolvedIdentifier deve includere altre espressioni nella struttura dell'espressione
    • [SPARK-47129][CONNECT][SQL] Impostare correttamente il piano di connessione della cache ResolveRelations
    • [SPARK-47241][SQL] Risolvere i problemi relativi all'ordine delle regole per ExtractGenerator
    • [SPARK-47035][SS][CONNECT] Protocollo per il listener lato client
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 febbraio 2024
    • È stato risolto il problema per cui l'uso di una raccolta locale come origine in un comando MERGE poteva causare il doppio del numero corretto di righe nella metrica dell'operazione numSourceRows.
    • La creazione di uno schema con un percorso definito ora richiede che l'utente disponga dei privilegi SELECT e MODIFY per ANY FILE.
    • [SPARK-47071][SQL] Incorporare l’espressione With se contiene un'espressione speciale
    • [SPARK-47059][SQL] Collegare il contesto di errore per il comando ALTER COLUMN v1
    • [SPARK-46993][SQL] Correzione della riduzione costante per le variabili di sessione
    • Aggiornamenti della sicurezza del sistema operativo
  • 3 gennaio 2024
    • [SPARK-46933] Aggiungere la metrica relativa al tempo di esecuzione delle query ai connettori che usano JDBCRDD.
    • [SPARK-46763] Correzione dell'errore di asserzione in ReplaceDeduplicateWithAggregate per gli attributi duplicati.
    • [SPARK-46954] XML: eseguire il wrapping di InputStreamReader con BufferedReader.
    • [SPARK-46655] Ignorare il rilevamento del contesto di query nei metodi DataFrame.
    • [SPARK-44815] Memorizzare nella cache df.schema per evitare RPC aggiuntive.
    • [SPARK-46952] XML: limitare le dimensioni del record danneggiato.
    • [SPARK-46794] Rimuovere sottoquery dai vincoli LogicalRDD.
    • [SPARK-46736] mantenere il campo messaggio vuoto nel connettore protobuf.
    • [SPARK-45182] Ignorare il completamento dell'attività dalla fase precedente dopo aver rieseguito la fase padre-indeterminato come determinato dal checksum.
    • [SPARK-46414] Usare prependBaseUri per eseguire il rendering delle importazioni javascript.
    • [SPARK-46383] Ridurre l'utilizzo dell'heap del driver riducendo la durata di TaskInfo.accumulables().
    • [SPARK-46861] Evitare deadlock in DAGScheduler.
    • [SPARK-46954] XML: ottimizzare la ricerca dell'indice dello schema.
    • [SPARK-46676] dropDuplicatesWithinWatermark non deve avere esito negativo sulla canonizzazione del piano.
    • [SPARK-46644] Modificare l'aggiunta e l'unione in SQLMetric per l’uso di isZero.
    • [SPARK-46731] Gestire l'istanza del provider dell'archivio stati in base all'origine dati stato - lettore.
    • [SPARK-46677] Correzione della risoluzione dataframe["*"].
    • [SPARK-46610] La creazione di una tabella deve generare un'eccezione quando non viene restituito alcun valore per una chiave nelle opzioni.
    • [SPARK-46941] Non è possibile inserire il nodo limite del gruppo di finestre per il calcolo top-k se contiene SizeBasedWindowFunction.
    • [SPARK-45433] Correzione dell'inferenza dello schema CSV/JSON quando i timestamp non corrispondono a timestampFormat specificati.
    • [SPARK-46930] Aggiungere il supporto per un prefisso personalizzato per i campi tipo unione in Avro.
    • [SPARK-46227] Backport alla versione 14.3.
    • [SPARK-46822] Rispettare spark.sql.legacy.charVarcharAsString durante il cast del tipo jdbc al tipo catalyst in jdbc.
    • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 14.2

Si veda Databricks Runtime 14.2.

  • 10 ottobre 2024
  • 25 settembre 2024
    • [SPARK-48719][SQL] Correzione del bug di calcolo di 'RegrS...
    • [SPARK-49628][SQL] ConstantFolding deve copiare un'espressione con stato prima di valutare
    • [SPARK-49000][SQL] Correzione di "select count(distinct 1) from t" dove t è una tabella vuota espandendo RewriteDistinctAggregates
    • [SPARK-43242][CORE] Correzione dell'eccezione 'Tipo imprevisto di BlockId' nella diagnosi di danneggiamento casuale
    • [SPARK-46601] [CORE] Correzione dell'errore di log in handleStatusMessage
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 settembre 2024
    • [SPARK-49526][CONNECT] Supportare percorsi in stile Windows in ArtifactManager
  • 29 agosto 2024
    • [SPARK-49263][CONNECT] Client Python Spark Connect: gestire in modo coerente le opzioni del lettore di DataFrame booleani
    • [SPARK-49146][SS] Spostare gli errori di asserzione correlati al limite mancante nelle query di streaming in modalità Append nel framework degli errori
    • [SPARK-49056][SQL] ErrorClassesJsonReader non è in grado di gestire correttamente i valori Null
  • 14 agosto 2024
    • [SPARK-48050][SS] Registrare un piano logico all'avvio della query
    • [SPARK-48597][SQL] Introdurre un marcatore per la proprietà isStreaming nella rappresentazione testuale del piano logico
    • [SPARK-49065][SQL] Il rebasing nei formattatori/parser legacy deve supportare fusi orari predefiniti non JVM
    • [SPARK-48706][PYTHON] La funzione definita dall’utente Python in ordine superiore non deve generare un errore interno
  • 1 agosto 2024
    • Questa versione include la correzione di un bug per le classi ColumnVector e ColumnarArray nell'interfaccia Spark Java. In precedenza a questa correzione, poteva essere generata una ArrayIndexOutOfBoundsException o potevano essere restituiti dati non corretti quando un'istanza di una di queste classi conteneva valori null.
    • L'output di un'istruzione SHOW CREATE TABLE ora include tutti i filtri di riga o le maschere di colonna definiti in una vista materializzata o in una tabella di streaming. Vedere SHOW CREATE TABLE. Per informazioni sui filtri di riga e sulle maschere di colonna, vedere Filtrare i dati delle tabelle sensibili usando filtri di riga e maschere di colonne.
    • [SPARK-47202][PYTHON] Correzione del tipo che causa un’interruzione di datetime con tzinfo
    • [SPARK-48705][PYTHON] Usare in modo esplicito worker_main quando inizia con pyspark
    • Aggiornamenti della sicurezza del sistema operativo
  • 11 luglio 2024
    • (Modifica funzionale) I dataframe memorizzati nella cache rispetto alle origini di tabella Delta vengono ora invalidati se la tabella di origine viene sovrascritta. Questa modifica indica che tutte le modifiche dello stato apportate alle tabelle Delta ora invalidano i risultati memorizzati nella cache. Usare .checkpoint() per rendere persistente lo stato di una tabella per tutta la durata di un DataFrame.
    • Il driver JDBC Snowflake viene aggiornato alla versione 3.16.1
    • Questa versione include la correzione di un problema che impediva la visualizzazione corretta della scheda Ambiente interfaccia utente Spark durante l'esecuzione in Databricks Container Services.
    • [SPARK-48292][CORE] Ripristinare [SPARK-39195] [SQL] Spark OutputCommitCoordinator deve interrompere la fase quando il file di cui è stato eseguito il commit non è coerente con lo stato dell'attività
    • [SPARK-48273][SQL] Correzione della riscrittura tardiva di PlanWithUnresolvedIdentifier
    • [SPARK-48503][SQL] Correzione di sottoquery scalari non valide con group-by in colonne non equivalenti non consentite correttamente
    • [SPARK-48481][SQL][SS] Non applicare OptimizeOneRowPlan al set di dati di streaming
    • [SPARK-48475][PYTHON] Ottimizzare _get_jvm_function in PySpark.
    • [SPARK-48100][SQL] Correggere i problemi nell’ignorare i campi della struttura annidata non selezionati nello schema
    • [SPARK-48445][SQL] Non incorporare funzioni definite dall'utente con espressioni figlio dispendiose
    • [SPARK-48383][SS] Genera un errore migliore per le partizioni non corrispondenti nell'opzione startOffset in Kafka
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 giugno 2024
    • Corregge un bug per cui l'ottimizzazione della finestra di classificazione tramite Photon TopK gestiva erroneamente le partizioni con struct.
    • [SPARK-48276][PYTHON][CONNECT] Aggiungere il metodo __repr__ mancante per SQLExpression
    • [SPARK-48277] Miglioramento del messaggio di errore per ErrorClassesJsonReader.getErrorMessage
    • Aggiornamenti della sicurezza del sistema operativo
  • 21 maggio 2024
    • (Modifica del comportamento) dbutils.widgets.getAll() è ora supportato per ottenere tutti i valori dei widget in un notebook.
    • [SPARK-48173][SQL] CheckAnalysis deve visualizzare l'intero piano di query
    • [SPARK-48197][SQL] Evitare l'errore di asserzione per la funzione lambda non valida
    • [SPARK-47994][SQL] Correzione di un bug con il push del filtro colonne CASE WHEN in SQLServer
    • [SPARK-48105][SS] Correggere la race condition tra lo scaricamento dello stato e la creazione di snapshot
    • Aggiornamenti della sicurezza del sistema operativo
  • 9 maggio 2024
    • [SPARK-48044][PYTHON][CONNECT] Memorizzare nella cache DataFrame.isStreaming
    • [SPARK-47956][SQL] Controllo della integrità per le informazioni di riferimento LCA non risolte
    • [SPARK-47371] [SQL] XML: ignorare i tag di riga trovati in CDATA
    • [SPARK-47812][CONNECT] Supporto della serializzazione di SparkSession per il ruolo di lavoro ForEachBatch
    • [SPARK-47895][SQL] group by all deve essere idempotente
    • [SPARK-47973][CORE] Sito di chiamata del log in SparkContext.stop() e versioni successive in SparkContext.assertNotStopped()
    • Aggiornamenti della sicurezza del sistema operativo
  • 25 aprile 2024
    • [SPARK-47704][SQL] L'analisi JSON ha esito negativo con "java.lang.ClassCastException" quando spark.sql.json.enablePartialResults è abilitato
    • [SPARK-47828][CONNECT] [PYTHON] DataFrameWriterV2.overwrite ha esito negativo con piano non valido
    • Aggiornamenti della sicurezza del sistema operativo
  • 11 aprile 2024
    • [SPARK-47309][SQL] [XML] Aggiungere unit test di inferenza dello schema
    • [SPARK-46990][SQL] Correzione del caricamento di file Avro vuoti generati da hub eventi
    • [SPARK-47638][PS] [CONNECT] Ignorare la convalida del nome della colonna in PS
    • [SPARK-47509][SQL] Blocca le espressioni di sottoquery nelle funzioni lambda e di ordine superiore
    • [SPARK-38708][SQL] Aggiornare il client Metastore Hive alla versione 3.1.3 per Hive 3.1
    • Aggiornamenti della sicurezza del sistema operativo
  • 1 aprile 2024
    • [SPARK-47322][PYTHON] [CONNECT] Rendere la gestione della duplicazione dei nomi delle colonne withColumnsRenamed coerente con withColumnRenamed
    • [SPARK-47385] Correggere i codificatori di tupla con input di opzione.
    • [SPARK-47070] Correzione dell'aggregazione non valida dopo la riscrittura della sottoquery
    • [SPARK-47218] [SQL] XML: Modifica di SchemaOfXml in modo che non riesca in modalità DROPMALFORMED
    • [SPARK-47305][SQL] Correzione di PruneFilters per contrassegnare correttamente il flag isStreaming di LocalRelation quando il piano ha sia batch sia streaming
    • [SPARK-47218][SQL] XML: ignorare i tag di riga commentati nel tokenizer XML
    • Ripristinare “[SPARK-46861][CORE] Evitare deadlock in DAGScheduler”
    • [SPARK-47300][SQL] quoteIfNeeded l'identificatore di virgolette deve iniziare con le cifre
    • [SPARK-47368][SQL] Rimuovere il controllo di configurazione inferTimestampNTZ in ParquetRowConverter
    • Aggiornamenti della sicurezza del sistema operativo
  • 14 marzo 2024
    • [SPARK-47035][SS][CONNECT] Protocollo per il listener lato client
    • [SPARK-47121][CORE] Evitare RejectedExecutionExceptions durante l'arresto di StandaloneSchedulerBackend
    • [SPARK-47145][SQL] Passare l'identificatore di tabella all'esecuzione analisi dell'origine dati di riga per la strategia V2.
    • [SPARK-47176][SQL] Disporre di una funzione helper ResolveAllExpressionsUpWithPruning
    • [SPARK-47167][SQL] Aggiungere una classe concreta per la relazione anonima JDBC
    • [SPARK-47129][CONNECT][SQL] Impostare correttamente il piano di connessione della cache ResolveRelations
    • [SPARK-47044][SQL] Aggiungere una query eseguita per origini dati esterne JDBC per spiegare l'output
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 febbraio 2024
    • È stato risolto il problema per cui l'uso di una raccolta locale come origine in un comando MERGE poteva causare il doppio del numero corretto di righe nella metrica dell'operazione numSourceRows.
    • La creazione di uno schema con un percorso definito ora richiede che l'utente disponga dei privilegi SELECT e MODIFY per ANY FILE.
    • È ora possibile inserire file XML usando Autoloader, read_files, COPY INTO, DLT e DBSQL. Il supporto di file XML può dedurre ed evolvere automaticamente lo schema, salvare i dati con tipi non corrispondenti, convalidare XML usando XSD, supportare espressioni SQL come from_xml, schema_of_xml e to_xml. Per altri dettagli, vedere Supporto file XML. Se in precedenza si usava il pacchetto spark-xml esterno, vedere qui per indicazioni sulla migrazione.
    • [SPARK-46954][SQL] XML: eseguire il wrapping di InputStreamReader con BufferedReader
    • [SPARK-46630][SQL] XML: convalidare il nome dell'elemento XML in scrittura
    • [SPARK-46248][SQL] XML: supporto per le opzioni ignoreCorruptFiles e ignoreMissingFiles
    • [SPARK-46954][SQL] XML: ottimizzare la ricerca dell'indice dello schema
    • [SPARK-47059][SQL] Collegare il contesto di errore per il comando ALTER COLUMN v1
    • [SPARK-46993][SQL] Correzione della riduzione costante per le variabili di sessione
  • 8 febbraio 2024
    • Le query CDF (Change Data Feed) nelle viste materializzate del catalogo Unity non sono supportate e il tentativo di eseguire una query CDF con una vista materializzata del catalogo Unity restituisce un errore. Le tabelle di streaming del catalogo Unity supportano query CDF su tabelle non APPLY CHANGES in Databricks Runtime 14.1 e versioni successive. Le query CDF non sono supportate con le tabelle di streaming del catalogo Unity in Databricks Runtime 14.0 e versioni precedenti.
    • [SPARK-46930] Aggiungere il supporto per un prefisso personalizzato per i campi tipo unione in Avro.
    • [SPARK-46822] Rispettare spark.sql.legacy.charVarcharAsString durante il cast del tipo jdbc al tipo catalyst in jdbc.
    • [SPARK-46952] XML: limitare le dimensioni del record danneggiato.
    • [SPARK-46644] Modificare l'aggiunta e l'unione in SQLMetric per l’uso di isZero.
    • [SPARK-46861] Evitare deadlock in DAGScheduler.
    • [SPARK-46794] Rimuovere sottoquery dai vincoli LogicalRDD.
    • [SPARK-46941] Non è possibile inserire il nodo limite del gruppo di finestre per il calcolo top-k se contiene SizeBasedWindowFunction.
    • [SPARK-46933] Aggiungere la metrica relativa al tempo di esecuzione delle query ai connettori che usano JDBCRDD.
    • Aggiornamenti della sicurezza del sistema operativo
  • 31 gennaio 2024
    • [SPARK-46382] XML: aggiornare il documento per ignoreSurroundingSpaces.
    • [SPARK-46382] XML: acquisisce i valori interspersi tra gli elementi.
    • [SPARK-46763] Correzione dell'errore di asserzione in ReplaceDeduplicateWithAggregate per gli attributi duplicati.
    • Ripristinare [SPARK-46769] Ridefinire l'inferenza dello schema correlata al timestamp.
    • [SPARK-46677] Correzione della risoluzione dataframe["*"].
    • [SPARK-46382] XML: valore predefinito ignoreSurroundingSpaces su true.
    • [SPARK-46633] Correzione del lettore Avro per gestire blocchi di lunghezza zero.
    • [SPARK-45964] Rimuovere la funzione di accesso SQL privata nel pacchetto XML e JSON nel pacchetto catalyst.
    • [SPARK-46581] Aggiornare il commento su isZero in AccumulatorV2.
    • [SPARK-45912] Miglioramento dell'API XSDToSchema: passare all'API HDFS per l'accessibilità dell'archiviazione cloud.
    • [SPARK-45182] Ignorare il completamento dell'attività dalla fase precedente dopo aver rieseguito la fase padre-indeterminato come determinato dal checksum.
    • [SPARK-46660] ReattachExecute richiede aggiornamenti dell'integrità del SessionHolder.
    • [SPARK-46610] La creazione di una tabella deve generare un'eccezione quando non viene restituito alcun valore per una chiave nelle opzioni.
    • [SPARK-46383] Ridurre l'utilizzo dell'heap del driver riducendo la durata di TaskInfo.accumulables().
    • [SPARK-46769] Ridefinire l'inferenza dello schema correlata al timestamp.
    • [SPARK-46684] Correzione di CoGroup.applyInPandas/Arrow per passare correttamente gli argomenti.
    • [SPARK-46676] dropDuplicatesWithinWatermark non deve avere esito negativo sulla canonizzazione del piano.
    • [SPARK-45962] Rimuovere treatEmptyValuesAsNulls e usare invece l'opzione nullValue in XML.
    • [SPARK-46541] Correggere il riferimento di colonna ambiguo in self join.
    • [SPARK-46599] XML: usare TypeCoercion.findTightestCommonType per il controllo della compatibilità.
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 gennaio 2024
    • Il nodo shuffle del piano di spiegazione restituito da una query Photon viene aggiornato per aggiungere il flag causedBroadcastJoinBuildOOM=truequando si verifica un errore di memoria insufficiente durante una sequenza casuale che fa parte di un join di trasmissione.
    • Per evitare una maggiore latenza durante la comunicazione tramite TLSv1.3, questa versione di manutenzione include una patch per l'installazione di JDK 8 per correggere il bug JDK JDK-8293562.
    • [SPARK-46261] DataFrame.withColumnsRenamed deve mantenere l'ordine dict/map.
    • [SPARK-46538] Correggere il problema di riferimento di colonna ambiguo in ALSModel.transform.
    • [SPARK-46145] spark.catalog.listTables non genera eccezioni quando la tabella o la vista non viene trovata.
    • [SPARK-46484] Rendere resolveOperators le funzioni helper mantenere l'ID del piano.
    • [SPARK-46394] Correggere i problemi di spark.catalog.listDatabases() sugli schemi con caratteri speciali quando spark.sql.legacy.keepCommandOutputSchema è impostato su true.
    • [SPARK-46609] Evitare l'esplosione esponenziale in PartitioningPreservingUnaryExecNode.
    • [SPARK-46446] Disabilitare le sottoquery con OFFSET correlato per correggere il bug di correttezza.
    • [SPARK-46152] XML: aggiungere il supporto DecimalType nell'inferenza dello schema XML.
    • [SPARK-46602] Propagare allowExisting nella creazione della vista quando la vista o la tabella non esiste.
    • [SPARK-45814] Impostare ArrowConverters.createEmptyArrowBatch call close() per evitare perdite di memoria.
    • [SPARK-46058] Aggiungere un flag separato per privateKeyPassword.
    • [SPARK-46132] Supporto della password della chiave per le chiavi JKS per SSL RPC.
    • [SPARK-46600] Spostare il codice condiviso tra SqlConf e SqlApiConf in SqlApiConfHelper.
    • [SPARK-46478] Ripristinare SPARK-43049 per usare oracle varchar(255) per la stringa.
    • [SPARK-46417] Non fallire quando si chiama hive.getTable e throwException è false.
    • [SPARK-46153] XML: aggiunta del supporto TimestampNTZType.
    • [SPARK-46056][BACKPORT] Correzione del valore predefinito di NpE in lettura con valore predefinito byteArrayDecimalType.
    • [SPARK-46466] Il lettore Parquet vettorializzato non deve mai eseguire il rebase per timestamp ntz.
    • [SPARK-46260] DataFrame.withColumnsRenamed deve mantenere l'ordine dict.
    • [SPARK-46036] Rimozione della classe di errore dalla funzione raise_error.
    • [SPARK-46294] Pulire la semantica di init rispetto al valore uguale a zero.
    • [SPARK-46173] Ignorare trimAll call durante l'analisi della data.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46587] XML: correzione della conversione di grandi numeri interi XSD.
    • [SPARK-46396] L'inferenza timestamp non deve generare un'eccezione.
    • [SPARK-46241] Correggere la routine di gestione degli errori in modo che non incorra in ricorsione infinita.
    • [SPARK-46355] XML: chiudere InputStreamReader al completamento della lettura.
    • [SPARK-46370] Correzione di un bug durante l'esecuzione di query dalla tabella dopo la modifica delle impostazioni predefinite della colonna.
    • [SPARK-46265] Le asserzioni in RPC AddArtifact rendono il client di connessione incompatibile con i cluster meno recenti.
    • [SPARK-46308] Impedire la gestione ricorsiva degli errori.
    • [SPARK-46337] Far mantenere a CTESubstitution l'oggetto PLAN_ID_TAG.
  • 14 dicembre 2023
    • [SPARK-46141] Modificare il valore predefinito di spark.sql.legacy.ctePrecedencePolicy impostandolo su CORRETTO.
    • [SPARK-45730] Rendere ReloadingX509TrustManagerSuite meno problematico.
    • [SPARK-45852] Gestire normalmente l'errore di ricorsione durante la registrazione.
    • [SPARK-45808] Migliore gestione degli errori per le eccezioni SQL.
    • [SPARK-45920] il gruppo per ordinale deve essere idempotente.
    • Ripristinare "[SPARK-45649] Unificare il framework di preparazione per OffsetWindowFunctionFrame".
    • [SPARK-45733] Supportare più criteri di ripetizione dei tentativi.
    • [SPARK-45509] Correzione del comportamento di riferimento della colonna df per Spark Connect.
    • [SPARK-45655] Consentire espressioni non deterministiche all'interno di AggregateFunctions in CollectMetrics.
    • [SPARK-45905] Il tipo meno comune tra i tipi decimali deve prima conservare le cifre integrali.
    • [SPARK-45136] Migliorare ClosingCleaner con il supporto di Ammonite.
    • [SPARK-46255] Supporto del tipo complesso - conversione di stringhe >.
    • [SPARK-45859] Rendere lazy gli oggetti UDF in ml.functions.
    • [SPARK-46028] Far accettare a Column.__getitem__ la colonna di input.
    • [SPARK-45798] Asserire ID sessione sul lato server.
    • [SPARK-45892] Eseguire il refactoring della convalida del piano per separare validateSchemaOutput e validateExprIdUniqueness.
    • [SPARK-45844] Implementare la non distinzione tra maiuscole e minuscole per XML.
    • [SPARK-45770] Introdurre il piano DataFrameDropColumns per Dataframe.drop.
    • [SPARK-44790] XML: implementazione to_xml e associazioni per Python, connect e SQL.
    • [SPARK-45851] Supportare più criteri nel client scala.
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 novembre 2023
    • È stato installato un nuovo pacchetto pyarrow-hotfix per correggere una vulnerabilità PyArrow RCE.
    • È stato risolto un problema per cui i caratteri di sottolineatura preceduti da escape nelle operazioni getColumns provenienti da client JDBC o ODBC interpretati erroneamente come caratteri jolly.
    • [SPARK-45730] Vincoli temporali migliorati per ReloadingX509TrustManagerSuite.
    • [SPARK-45852] Il client Python per Spark Connect ora rileva gli errori di ricorsione durante la conversione del testo.
    • [SPARK-45808] Miglioramento della gestione degli errori per le eccezioni SQL.
    • [SPARK-45920] L’ordinale GROUP BY non sostituisce l'ordinale.
    • Ripristinare [SPARK-45649].
    • [SPARK-45733] Aggiunta del supporto per criteri di ripetizione dei tentativi.
    • [SPARK-45509] Correzione del comportamento di riferimento della colonna df per Spark Connect.
    • [SPARK-45655] Consentire espressioni non deterministiche all'interno di AggregateFunctions in CollectMetrics.
    • [SPARK-45905] Il tipo meno comune tra i tipi decimali ora mantiene prima le cifre integrali.
    • [SPARK-45136] Migliorare ClosureCleaner con il supporto di Ammonite.
    • [SPARK-45859] Oggetti UDF creati in ml.functions differita.
    • [SPARK-46028] Column.__getitem__ accetta le colonne di input.
    • [SPARK-45798] Asserire ID sessione sul lato server.
    • [SPARK-45892] Eseguire il refactoring della convalida del piano per separare validateSchemaOutput e validateExprIdUniqueness.
    • [SPARK-45844] Implementare la non distinzione tra maiuscole e minuscole per XML.
    • [SPARK-45770] Correzione della risoluzione delle colonne con DataFrameDropColumns per Dataframe.drop.
    • [SPARK-44790] Aggiunta dell’implementazione to_xml e associazioni per Python, Spark Connect e SQL.
    • [SPARK-45851] Aggiunta del supporto per più criteri nel client Scala.
    • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 14.1

Si veda Databricks Runtime 14.1.

  • 10 ottobre 2024
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Classe Classify Error per l'errore della funzione utente FlatMapGroupsWithState
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr non deve modificare i campi dello schema durante l'eliminazione di GetArrayStructFields
    • Aggiornamenti della sicurezza del sistema operativo
  • 25 settembre 2024
    • [SPARK-49628][SQL] ConstantFolding deve copiare un'espressione con stato prima di valutare
    • [SPARK-43242][CORE] Correzione dell'eccezione 'Tipo imprevisto di BlockId' nella diagnosi di danneggiamento casuale
    • [SPARK-48719][SQL] Correzione del bug di calcolo di 'RegrS...
    • [SPARK-49000][SQL] Correzione di "select count(distinct 1) from t" dove t è una tabella vuota espandendo RewriteDistinctAggregates
    • [SPARK-46601] [CORE] Correzione dell'errore di log in handleStatusMessage
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 settembre 2024
    • [SPARK-49526][CONNECT] Supportare percorsi in stile Windows in ArtifactManager
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 agosto 2024
    • [SPARK-49263][CONNECT] Client Python Spark Connect: gestire in modo coerente le opzioni del lettore di DataFrame booleani
    • [SPARK-49056][SQL] ErrorClassesJsonReader non è in grado di gestire correttamente i valori Null
  • 14 agosto 2024
    • [SPARK-48706][PYTHON] La funzione definita dall’utente Python in ordine superiore non deve generare un errore interno
    • [SPARK-48597][SQL] Introdurre un marcatore per la proprietà isStreaming nella rappresentazione testuale del piano logico
    • [SPARK-49065][SQL] Il rebasing nei formattatori/parser legacy deve supportare fusi orari predefiniti non JVM
    • [SPARK-48050][SS] Registrare un piano logico all'avvio della query
  • 1 agosto 2024
    • Questa versione include la correzione di un bug per le classi ColumnVector e ColumnarArray nell'interfaccia Spark Java. In precedenza a questa correzione, poteva essere generata una ArrayIndexOutOfBoundsException o potevano essere restituiti dati non corretti quando un'istanza di una di queste classi conteneva valori null.
    • L'output di un'istruzione SHOW CREATE TABLE ora include tutti i filtri di riga o le maschere di colonna definiti in una vista materializzata o in una tabella di streaming. Vedere SHOW CREATE TABLE. Per informazioni sui filtri di riga e sulle maschere di colonna, vedere Filtrare i dati delle tabelle sensibili usando filtri di riga e maschere di colonne.
    • [SPARK-48705][PYTHON] Usare in modo esplicito worker_main quando inizia con pyspark
    • [SPARK-47202][PYTHON] Correzione del tipo che causa un’interruzione di datetime con tzinfo
    • Aggiornamenti della sicurezza del sistema operativo
  • 11 luglio 2024
    • (Modifica funzionale) I dataframe memorizzati nella cache rispetto alle origini di tabella Delta vengono ora invalidati se la tabella di origine viene sovrascritta. Questa modifica indica che tutte le modifiche dello stato apportate alle tabelle Delta ora invalidano i risultati memorizzati nella cache. Usare .checkpoint() per rendere persistente lo stato di una tabella per tutta la durata di un DataFrame.
    • Questa versione include la correzione di un problema che impediva la visualizzazione corretta della scheda Ambiente interfaccia utente Spark durante l'esecuzione in Databricks Container Services.
    • [SPARK-48475][PYTHON] Ottimizzare _get_jvm_function in PySpark.
    • [SPARK-48445][SQL] Non incorporare funzioni definite dall'utente con espressioni figlio dispendiose
    • [SPARK-48481][SQL][SS] Non applicare OptimizeOneRowPlan al set di dati di streaming
    • [SPARK-48292][CORE] Ripristinare [SPARK-39195] [SQL] Spark OutputCommitCoordinator deve interrompere la fase quando il file di cui è stato eseguito il commit non è coerente con lo stato dell'attività
    • [SPARK-48503][SQL] Correzione di sottoquery scalari non valide con group-by in colonne non equivalenti non consentite correttamente
    • [SPARK-48273][SQL] Correzione della riscrittura tardiva di PlanWithUnresolvedIdentifier
    • [SPARK-48100][SQL] Correggere i problemi nell’ignorare i campi della struttura annidata non selezionati nello schema
    • [SPARK-48383][SS] Genera un errore migliore per le partizioni non corrispondenti nell'opzione startOffset in Kafka
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 giugno 2024
    • Corregge un bug per cui l'ottimizzazione della finestra di classificazione tramite Photon TopK gestiva erroneamente le partizioni con struct.
    • [SPARK-48276][PYTHON][CONNECT] Aggiungere il metodo __repr__ mancante per SQLExpression
    • [SPARK-48277] Miglioramento del messaggio di errore per ErrorClassesJsonReader.getErrorMessage
    • Aggiornamenti della sicurezza del sistema operativo
  • 21 maggio 2024
    • (Modifica del comportamento) dbutils.widgets.getAll() è ora supportato per ottenere tutti i valori dei widget in un notebook.
    • [SPARK-47994][SQL] Correzione di un bug con il push del filtro colonne CASE WHEN in SQLServer
    • [SPARK-48105][SS] Correggere la race condition tra lo scaricamento dello stato e la creazione di snapshot
    • [SPARK-48173][SQL] CheckAnalysis deve visualizzare l'intero piano di query
    • Aggiornamenti della sicurezza del sistema operativo
  • 9 maggio 2024
    • [SPARK-47371] [SQL] XML: ignorare i tag di riga trovati in CDATA
    • [SPARK-47895][SQL] group by all deve essere idempotente
    • [SPARK-47956][SQL] Controllo della integrità per le informazioni di riferimento LCA non risolte
    • [SPARK-48044][PYTHON][CONNECT] Memorizzare nella cache DataFrame.isStreaming
    • [SPARK-47973][CORE] Sito di chiamata del log in SparkContext.stop() e versioni successive in SparkContext.assertNotStopped()
    • Aggiornamenti della sicurezza del sistema operativo
  • 25 aprile 2024
    • [SPARK-47704][SQL] L'analisi JSON ha esito negativo con "java.lang.ClassCastException" quando spark.sql.json.enablePartialResults è abilitato
    • [SPARK-47828][CONNECT] [PYTHON] DataFrameWriterV2.overwrite ha esito negativo con piano non valido
    • Aggiornamenti della sicurezza del sistema operativo
  • 11 aprile 2024
    • [SPARK-47638][PS] [CONNECT] Ignorare la convalida del nome della colonna in PS
    • [SPARK-38708][SQL] Aggiornare il client Metastore Hive alla versione 3.1.3 per Hive 3.1
    • [SPARK-47309][SQL] [XML] Aggiungere unit test di inferenza dello schema
    • [SPARK-47509][SQL] Blocca le espressioni di sottoquery nelle funzioni lambda e di ordine superiore
    • [SPARK-46990][SQL] Correzione del caricamento di file Avro vuoti generati da hub eventi
    • Aggiornamenti della sicurezza del sistema operativo
  • 1 aprile 2024
    • [SPARK-47305][SQL] Correzione di PruneFilters per contrassegnare correttamente il flag isStreaming di LocalRelation quando il piano ha sia batch sia streaming
    • [SPARK-47218][SQL] XML: ignorare i tag di riga commentati nel tokenizer XML
    • [SPARK-47300][SQL] quoteIfNeeded l'identificatore di virgolette deve iniziare con le cifre
    • [SPARK-47368][SQL] Rimuovere il controllo di configurazione inferTimestampNTZ in ParquetRowConverter
    • [SPARK-47070] Correzione dell'aggregazione non valida dopo la riscrittura della sottoquery
    • [SPARK-47322][PYTHON] [CONNECT] Rendere la gestione della duplicazione dei nomi delle colonne withColumnsRenamed coerente con withColumnRenamed
    • [SPARK-47300] Correzione per DecomposerSuite
    • [SPARK-47218] [SQL] XML: Modifica di SchemaOfXml in modo che non riesca in modalità DROPMALFORMED
    • [SPARK-47385] Correggere i codificatori di tupla con input di opzione.
    • Aggiornamenti della sicurezza del sistema operativo
  • 14 marzo 2024
    • [SPARK-47176][SQL] Disporre di una funzione helper ResolveAllExpressionsUpWithPruning
    • [SPARK-47145][SQL] Passare l'identificatore di tabella all'esecuzione analisi dell'origine dati di riga per la strategia V2.
    • [SPARK-47167][SQL] Aggiungere una classe concreta per la relazione anonima JDBC
    • [SPARK-47129][CONNECT][SQL] Impostare correttamente il piano di connessione della cache ResolveRelations
    • Ripristinare “[SPARK-46861][CORE] Evitare deadlock in DAGScheduler”
    • [SPARK-47044][SQL] Aggiungere una query eseguita per origini dati esterne JDBC per spiegare l'output
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 febbraio 2024
    • È stato risolto il problema per cui l'uso di una raccolta locale come origine in un comando MERGE poteva causare il doppio del numero corretto di righe nella metrica dell'operazione numSourceRows.
    • La creazione di uno schema con un percorso definito ora richiede che l'utente disponga dei privilegi SELECT e MODIFY per ANY FILE.
    • È ora possibile inserire file XML usando Autoloader, read_files, COPY INTO, DLT e DBSQL. Il supporto di file XML può dedurre ed evolvere automaticamente lo schema, salvare i dati con tipi non corrispondenti, convalidare XML usando XSD, supportare espressioni SQL come from_xml, schema_of_xml e to_xml. Per altri dettagli, vedere Supporto file XML. Se in precedenza si usava il pacchetto spark-xml esterno, vedere qui per indicazioni sulla migrazione.
    • [SPARK-46248][SQL] XML: supporto per le opzioni ignoreCorruptFiles e ignoreMissingFiles
    • [SPARK-47059][SQL] Collegare il contesto di errore per il comando ALTER COLUMN v1
    • [SPARK-46954][SQL] XML: eseguire il wrapping di InputStreamReader con BufferedReader
    • [SPARK-46954][SQL] XML: ottimizzare la ricerca dell'indice dello schema
    • [SPARK-46630][SQL] XML: convalidare il nome dell'elemento XML in scrittura
    • Aggiornamenti della sicurezza del sistema operativo
  • 8 febbraio 2024
    • Le query CDF (Change Data Feed) nelle viste materializzate del catalogo Unity non sono supportate e il tentativo di eseguire una query CDF con una vista materializzata del catalogo Unity restituisce un errore. Le tabelle di streaming del catalogo Unity supportano query CDF su tabelle non APPLY CHANGES in Databricks Runtime 14.1 e versioni successive. Le query CDF non sono supportate con le tabelle di streaming del catalogo Unity in Databricks Runtime 14.0 e versioni precedenti.
    • [SPARK-46952] XML: limitare le dimensioni del record danneggiato.
    • [SPARK-45182] Ignorare il completamento dell'attività dalla fase precedente dopo aver rieseguito la fase padre-indeterminato come determinato dal checksum.
    • [SPARK-46794] Rimuovere sottoquery dai vincoli LogicalRDD.
    • [SPARK-46933] Aggiungere la metrica relativa al tempo di esecuzione delle query ai connettori che usano JDBCRDD.
    • [SPARK-46861] Evitare deadlock in DAGScheduler.
    • [SPARK-45582] Assicurarsi che l'istanza dell'archivio non venga utilizzata dopo aver chiamato il commit all'interno dell'aggregazione di streaming in modalità output.
    • [SPARK-46930] Aggiungere il supporto per un prefisso personalizzato per i campi tipo unione in Avro.
    • [SPARK-46941] Non è possibile inserire il nodo limite del gruppo di finestre per il calcolo top-k se contiene SizeBasedWindowFunction.
    • [SPARK-46396] L'inferenza timestamp non deve generare un'eccezione.
    • [SPARK-46822] Rispettare spark.sql.legacy.charVarcharAsString durante il cast del tipo jdbc al tipo catalyst in jdbc.
    • [SPARK-45957] Evitare di generare un piano di esecuzione per i comandi non eseguibili.
    • Aggiornamenti della sicurezza del sistema operativo
  • 31 gennaio 2024
    • [SPARK-46684] Correzione di CoGroup.applyInPandas/Arrow per passare correttamente gli argomenti.
    • [SPARK-46763] Correzione dell'errore di asserzione in ReplaceDeduplicateWithAggregate per gli attributi duplicati.
    • [SPARK-45498] Completamento: ignorare il completamento dell'attività dai tentativi di fase precedente.
    • [SPARK-46382] XML: aggiornare il documento per ignoreSurroundingSpaces.
    • [SPARK-46383] Ridurre l'utilizzo dell'heap del driver riducendo la durata di TaskInfo.accumulables().
    • [SPARK-46382] XML: valore predefinito ignoreSurroundingSpaces su true.
    • [SPARK-46677] Correzione della risoluzione dataframe["*"].
    • [SPARK-46676] dropDuplicatesWithinWatermark non deve avere esito negativo sulla canonizzazione del piano.
    • [SPARK-46633] Correzione del lettore Avro per gestire blocchi di lunghezza zero.
    • [SPARK-45912] Miglioramento dell'API XSDToSchema: passare all'API HDFS per l'accessibilità dell'archiviazione cloud.
    • [SPARK-46599] XML: usare TypeCoercion.findTightestCommonType per il controllo della compatibilità.
    • [SPARK-46382] XML: acquisisce i valori interspersi tra gli elementi.
    • [SPARK-46769] Ridefinire l'inferenza dello schema correlata al timestamp.
    • [SPARK-46610] La creazione di una tabella deve generare un'eccezione quando non viene restituito alcun valore per una chiave nelle opzioni.
    • [SPARK-45964] Rimuovere la funzione di accesso SQL privata nel pacchetto XML e JSON nel pacchetto catalyst.
    • Ripristinare [SPARK-46769] Ridefinire l'inferenza dello schema correlata al timestamp.
    • [SPARK-45962] Rimuovere treatEmptyValuesAsNulls e usare invece l'opzione nullValue in XML.
    • [SPARK-46541] Correggere il riferimento di colonna ambiguo in self join.
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 gennaio 2024
    • Il nodo shuffle del piano di spiegazione restituito da una query Photon viene aggiornato per aggiungere il flag causedBroadcastJoinBuildOOM=truequando si verifica un errore di memoria insufficiente durante una sequenza casuale che fa parte di un join di trasmissione.
    • Per evitare una maggiore latenza durante la comunicazione tramite TLSv1.3, questa versione di manutenzione include una patch per l'installazione di JDK 8 per correggere il bug JDK JDK-8293562.
    • [SPARK-46538] Correggere il problema di riferimento di colonna ambiguo in ALSModel.transform.
    • [SPARK-46417] Non fallire quando si chiama hive.getTable e throwException è false.
    • [SPARK-46484] Rendere resolveOperators le funzioni helper mantenere l'ID del piano.
    • [SPARK-46153] XML: aggiunta del supporto TimestampNTZType.
    • [SPARK-46152] XML: aggiungere il supporto DecimalType nell'inferenza dello schema XML.
    • [SPARK-46145] spark.catalog.listTables non genera eccezioni quando la tabella o la vista non viene trovata.
    • [SPARK-46478] Ripristinare SPARK-43049 per usare oracle varchar(255) per la stringa.
    • [SPARK-46394] Correggere i problemi di spark.catalog.listDatabases() sugli schemi con caratteri speciali quando spark.sql.legacy.keepCommandOutputSchema è impostato su true.
    • [SPARK-46337] Far mantenere a CTESubstitution l'oggetto PLAN_ID_TAG.
    • [SPARK-46466] Il lettore Parquet vettorializzato non deve mai eseguire il rebase per timestamp ntz.
    • [SPARK-46587] XML: correzione della conversione di grandi numeri interi XSD.
    • [SPARK-45814] Impostare ArrowConverters.createEmptyArrowBatch call close() per evitare perdite di memoria.
    • [SPARK-46132] Supporto della password della chiave per le chiavi JKS per SSL RPC.
    • [SPARK-46602] Propagare allowExisting nella creazione della vista quando la vista o la tabella non esiste.
    • [SPARK-46173] Ignorare trimAll call durante l'analisi della data.
    • [SPARK-46355] XML: chiudere InputStreamReader al completamento della lettura.
    • [SPARK-46600] Spostare il codice condiviso tra SqlConf e SqlApiConf in SqlApiConfHelper.
    • [SPARK-46261] DataFrame.withColumnsRenamed deve mantenere l'ordine dict/map.
    • [SPARK-46056] Correzione del valore predefinito di NpE in lettura con valore predefinito byteArrayDecimalType.
    • [SPARK-46260] DataFrame.withColumnsRenamed deve mantenere l'ordine dict.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46370] Correzione di un bug durante l'esecuzione di query dalla tabella dopo la modifica delle impostazioni predefinite della colonna.
    • [SPARK-46609] Evitare l'esplosione esponenziale in PartitioningPreservingUnaryExecNode.
    • [SPARK-46058] Aggiungere un flag separato per privateKeyPassword.
  • 14 dicembre 2023
    • È stato risolto un problema per cui i caratteri di sottolineatura preceduti da escape nelle operazioni getColumns provenienti da client JDBC o ODBC venivano gestiti in modo non corretto e interpretati come caratteri jolly.
    • [SPARK-45509] Correzione del comportamento di riferimento della colonna df per Spark Connect.
    • [SPARK-45844] Implementare la non distinzione tra maiuscole e minuscole per XML.
    • [SPARK-46141] Modificare il valore predefinito di spark.sql.legacy.ctePrecedencePolicy impostandolo su CORRETTO.
    • [SPARK-46028] Far accettare a Column.__getitem__ la colonna di input.
    • [SPARK-46255] Supporto del tipo complesso - conversione di stringhe >.
    • [SPARK-45655] Consentire espressioni non deterministiche all'interno di AggregateFunctions in CollectMetrics.
    • [SPARK-45433] Correzione dell'inferenza dello schema CSV/JSON quando i timestamp non corrispondono a timestampFormat specificati.
    • [SPARK-45316] Aggiungere nuovi parametri ignoreCorruptFiles/ignoreMissingFiles a HadoopRDD e NewHadoopRDD.
    • [SPARK-45852] Gestire normalmente l'errore di ricorsione durante la registrazione.
    • [SPARK-45920] il gruppo per ordinale deve essere idempotente.
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 novembre 2023
    • È stato installato un nuovo pacchetto pyarrow-hotfix per correggere una vulnerabilità PyArrow RCE.
    • È stato risolto un problema per cui i caratteri di sottolineatura preceduti da escape nelle operazioni getColumns provenienti da client JDBC o ODBC interpretati erroneamente come caratteri jolly.
    • Quando si inseriscono dati CSV utilizzando il caricatore automatico o le tabelle di streaming, adesso i file CSV di grandi dimensioni sono suddivisibili e possono essere elaborati in parallelo sia durante l'inferenza dello schema sia durante l'elaborazione dei dati.
    • [SPARK-45892] Eseguire il refactoring della convalida del piano per separare validateSchemaOutput e validateExprIdUniqueness.
    • [SPARK-45620] Le API correlate alla funzione definita dall'utente Python adeo usano camelCase.
    • [SPARK-44790] Aggiunta dell’implementazione to_xml e associazioni per Python, Spark Connect e SQL.
    • [SPARK-45770] Correzione della risoluzione delle colonne con DataFrameDropColumns per Dataframe.drop.
    • [SPARK-45859] Oggetti UDF creati in ml.functions differita.
    • [SPARK-45730] Vincoli temporali migliorati per ReloadingX509TrustManagerSuite.
    • [SPARK-44784] Ha reso ermetici i test SBT.
    • Aggiornamenti della sicurezza del sistema operativo
  • 10 novembre 2023
    • [SPARK-45545] SparkTransportConf eredita SSLOptions al momento della creazione.
    • [SPARK-45250] Aggiunta del supporto per il profilo delle risorse delle attività a livello di fase per i cluster yarn quando l'allocazione dinamica è disattivata.
    • [SPARK-44753] Aggiunta del lettore e del writer di DataFrame XML per PySpark SQL.
    • [SPARK-45396] Aggiunta di una voce doc per il modulo PySpark.ml.connect.
    • [SPARK-45584] Correzione dell'errore di esecuzione della sottoquery con TakeOrderedAndProjectExec.
    • [SPARK-45541] Aggiunta di SSLFactory.
    • [SPARK-45577] Correzione di UserDefinedPythonTableFunctionAnalyzeRunner per passare valori ridotti da argomenti predefiniti.
    • [SPARK-45562] Rendere 'rowTag' un'opzione obbligatoria.
    • [SPARK-45427] Aggiunta delle impostazioni SSL RPC a SSLOptions e SparkTransportConf.
    • [SPARK-43380] Correzione del rallentamento nella lettura Avro.
    • [SPARK-45430] FramelessOffsetWindowFunction non ha più esito negativo quando IGNORE NULLS e offset > rowCount.
    • [SPARK-45429] Aggiunta di classi helper per la comunicazione RPC SSL.
    • [SPARK-45386] È stato risolto un problema per cui StorageLevel.NONE restituiva erroneamente 0.
    • [SPARK-44219] Sono state aggiunte convalide per regola per le riscritture di ottimizzazione.
    • [SPARK-45543] È stato risolto un problema per cui InferWindowGroupLimit generava un errore un problema se le altre funzioni della finestra non avevano lo stesso frame delle funzioni delle funzioni di rango.
    • Aggiornamenti della sicurezza del sistema operativo
  • 27 settembre 2023
    • [SPARK-44823] Aggiornato black alla versione 23.9.1 e corretto il controllo errato.
    • [SPARK-45339] PySpark ora registra gli errori di ripetizione dei tentativi.
    • Ripristinare [SPARK-42946] Redatti i dati sensibili annidati nelle sostituzioni di variabili.
    • [SPARK-44551] Commenti modificati per la sincronizzazione con OSS.
    • [SPARK-45360] Il generatore di sessioni Spark supporta l'inizializzazione da SPARK_REMOTE.
    • [SPARK-45279] Collegato plan_id a tutti i piani logici.
    • [SPARK-45425] Mappato TINYINT a ShortType per MsSqlServerDialect.
    • [SPARK-45419] Rimozione della voce della mappa delle versioni dei file delle versioni più grandi per evitare di riutilizzare dli ID del file sst rocksdb.
    • [SPARK-45488] Aggiunta del supporto per il valore nell'elemento rowTag.
    • [SPARK-42205] Rimozione della registrazione di Accumulables negli eventi di avvio Task/Stage dei registri eventi JsonProtocol.
    • [SPARK-45426] Aggiunta del supporto per ReloadingX509TrustManager.
    • [SPARK-45256] DurationWriter dà errore durante la scrittura di più valori rispetto alla capacità iniziale.
    • [SPARK-43380] Correzione dei problemi di conversione dei tipi di dati Avro senza causare la regressione delle prestazioni.
    • [SPARK-45182] Aggiunta del supporto per il rollback della fase di riproduzione casuale della mappa in modo che tutte le attività di fase possano essere ritentate quando l'output della fase è indeterminato.
    • [SPARK-45399] Aggiunta di opzioni XML tramite newOption.
    • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 13.3 LTS

Si veda Databricks Runtime 13.3 LTS.

  • 10 ottobre 2024
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr non deve modificare i campi dello schema durante l'eliminazione di GetArrayStructFields
  • 25 settembre 2024
    • [SPARK-46601] [CORE] Correzione dell'errore di log in handleStatusMessage
    • [SPARK-48719][SQL] Correggere il bug di calcolo di RegrSlope & RegrIntercept quando il primo parametro è Null
    • [SPARK-43242][CORE] Correzione dell'eccezione 'Tipo imprevisto di BlockId' nella diagnosi di danneggiamento casuale
    • [SPARK-49000][SQL] Correzione di "select count(distinct 1) from t" dove t è una tabella vuota espandendo RewriteDistinctAggregates
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 settembre 2024
    • [SPARK-49526][CONNECT] Supportare percorsi in stile Windows in ArtifactManager
    • [SPARK-48463][ML] Make Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor che supporta colonne di input annidate
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 agosto 2024
  • 14 agosto 2024
    • [SPARK-49056][SQL] ErrorClassesJsonReader non è in grado di gestire correttamente i valori Null
    • [SPARK-49065][SQL] Il rebasing nei formattatori/parser legacy deve supportare fusi orari predefiniti non JVM
    • [SPARK-48597][SQL] Introdurre un marcatore per la proprietà isStreaming nella rappresentazione testuale del piano logico
  • 1 agosto 2024
    • Questa versione include la correzione di un bug per le classi ColumnVector e ColumnarArray nell'interfaccia Spark Java. In precedenza a questa correzione, poteva essere generata una ArrayIndexOutOfBoundsException o potevano essere restituiti dati non corretti quando un'istanza di una di queste classi conteneva valori null.
    • [SPARK-47202][PYTHON] Correzione del tipo che causa un’interruzione di datetime con tzinfo
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] Correzioni del writer ML Spark backport
    • [SPARK-48463] Impostare StringIndexer per il supporto delle colonne di input annidate
    • Aggiornamenti della sicurezza del sistema operativo
  • 11 luglio 2024
    • (Modifica funzionale) I dataframe memorizzati nella cache rispetto alle origini di tabella Delta vengono ora invalidati se la tabella di origine viene sovrascritta. Questa modifica indica che tutte le modifiche dello stato apportate alle tabelle Delta ora invalidano i risultati memorizzati nella cache. Usare .checkpoint() per rendere persistente lo stato di una tabella per tutta la durata di un DataFrame.
    • Questa versione include la correzione di un problema che impediva la visualizzazione corretta della scheda Ambiente interfaccia utente Spark durante l'esecuzione in Databricks Container Services.
    • [SPARK-48383][SS] Genera un errore migliore per le partizioni non corrispondenti nell'opzione startOffset in Kafka
    • [SPARK-48292][CORE] Ripristinare [SPARK-39195] [SQL] Spark OutputCommitCoordinator deve interrompere la fase quando il file di cui è stato eseguito il commit non è coerente con lo stato dell'attività
    • [SPARK-48503][SQL] Correzione di sottoquery scalari non valide con group-by in colonne non equivalenti non consentite correttamente
    • [SPARK-48481][SQL][SS] Non applicare OptimizeOneRowPlan al set di dati di streaming
    • [SPARK-48475][PYTHON] Ottimizzare _get_jvm_function in PySpark.
    • [SPARK-48273][SQL] Correzione della riscrittura tardiva di PlanWithUnresolvedIdentifier
    • [SPARK-48445][SQL] Non incorporare funzioni definite dall'utente con espressioni figlio dispendiose
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 giugno 2024
    • [SPARK-48277] Miglioramento del messaggio di errore per ErrorClassesJsonReader.getErrorMessage
    • Aggiornamenti della sicurezza del sistema operativo
  • 21 maggio 2024
    • (Modifica del comportamento) dbutils.widgets.getAll() è ora supportato per ottenere tutti i valori dei widget in un notebook.
    • [SPARK-48105][SS] Correggere la race condition tra lo scaricamento dello stato e la creazione di snapshot
    • [SPARK-47994][SQL] Correzione di un bug con il push del filtro colonne CASE WHEN in SQLServer
    • Aggiornamenti della sicurezza del sistema operativo
  • 9 maggio 2024
    • [SPARK-47956][SQL] Controllo della integrità per le informazioni di riferimento LCA non risolte
    • [SPARK-46822][SQL] Rispettare spark.sql.legacy.charVarcharAsString durante il cast del tipo jdbc al tipo catalyst in jdbc
    • [SPARK-47895][SQL] group by all deve essere idempotente
    • [SPARK-48018][SS] Correzione di groupId null che causa un errore param mancante durante la generazione di KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Sito di chiamata del log in SparkContext.stop() e versioni successive in SparkContext.assertNotStopped()
    • Aggiornamenti della sicurezza del sistema operativo
  • 25 aprile 2024
    • [SPARK-44653][SQL] Le unioni di DataFrame non semplici non devono interrompere la memorizzazione nella cache
    • Varie correzioni di bug.
  • 11 aprile 2024
    • [SPARK-47509][SQL] Blocca le espressioni di sottoquery nelle funzioni lambda e di ordine superiore
    • Aggiornamenti della sicurezza del sistema operativo
  • 1 aprile 2024
    • [SPARK-47385] Correggere i codificatori di tupla con input di opzione.
    • [SPARK-38708][SQL] Aggiornare il client Metastore Hive alla versione 3.1.3 per Hive 3.1
    • [SPARK-47200][SS] Classe di errore per l'errore della funzione utente del sink batch Foreach
    • [SPARK-47368][SQL] Rimuovere il controllo di configurazione inferTimestampNTZ in ParquetRowConverter
    • [SPARK-44252][SS] Definire una nuova classe di errore e applicarla nel caso in cui il caricamento dello stato da DFS abbia esito negativo
    • [SPARK-47135][SS] Implementare classi di errore per le eccezioni di perdita di dati Kafka
    • [SPARK-47300][SQL] quoteIfNeeded l'identificatore di virgolette deve iniziare con le cifre
    • [SPARK-47305][SQL] Correzione di PruneFilters per contrassegnare correttamente il flag isStreaming di LocalRelation quando il piano ha sia batch sia streaming
    • [SPARK-47070] Correzione dell'aggregazione non valida dopo la riscrittura della sottoquery
    • Aggiornamenti della sicurezza del sistema operativo
  • 14 marzo 2024
    • [SPARK-47145][SQL] Passare l'identificatore di tabella all'esecuzione analisi dell'origine dati di riga per la strategia V2.
    • [SPARK-47167][SQL] Aggiungere una classe concreta per la relazione anonima JDBC
    • [SPARK-47176][SQL] Disporre di una funzione helper ResolveAllExpressionsUpWithPruning
    • [SPARK-47044][SQL] Aggiungere una query eseguita per origini dati esterne JDBC per spiegare l'output
    • [SPARK-47125][SQL] Restituire Null se l'univocità non attiva mai l'analisi
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 febbraio 2024
    • È stato risolto il problema per cui l'uso di una raccolta locale come origine in un comando MERGE poteva causare il doppio del numero corretto di righe nella metrica dell'operazione numSourceRows.
    • La creazione di uno schema con un percorso definito ora richiede che l'utente disponga dei privilegi SELECT e MODIFY per ANY FILE.
    • Aggiornamenti della sicurezza del sistema operativo
  • 8 febbraio 2024
    • Le query CDF (Change Data Feed) nelle viste materializzate del catalogo Unity non sono supportate e il tentativo di eseguire una query CDF con una vista materializzata del catalogo Unity restituisce un errore. Le tabelle di streaming del catalogo Unity supportano query CDF su tabelle non APPLY CHANGES in Databricks Runtime 14.1 e versioni successive. Le query CDF non sono supportate con le tabelle di streaming del catalogo Unity in Databricks Runtime 14.0 e versioni precedenti.
    • [SPARK-46794] Rimuovere sottoquery dai vincoli LogicalRDD.
    • [SPARK-46933] Aggiungere la metrica relativa al tempo di esecuzione delle query ai connettori che usano JDBCRDD.
    • [SPARK-45582] Assicurarsi che l'istanza dell'archivio non venga utilizzata dopo aver chiamato il commit all'interno dell'aggregazione di streaming in modalità output.
    • [SPARK-46396] L'inferenza timestamp non deve generare un'eccezione.
    • [SPARK-46861] Evitare deadlock in DAGScheduler.
    • [SPARK-46941] Non è possibile inserire il nodo limite del gruppo di finestre per il calcolo top-k se contiene SizeBasedWindowFunction.
    • Aggiornamenti della sicurezza del sistema operativo
  • 31 gennaio 2024
    • [SPARK-46610] La creazione di una tabella deve generare un'eccezione quando non viene restituito alcun valore per una chiave nelle opzioni.
    • [SPARK-46383] Ridurre l'utilizzo dell'heap del driver riducendo la durata di TaskInfo.accumulables().
    • [SPARK-46600] Spostare il codice condiviso tra SqlConf e SqlApiConf in SqlApiConfHelper.
    • [SPARK-46676] dropDuplicatesWithinWatermark non deve avere esito negativo sulla canonizzazione del piano.
    • [SPARK-46763] Correzione dell'errore di asserzione in ReplaceDeduplicateWithAggregate per gli attributi duplicati.
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 gennaio 2024
    • Il nodo shuffle del piano di spiegazione restituito da una query Photon viene aggiornato per aggiungere il flag causedBroadcastJoinBuildOOM=truequando si verifica un errore di memoria insufficiente durante una sequenza casuale che fa parte di un join di trasmissione.
    • Per evitare una maggiore latenza durante la comunicazione tramite TLSv1.3, questa versione di manutenzione include una patch per l'installazione di JDK 8 per correggere il bug JDK JDK-8293562.
    • [SPARK-46058] Aggiungere un flag separato per privateKeyPassword.
    • [SPARK-46173] Ignorare trimAll call durante l'analisi della data.
    • [SPARK-46370] Correzione di un bug durante l'esecuzione di query dalla tabella dopo la modifica delle impostazioni predefinite della colonna.
    • [SPARK-46370] Correzione di un bug durante l'esecuzione di query dalla tabella dopo la modifica delle impostazioni predefinite della colonna.
    • [SPARK-46370] Correzione di un bug durante l'esecuzione di query dalla tabella dopo la modifica delle impostazioni predefinite della colonna.
    • [SPARK-46609] Evitare l'esplosione esponenziale in PartitioningPreservingUnaryExecNode.
    • [SPARK-46132] Supporto della password della chiave per le chiavi JKS per SSL RPC.
    • [SPARK-46602] Propagare allowExisting nella creazione della vista quando la vista o la tabella non esiste.
    • [SPARK-46249] Richiedere il blocco dell'istanza per l'acquisizione delle metriche RocksDB per impedire una race con le operazioni in background.
    • [SPARK-46417] Non fallire quando si chiama hive.getTable e throwException è false.
    • [SPARK-46538] Correggere il problema di riferimento di colonna ambiguo in ALSModel.transform.
    • [SPARK-46478] Ripristinare SPARK-43049 per usare oracle varchar(255) per la stringa.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46394] Correggere i problemi di spark.catalog.listDatabases() sugli schemi con caratteri speciali quando spark.sql.legacy.keepCommandOutputSchema è impostato su true.
    • [SPARK-46056] Correzione del valore predefinito di NpE in lettura con valore predefinito byteArrayDecimalType.
    • [SPARK-46145] spark.catalog.listTables non genera eccezioni quando la tabella o la vista non viene trovata.
    • [SPARK-46466] Il lettore Parquet vettorializzato non deve mai eseguire il rebase per timestamp ntz.
  • 14 dicembre 2023
    • È stato risolto un problema per cui i caratteri di sottolineatura preceduti da escape nelle operazioni getColumns provenienti da client JDBC o ODBC venivano gestiti in modo non corretto e interpretati come caratteri jolly.
    • [SPARK-45920] il gruppo per ordinale deve essere idempotente.
    • [SPARK-44582] Ignorare l'iteratore su SMJ se è stato pulito.
    • [SPARK-45433] Correzione dell'inferenza dello schema CSV/JSON quando i timestamp non corrispondono a timestampFormat specificati.
    • [SPARK-45655] Consentire espressioni non deterministiche all'interno di AggregateFunctions in CollectMetrics.
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 novembre 2023
    • È stato installato un nuovo pacchetto pyarrow-hotfix per correggere una vulnerabilità PyArrow RCE.
    • Il connettore Spark-snowflake viene aggiornato alla versione 2.12.0.
    • [SPARK-44846] Rimosse espressioni di raggruppamento complesse dopo RemoveRedundantAggregates.
    • [SPARK-45544] Supporto SSL integrato in TransportContext.
    • [SPARK-45892] Eseguire il refactoring della convalida del piano per separare validateSchemaOutput e validateExprIdUniqueness.
    • [SPARK-45730] Vincoli temporali migliorati per ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Oggetti UDF creati in ml.functions differita.
    • Aggiornamenti della sicurezza del sistema operativo
  • 10 novembre 2023
    • I filtri di partizione per le query di streaming Delta Lake vengono sottoposti a push prima della limitazione della frequenza per ottenere un utilizzo migliore.
    • Query di feed di dati modificate nelle tabelle di streaming del catalogo Unity e nelle viste materializzate per visualizzare i messaggi di errore.
    • [SPARK-45545] SparkTransportConf eredita SSLOptions al momento della creazione.
    • [SPARK-45584] Correzione dell'errore di esecuzione della sottoquery con TakeOrderedAndProjectExec.
    • [SPARK-45427] Aggiunta delle impostazioni SSL RPC a SSLOptions e SparkTransportConf.
    • [SPARK-45541] Aggiunta di SSLFactory.
    • [SPARK-45430] FramelessOffsetWindowFunction non ha più esito negativo quando IGNORE NULLS e offset > rowCount.
    • [SPARK-45429] Aggiunta di classi helper per la comunicazione RPC SSL.
    • [SPARK-44219] Sono state aggiunte altre convalide per regola per le riscritture di ottimizzazione.
    • [SPARK-45543] È stato risolto un problema per cui InferWindowGroupLimit generava un errore un problema se le altre funzioni della finestra non avevano lo stesso frame delle funzioni delle funzioni di rango.
    • Aggiornamenti della sicurezza del sistema operativo
  • 23 ottobre 2023
    • [SPARK-45256] È stato risolto un problema a causa del quale DurationWriter falliva quando si scrivevano più valori della capacità iniziale.
    • [SPARK-45419] Evitare di riutilizzare i file rocksdb sst in un'istanza diversa da rocksdb rimuovendo le voci della mappa delle versioni dei file di versioni più grandi.
    • [SPARK-45426] Aggiunta del supporto per ReloadingX509TrustManager.
    • Correzioni varie.
  • 13 ottobre 2023
    • Dipendenza snowflake-jdbc aggiornata dalla versione 3.13.29 alla versione 3.13.33.
    • La funzione array_insert è basata su 1 per gli indici positivi e negativi, mentre prima era basata su 0 per gli indici negativi. Adesso inserisce un nuovo elemento alla fine delle matrici di input per l'indice -1. Per ripristinare il comportamento precedente, impostare spark.sql.legacy.negativeIndexInArrayInsert su true.
    • È stato risolto un problema che impediva di ignorare i file corrotti quando ignoreCorruptFiles è abilitato durante l'inferenza dello schema CSV con il caricatore automatico.
    • Ripristinare [SPARK-42946].
    • [SPARK-42205] Aggiornato il protocollo JSON per rimuovere la registrazione degli accumulabili negli eventi di avvio di un'attività o di una fase.
    • [SPARK-45178] Eseguire il fallback per l'esecuzione di un singolo batch per Trigger.AvailableNow con origini non supportate anziché usare il wrapper.
    • [SPARK-45316] Aggiungere nuovi parametri ignoreCorruptFiles e ignoreMissingFiles a HadoopRDD e NewHadoopRDD.
    • [SPARK-44740] Correzione dei valori dei metadati per Artifacts.
    • [SPARK-45360] Configurazione generatore di sessioni Spark inizializzata da SPARK_REMOTE.
    • [SPARK-44551] Commenti modificati per la sincronizzazione con OSS.
    • [SPARK-45346] L'inferenza dello schema Parquet ora rispetta i flag con distinzione tra maiuscole e minuscole durante l'unione di uno schema.
    • [SPARK-44658] ShuffleStatus.getMapStatus ora restituisce None anziché Some(null).
    • [SPARK-44840] È stato reso array_insert() in base 1 per gli indici negativi.
  • 14 settembre 2023
    • [SPARK-44873] Aggiunta del supporto per alter view con colonne annidate nel client Hive.
    • [SPARK-44878] Disattivato limite rigido per la gestione scrittura RocksDB per evitare l'inserimento di eccezioni al completamento della cache.
  • 30 agosto 2023
    • Il comando dbutils cp (dbutils.fs.cp) è stato ottimizzato per una copia più rapida. Con questo miglioramento, le operazioni di copia possono richiedere fino a 100 volte meno tempo, a seconda delle dimensioni del file. La funzionalità è disponibile in tutti i cloud e nei file system accessibili in Databricks, inclusi i volumi del catalogo Unity e i montaggi DBFS.
    • [SPARK-44455] Identificatori di virgolette con backtick nel risultato SHOW CREATE TABLE.
    • [SPARK-44763] È stato risolto un problema che mostrava una stringa come double nell'aritmetica binaria con intervallo.
    • [SPARK-44871] Corretto comportamento percentile_disc.
    • [SPARK-44714] Limitazione della risoluzione LCA relativa alle query.
    • [SPARK-44818] Correzione della gara per l'interruzione dell'attività in sospeso rilasciata prima dell'inizializzazione di taskThread.
    • [SPARK-44505] Aggiunta dell'override per il supporto a colonne in Analisi per DSv2.
    • [SPARK-44479] Corretta la conversione protobuf da un tipo di struttura vuota.
    • [SPARK-44718] Per impostazione predefinita, la configurazione in modalità memoria ColumnVector corrisponde al valore di configurazione OffHeapMemoryMode.
    • [SPARK-42941] Aggiunta del supporto per StreamingQueryListener in Python.
    • [SPARK-44558] Esportare il livello di log Spark Connect di PySpark.
    • [SPARK-44464] Corretto applyInPandasWithStatePythonRunner nelle righe di output che hanno Null come primo valore di colonna.
    • [SPARK-44643] Corretto Row.__repr__ quando il campo è una riga vuota.
    • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 12.2 LTS

Si veda Databricks Runtime 12.2 LTS.

  • 10 ottobre 2024
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr non deve modificare i campi dello schema durante l'eliminazione di GetArrayStructFields
  • 25 settembre 2024
    • [SPARK-49000][SQL] Correzione di "select count(distinct 1) from t" dove t è una tabella vuota espandendo RewriteDistinctAggregates
    • [SPARK-46601] [CORE] Correzione dell'errore di log in handleStatusMessage
    • Varie correzioni di bug.
  • 17 settembre 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 agosto 2024
    • Varie correzioni di bug.
  • 14 agosto 2024
    • [SPARK-48941][SPARK-48970] Correzioni del writer/lettore ML backport
    • [SPARK-49065][SQL] Il rebasing nei formattatori/parser legacy deve supportare fusi orari predefiniti non JVM
    • [SPARK-49056][SQL] ErrorClassesJsonReader non è in grado di gestire correttamente i valori Null
    • [SPARK-48597][SQL] Introdurre un marcatore per la proprietà isStreaming nella rappresentazione testuale del piano logico
    • [SPARK-48463][ML] Impostare StringIndexer per il supporto delle colonne di input annidate
    • Aggiornamenti della sicurezza del sistema operativo
  • 1 agosto 2024
  • 1 agosto 2024
    • Per applicare le patch di sicurezza necessarie, la versione di Python in Databricks Runtime 12.2 LTS viene aggiornata dalla versione 3.9.5 alla versione 3.9.19.
  • 11 luglio 2024
    • (Modifica funzionale) I dataframe memorizzati nella cache rispetto alle origini di tabella Delta vengono ora invalidati se la tabella di origine viene sovrascritta. Questa modifica indica che tutte le modifiche dello stato apportate alle tabelle Delta ora invalidano i risultati memorizzati nella cache. Usare .checkpoint() per rendere persistente lo stato di una tabella per tutta la durata di un DataFrame.
    • [SPARK-48481][SQL][SS] Non applicare OptimizeOneRowPlan al set di dati di streaming
    • [SPARK-47070] Correzione dell'aggregazione non valida dopo la riscrittura della sottoquery
    • [SPARK-42741][SQL] Non annullare il wrapping dei cast nel confronto binario quando il valore letterale è Null
    • [SPARK-48445][SQL] Non incorporare funzioni definite dall'utente con espressioni figlio dispendiose
    • [SPARK-48503][SQL] Correzione di sottoquery scalari non valide con group-by in colonne non equivalenti non consentite correttamente
    • [SPARK-48383][SS] Genera un errore migliore per le partizioni non corrispondenti nell'opzione startOffset in Kafka
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 giugno 2024
    • [SPARK-48277] Miglioramento del messaggio di errore per ErrorClassesJsonReader.getErrorMessage
    • Varie correzioni di bug.
  • 21 maggio 2024
    • [SPARK-48105][SS] Correggere la race condition tra lo scaricamento dello stato e la creazione di snapshot
    • Aggiornamenti della sicurezza del sistema operativo
  • 9 maggio 2024
    • [SPARK-44251][SQL] Impostare i valori Nullable correttamente sulla chiave join coalesced in full outer USANDO join
    • [SPARK-47973][CORE] Sito di chiamata del log in SparkContext.stop() e versioni successive in SparkContext.assertNotStopped()
    • [SPARK-47956][SQL] Controllo della integrità per le informazioni di riferimento LCA non risolte
    • [SPARK-48018][SS] Correzione di groupId null che causa un errore param mancante durante la generazione di KafkaException.couldNotReadOffsetRange
    • Aggiornamenti della sicurezza del sistema operativo
  • 25 aprile 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 11 aprile 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 1 aprile 2024
    • [SPARK-47305][SQL] Correzione di PruneFilters per contrassegnare correttamente il flag isStreaming di LocalRelation quando il piano ha sia batch sia streaming
    • [SPARK-44252][SS] Definire una nuova classe di errore e applicarla nel caso in cui il caricamento dello stato da DFS abbia esito negativo
    • [SPARK-47135][SS] Implementare classi di errore per le eccezioni di perdita di dati Kafka
    • [SPARK-47200][SS] Classe di errore per l'errore della funzione utente del sink batch Foreach
    • Aggiornamenti della sicurezza del sistema operativo
  • 14 marzo 2024
    • [SPARK-47176][SQL] Disporre di una funzione helper ResolveAllExpressionsUpWithPruning
    • Ripristinare “[SPARK-46861][CORE] Evitare deadlock in DAGScheduler”
    • [SPARK-47125][SQL] Restituire Null se l'univocità non attiva mai l'analisi
    • [SPARK-47167][SQL] Aggiungere una classe concreta per la relazione anonima JDBC
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 febbraio 2024
    • È stato risolto il problema per cui l'uso di una raccolta locale come origine in un comando MERGE poteva causare il doppio del numero corretto di righe nella metrica dell'operazione numSourceRows.
    • La creazione di uno schema con un percorso definito ora richiede che l'utente disponga dei privilegi SELECT e MODIFY per ANY FILE.
    • [SPARK-45582][SS] Assicurarsi che l'istanza dell'archivio non venga utilizzata dopo aver chiamato il commit all'interno dell'aggregazione di streaming in modalità output
    • Aggiornamenti della sicurezza del sistema operativo
  • 13 febbraio 2024
    • [SPARK-46861] Evitare deadlock in DAGScheduler.
    • [SPARK-46794] Rimuovere sottoquery dai vincoli LogicalRDD.
    • Aggiornamenti della sicurezza del sistema operativo
  • 31 gennaio 2024
    • [SPARK-46763] Correzione dell'errore di asserzione in ReplaceDeduplicateWithAggregate per gli attributi duplicati.
    • Aggiornamenti della sicurezza del sistema operativo
  • 25 dicembre 2023
    • Per evitare una maggiore latenza durante la comunicazione tramite TLSv1.3, questa versione di manutenzione include una patch per l'installazione di JDK 8 per correggere il bug JDK JDK-8293562.
    • [SPARK-39440] Aggiungere una configurazione per disabilitare la timeline degli eventi.
    • [SPARK-46132] Supporto della password della chiave per le chiavi JKS per SSL RPC.
    • [SPARK-46394] Correggere i problemi di spark.catalog.listDatabases() sugli schemi con caratteri speciali quando spark.sql.legacy.keepCommandOutputSchema è impostato su true.
    • [SPARK-46417] Non fallire quando si chiama hive.getTable e throwException è false.
    • [SPARK-43067] Correggere il percorso del file di risorse della classe di errore nel connettore Kafka.
    • [SPARK-46249] Richiedere il blocco dell'istanza per l'acquisizione delle metriche RocksDB per impedire una race con le operazioni in background.
    • [SPARK-46602] Propagare allowExisting nella creazione della vista quando la vista o la tabella non esiste.
    • [SPARK-46058] Aggiungere un flag separato per privateKeyPassword.
    • [SPARK-46145] spark.catalog.listTables non genera eccezioni quando la tabella o la vista non viene trovata.
    • [SPARK-46538] Correggere il problema di riferimento di colonna ambiguo in ALSModel.transform.
    • [SPARK-42852] Ripristinare le modifiche correlate a NamedLambdaVariable da EquivalentExpressions.
  • 14 dicembre 2023
    • È stato risolto un problema per cui i caratteri di sottolineatura preceduti da escape nelle operazioni getColumns provenienti da client JDBC o ODBC venivano gestiti in modo non corretto e interpretati come caratteri jolly.
    • [SPARK-44582] Ignorare l'iteratore su SMJ se è stato pulito.
    • [SPARK-45920] il gruppo per ordinale deve essere idempotente.
    • [SPARK-45655] Consentire espressioni non deterministiche all'interno di AggregateFunctions in CollectMetrics.
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 novembre 2023
    • È stato installato un nuovo pacchetto pyarrow-hotfix per correggere una vulnerabilità PyArrow RCE.
    • È stato risolto un problema per cui i caratteri di sottolineatura preceduti da escape nelle operazioni getColumns provenienti da client JDBC o ODBC interpretati erroneamente come caratteri jolly.
    • [SPARK-42205] Rimozione degli accumuli di registrazione negli eventi di avvio Stage e Task.
    • [SPARK-44846] Rimosse espressioni di raggruppamento complesse dopo RemoveRedundantAggregates.
    • [SPARK-43718] Correzione del supporto dei valori Null per le chiavi nei join USING.
    • [SPARK-45544] Supporto SSL integrato in TransportContext.
    • [SPARK-43973] L'interfaccia utente di Structured Streaming ora visualizza correttamente le query non riuscite.
    • [SPARK-45730] Vincoli temporali migliorati per ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Oggetti UDF creati in ml.functions differita.
    • Aggiornamenti della sicurezza del sistema operativo
  • 14 novembre 2023
    • I filtri di partizione per le query di streaming Delta Lake vengono sottoposti a push prima della limitazione della frequenza per ottenere un utilizzo migliore.
    • [SPARK-45545] SparkTransportConf eredita SSLOptions al momento della creazione.
    • [SPARK-45427] Aggiunta delle impostazioni SSL RPC a SSLOptions e SparkTransportConf.
    • [SPARK-45584] Correzione dell'errore di esecuzione della sottoquery con TakeOrderedAndProjectExec.
    • [SPARK-45541] Aggiunta di SSLFactory.
    • [SPARK-45430] FramelessOffsetWindowFunction non ha più esito negativo quando IGNORE NULLS e offset > rowCount.
    • [SPARK-45429] Aggiunta di classi helper per la comunicazione RPC SSL.
    • Aggiornamenti della sicurezza del sistema operativo
  • 24 ottobre 2023
    • [SPARK-45426] Aggiunta del supporto per ReloadingX509TrustManager.
    • Correzioni varie.
  • 13 ottobre 2023
    • Dipendenza snowflake-jdbc aggiornata dalla versione 3.13.29 alla versione 3.13.33.
    • [SPARK-42553] Verificare almeno un'unità di tempo dopo l'intervallo.
    • [SPARK-45346] L'inferenza dello schema Parquet rispetta i flag con distinzione tra maiuscole e minuscole durante l'unione dello schema.
    • [SPARK-45178] Eseguire il fallback per l'esecuzione di un singolo batch per Trigger.AvailableNow con origini non supportate anziché usare il wrapper.
    • [SPARK-45084] StateOperatorProgress per usare un numero di partizione casuale accurato e adeguato.
  • 12 settembre 2023
    • [SPARK-44873] Aggiunta del supporto per alter view con colonne annidate nel client Hive.
    • [SPARK-44718] Per impostazione predefinita, la configurazione in modalità memoria ColumnVector corrisponde al valore di configurazione OffHeapMemoryMode.
    • [SPARK-43799] Aggiunta dell'opzione binaria del descrittore all'API PySpark Protobuf.
    • Correzioni varie.
  • 30 agosto 2023
    • [SPARK-44485] TreeNode.generateTreeString ottimizzato.
    • [SPARK-44818] Correzione della gara per l'interruzione dell'attività in sospeso rilasciata prima dell'inizializzazione di taskThread.
    • [SPARK-44871][11.3-13.0] Corretto comportamentopercentile_disc.
    • [SPARK-44714] Riduzione delle limitazioni alla risoluzione LCA relativa alle query.
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 agosto 2023
    • [SPARK-44504] L'attività di manutenzione pulisce i provider caricati in caso di errore di arresto.
    • [SPARK-44464] Corretto applyInPandasWithStatePythonRunner delle righe di output che hanno Null come primo valore di colonna.
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 luglio 2023
    • È stato risolto un problema per cui dbutils.fs.ls() viene restituito INVALID_PARAMETER_VALUE.LOCATION_OVERLAP quando viene chiamato per un percorso di posizione di archiviazione che si è scontrato con un altro percorso di archiviazione esterno o gestito.
    • [SPARK-44199] CacheManager non aggiorna più fileIndex inutilmente.
    • Aggiornamenti della sicurezza del sistema operativo
  • 24 luglio 2023
    • [SPARK-44337] È stato risolto un problema per cui qualsiasi set di campi causava errori di analisi Any.getDefaultInstance.
    • [SPARK-44136] È stato risolto un problema per cui StateManager si materializzava in un executor anziché il driver in FlatMapGroupsWithStateExec.
    • Aggiornamenti della sicurezza del sistema operativo
  • 23 giugno 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 giugno 2023
    • approx_count_distinct fotonizzato.
    • La libreria Snowflake-jdbc viene aggiornata alla versione 3.13.29 per risolvere un problema di sicurezza.
    • [SPARK-43779] ParseToDate ora carica EvalMode nel thread principale.
    • [SPARK-43156][SPARK-43098] Test di errore del conteggio delle sottoquery scalari esteso con decorrelateInnerQuery disattivato.
    • Aggiornamenti della sicurezza del sistema operativo
  • 2 giugno 2023
    • Il parser JSON in modalità failOnUnknownFields elimina un record in modalità DROPMALFORMED e non riesce direttamente in modalità FAILFAST.
    • Migliorare le prestazioni degli aggiornamenti incrementali con SHALLOW CLONE Iceberg e Parquet.
    • È stato risolto un problema nel caricatore automatico in cui diversi formati di file di origine erano incoerenti quando lo schema fornito non includeva partizioni dedotte. Questo problema potrebbe causare errori imprevisti durante la lettura di file con colonne mancanti nello schema di partizione dedotto.
    • [SPARK-43404] Ignorare il riutilizzo del file sst per la stessa versione dell'archivio stati di RocksDB per evitare l'errore di mancata corrispondenza dell'ID.
    • [SPARK-43413][11.3-13.0] Correzione IN di valori Null della sottoquery ListQuery.
    • [SPARK-43522] Correzione della creazione del nome della colonna della struttura con indice della matrice.
    • [SPARK-43541] Propagare tutti i tag Project nella risoluzione delle espressioni e delle colonne mancanti.
    • [SPARK-43527] Corretto catalog.listCatalogs in PySpark.
    • [SPARK-43123] I metadati dei campi interni non vengono più perdite nei cataloghi.
    • [SPARK-43340] Corretto il campo di analisi dello stack mancante nei log eventi.
    • [SPARK-42444] DataFrame.drop adesso gestisce correttamente le colonne duplicate.
    • [SPARK-42937] PlanSubqueries adesso imposta InSubqueryExec#shouldBroadcast su true.
    • [SPARK-43286] Aggiornamento della modalità CBC aes_encrypt per generare IV casuali.
    • [SPARK-43378] Chiudere correttamente gli oggetti flusso in deserializeFromChunkedBuffer.
  • 17 maggio 2023
    • Le analisi Parquet sono ora affidabili in caso di OOM durante l'analisi di file eccezionalmente strutturati regolando dinamicamente le dimensioni del batch. I metadati dei file vengono analizzati per abbassare preventivamente le dimensioni dei batch e vengono nuovamente abbassate durante i tentativi di esecuzione di attività come rete di sicurezza finale.
    • Se un file Avro è stato letto solo con l'opzione failOnUnknownFields o con il caricatore automatico nella modalità di evoluzione dello schema failOnNewColumns, le colonne con tipi di dati diversi verranno lette come null anziché generare un errore che indica che il file non può essere letto. Queste letture ora hanno esito negativo e consigliano agli utenti di usare l'opzione rescuedDataColumn.
    • Il caricatore automatico adesso esegue le seguenti operazioni.
      • Legge correttamente e non salva più i tipi Integer, Short e Byte se viene fornito uno di questi tipi di dati, ma il file Avro suggerisce uno degli altri due tipi.
      • Impedisce la lettura dei tipi di intervallo come tipi di data o timestamp per evitare di ottenere date danneggiate.
      • Impedisce la lettura dei tipi Decimal con minore precisione.
    • [SPARK-43172] Espone l'host e il token dal client di connessione Spark.
    • [SPARK-43293] __qualified_access_only viene ignorato nelle colonne normali.
    • [SPARK-43098] Correzione del bug di correzione COUNT quando la sottoquery scalare è raggruppata per clausola.
    • [SPARK-43085] Supporto per l'assegnazione di colonne DEFAULT per i nomi di tabella in più parti.
    • [SPARK-43190] ListQuery.childOutput è ora coerente con l'output secondario.
    • [SPARK-43192] Rimozione della convalida del set di caratteri dell'agente utente.
    • Aggiornamenti della sicurezza del sistema operativo
  • 25 aprile 2023
    • Se un file Parquet è stato letto solo con l'opzione failOnUnknownFields o con il caricatore automatico nella modalità di evoluzione dello schema failOnNewColumns, le colonne con tipi di dati diversi verranno lette come null anziché generare un errore che indica che il file non può essere letto. Queste letture ora hanno esito negativo e consigliano agli utenti di usare l'opzione rescuedDataColumn.
    • Il caricatore automatico ora legge correttamente e non salva più i tipi Integer, Short e Byte se viene fornito uno di questi tipi di dati. Il file Parquet suggerisce uno degli altri due tipi. Quando la colonna di dati salvata è stata abilitata in precedenza, la mancata corrispondenza del tipo di dati causerebbe il salvataggio delle colonne anche se erano leggibili.
    • [SPARK-43009] Parametrizzato sql() con costanti Any
    • [SPARK-42406] Terminare i campi ricorsivi Protobuf eliminando il campo
    • [SPARK-43038] Supportare la modalità CBC tramite aes_encrypt()/aes_decrypt()
    • [SPARK-42971] Modifica per la stampa workdir se appDirs è Null quando il ruolo di lavoro gestisce l’evento WorkDirCleanup
    • [SPARK-43018] Correzione del bug per i comandi INSERT con valori letterali timestamp.
    • Aggiornamenti della sicurezza del sistema operativo
  • 11 aprile 2023
    • Supportare i formati di origine dati legacy nel comando SYNC.
    • Risolve un problema nel comportamento di %autoload nei notebook all'esterno di un repository.
    • È stato risolto un problema per cui l'evoluzione dello schema del caricatore automatico può passare a un ciclo di errore infinito quando viene rilevata una nuova colonna nello schema di un oggetto JSON annidato.
    • [SPARK-42928] Esegue la sincronizzazione resolvePersistentFunction.
    • [SPARK-42936] Risolve il problema LCan quando la clausola può essere risolta direttamente dall'aggregazione figlio.
    • [SPARK-42967] Corregge SparkListenerTaskStart.stageAttemptId quando l’attività viene avviata dopo l'annullamento della fase.
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 marzo 2023

    • Databricks SQL supporta ora la specifica dei valori predefiniti per le colonne delle tabelle Delta Lake, in fase di creazione della tabella o successiva. I comandi sequenziali INSERT, UPDATE, DELETE e MERGE possono fare riferimento al valore predefinito di qualsiasi colonna usando la parola chiave esplicita DEFAULT. Inoltre, se un'assegnazione INSERT include un elenco esplicito di meno colonne rispetto alla tabella di destinazione, i valori predefiniti della colonna corrispondenti vengono sostituiti per le colonne rimanenti (o NULL se non è specificato alcun valore predefinito).

      Ad esempio:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
> 0, 2023-03-28
1, 2023-03-28z

    • Il caricatore automatico avvia ora almeno una pulizia sincrona del log RocksDB per i flussi Trigger.AvailableNow per verificare che il checkpoint possa essere pulito regolarmente per i flussi a esecuzione rapida del caricatore automatico. Ciò può richiedere più tempo prima dell'arresto di alcuni flussi, ma consente di risparmiare sui costi di archiviazione e di migliorare l'esperienza di caricamento automatico nelle esecuzioni future.

    • È ora possibile modificare una tabella Delta per aggiungere il supporto alle funzionalità di tabella usando DeltaTable.addFeatureSupport(feature_name).

    • [SPARK-42794] Aumentare il lockAcquireTimeoutMs a 2 minuti per l'acquisizione dell'archivio di stato RocksDB in Structure Streaming

    • [SPARK-42521] Aggiungere valori NULL per INSERT con elenchi specificati dall'utente con un numero inferiore di colonne rispetto alla tabella di destinazione

    • [SPARK-42702][SPARK-42623] Supportare query con parametri in sottoquery e CTE

    • [SPARK-42668] Intercettare l'eccezione durante il tentativo di chiudere il flusso compresso in HDFSStateStoreProvider stop

    • [SPARK-42403] JsonProtocol deve gestire stringhe JSON null

  • 8 marzo 2023
    • Il messaggio di errore "Errore di inizializzazione della configurazione" è stato migliorato per fornire maggiore contesto per il cliente.
    • Esiste una modifica della terminologia per l'aggiunta di caratteristiche a una tabella Delta usando la proprietà della tabella. La sintassi preferita adesso è 'delta.feature.featureName'='supported' anziché 'delta.feature.featureName'='enabled'. Per garantire la compatibilità con le versioni precedenti, l'uso di 'delta.feature.featureName'='enabled' continua a funzionare e continuerà a funzionare.
    • A partire da questa versione, è possibile creare/sostituire una tabella con una proprietà delta.ignoreProtocolDefaults di tabella aggiuntiva per ignorare le configurazioni spark correlate al protocollo, che comprende le versioni predefinite del lettore e del writer e le funzionalità di tabella supportate per impostazione predefinita.
    • [SPARK-42070] Modificare il valore predefinito dell'argomento della funzione maschera da -1 a NULL
    • [SPARK-41793] Risultato non corretto per i fotogrammi finestra definiti da una clausola di intervallo in decimali significativi
    • [SPARK-42484] Messaggio di errore migliore per unsafeRowUtils
    • [SPARK-42516] Acquisire sempre la configurazione del fuso orario della sessione durante la creazione di visualizzazioni
    • [SPARK-42635] Correggere l'espressione TimestampAdd.
    • [SPARK-42622] Disattivata la sostituzione nei valori
    • [SPARK-42534] Correzione della clausola DB2Dialect Limit
    • [SPARK-42121] Aggiungere funzioni predefinite con valori di tabella posexplode, posexplode_outer, json_tuple e stack
    • [SPARK-42045] Modalità ANSI SQL: Round/Bround dovrebbe restituire un errore in caso di overflow di numeri interi piccoli o significativi
    • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 11.3 LTS

Si veda Databricks Runtime 11.3 LTS.

  • 10 ottobre 2024
    • Varie correzioni di bug.
  • 25 settembre 2024
    • [SPARK-46601] [CORE] Correzione dell'errore di log in handleStatusMessage
    • [SPARK-49000][SQL] Correzione di "select count(distinct 1) from t" dove t è una tabella vuota espandendo RewriteDistinctAggregates
    • Varie correzioni di bug.
  • 17 settembre 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 agosto 2024
  • 14 agosto 2024
    • [SPARK-48941][SPARK-48970] Correzioni del writer/lettore ML backport
    • [SPARK-49065][SQL] Il rebasing nei formattatori/parser legacy deve supportare fusi orari predefiniti non JVM
    • [SPARK-48597][SQL] Introdurre un marcatore per la proprietà isStreaming nella rappresentazione testuale del piano logico
    • [SPARK-48463][ML] Impostare StringIndexer per il supporto delle colonne di input annidate
    • Aggiornamenti della sicurezza del sistema operativo
  • 1 agosto 2024
  • 1 agosto 2024
    • Per applicare le patch di sicurezza necessarie, la versione di Python in Databricks Runtime 11.3 LTS viene aggiornata dalla versione 3.9.5 alla versione 3.9.19.
  • 11 luglio 2024
    • [SPARK-48383][SS] Genera un errore migliore per le partizioni non corrispondenti nell'opzione startOffset in Kafka
    • [SPARK-47070] Correzione dell'aggregazione non valida dopo la riscrittura della sottoquery
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 giugno 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 21 maggio 2024
    • [SPARK-48105][SS] Correggere la race condition tra lo scaricamento dello stato e la creazione di snapshot
    • Aggiornamenti della sicurezza del sistema operativo
  • 9 maggio 2024
    • [SPARK-48018][SS] Correzione di groupId null che causa un errore param mancante durante la generazione di KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Sito di chiamata del log in SparkContext.stop() e versioni successive in SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Impostare i valori Nullable correttamente sulla chiave join coalesced in full outer USANDO join
    • Aggiornamenti della sicurezza del sistema operativo
  • 25 aprile 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 11 aprile 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 1 aprile 2024
    • [SPARK-44252][SS] Definire una nuova classe di errore e applicarla nel caso in cui il caricamento dello stato da DFS abbia esito negativo
    • [SPARK-47135][SS] Implementare classi di errore per le eccezioni di perdita di dati Kafka
    • Ripristinare “[SPARK-46861][CORE] Evitare deadlock in DAGScheduler”
    • [SPARK-47200][SS] Classe di errore per l'errore della funzione utente del sink batch Foreach
    • Aggiornamenti della sicurezza del sistema operativo
  • 14 marzo 2024
    • [SPARK-47167][SQL] Aggiungere una classe concreta per la relazione anonima JDBC
    • [SPARK-47125][SQL] Restituire Null se l'univocità non attiva mai l'analisi
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 febbraio 2024
    • È stato risolto il problema per cui l'uso di una raccolta locale come origine in un comando MERGE poteva causare il doppio del numero corretto di righe nella metrica dell'operazione numSourceRows.
    • [SPARK-45582][SS] Assicurarsi che l'istanza dell'archivio non venga utilizzata dopo aver chiamato il commit all'interno dell'aggregazione di streaming in modalità output
  • 13 febbraio 2024
    • [SPARK-46794] Rimuovere sottoquery dai vincoli LogicalRDD.
    • [SPARK-46861] Evitare deadlock in DAGScheduler.
    • Aggiornamenti della sicurezza del sistema operativo
  • 31 gennaio 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 25 dicembre 2023
    • Per evitare una maggiore latenza durante la comunicazione tramite TLSv1.3, questa versione di manutenzione include una patch per l'installazione di JDK 8 per correggere il bug JDK JDK-8293562.
    • [SPARK-46058] Aggiungere un flag separato per privateKeyPassword.
    • [SPARK-46602] Propagare allowExisting nella creazione della vista quando la vista o la tabella non esiste.
    • [SPARK-46394] Correggere i problemi di spark.catalog.listDatabases() sugli schemi con caratteri speciali quando spark.sql.legacy.keepCommandOutputSchema è impostato su true.
    • [SPARK-46538] Correggere il problema di riferimento di colonna ambiguo in ALSModel.transform.
    • [SPARK-39440] Aggiungere una configurazione per disabilitare la timeline degli eventi.
    • [SPARK-46249] Richiedere il blocco dell'istanza per l'acquisizione delle metriche RocksDB per impedire una race con le operazioni in background.
    • [SPARK-46132] Supporto della password della chiave per le chiavi JKS per SSL RPC.
  • 14 dicembre 2023
    • È stato risolto un problema per cui i caratteri di sottolineatura preceduti da escape nelle operazioni getColumns provenienti da client JDBC o ODBC venivano gestiti in modo non corretto e interpretati come caratteri jolly.
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 novembre 2023
    • È stato installato un nuovo pacchetto pyarrow-hotfix per correggere una vulnerabilità PyArrow RCE.
    • È stato risolto un problema per cui i caratteri di sottolineatura preceduti da escape nelle operazioni getColumns provenienti da client JDBC o ODBC interpretati erroneamente come caratteri jolly.
    • [SPARK-43973] L'interfaccia utente di Structured Streaming ora visualizza correttamente le query non riuscite.
    • [SPARK-45730] Vincoli temporali migliorati per ReloadingX509TrustManagerSuite.
    • [SPARK-45544] Supporto SSL integrato in TransportContext.
    • [SPARK-45859] Oggetti UDF creati in ml.functions differita.
    • [SPARK-43718] Correzione del supporto dei valori Null per le chiavi nei join USING.
    • [SPARK-44846] Rimosse espressioni di raggruppamento complesse dopo RemoveRedundantAggregates.
    • Aggiornamenti della sicurezza del sistema operativo
  • 14 novembre 2023
    • I filtri di partizione per le query di streaming Delta Lake vengono sottoposti a push prima della limitazione della frequenza per ottenere un utilizzo migliore.
    • [SPARK-42205] Rimozione degli accumuli di registrazione negli eventi di avvio Fase e Task.
    • [SPARK-45545] SparkTransportConf eredita SSLOptions al momento della creazione.
    • Ripristinare [SPARK-33861].
    • [SPARK-45541] Aggiunta di SSLFactory.
    • [SPARK-45429] Aggiunta di classi helper per la comunicazione RPC SSL.
    • [SPARK-45584] Correzione dell'errore di esecuzione della sottoquery con TakeOrderedAndProjectExec.
    • [SPARK-45430] FramelessOffsetWindowFunction non ha più esito negativo quando IGNORE NULLS e offset > rowCount.
    • [SPARK-45427] Aggiunta delle impostazioni SSL RPC a SSLOptions e SparkTransportConf.
    • Aggiornamenti della sicurezza del sistema operativo
  • 24 ottobre 2023
    • [SPARK-45426] Aggiunta del supporto per ReloadingX509TrustManager.
    • Correzioni varie.
  • 13 ottobre 2023
    • Dipendenza snowflake-jdbc aggiornata dalla versione 3.13.29 alla versione 3.13.33.
    • [SPARK-45178] Eseguire il fallback per l'esecuzione di un singolo batch per Trigger.AvailableNow con origini non supportate anziché usare il wrapper.
    • [SPARK-45084] StateOperatorProgress per usare un numero di partizione casuale accurato e adeguato.
    • [SPARK-45346] L'inferenza dello schema Parquet ora rispetta i flag con distinzione tra maiuscole e minuscole durante l'unione di uno schema.
    • Aggiornamenti della sicurezza del sistema operativo
  • 10 settembre 2023
    • Correzioni varie.
  • 30 agosto 2023
    • [SPARK-44818] Correzione della gara per l'interruzione dell'attività in sospeso rilasciata prima dell'inizializzazione di taskThread.
    • [SPARK-44871][11.3-13.0] Corretto comportamentopercentile_disc.
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 agosto 2023
    • [SPARK-44485] TreeNode.generateTreeString ottimizzato.
    • [SPARK-44504] L'attività di manutenzione pulisce i provider caricati in caso di errore di arresto.
    • [SPARK-44464] Corretto applyInPandasWithStatePythonRunner delle righe di output che hanno Null come primo valore di colonna.
    • Aggiornamenti della sicurezza del sistema operativo
  • 27 luglio 2023
    • È stato risolto un problema per cui dbutils.fs.ls() viene restituito INVALID_PARAMETER_VALUE.LOCATION_OVERLAP quando viene chiamato per un percorso di posizione di archiviazione che si è scontrato con un altro percorso di archiviazione esterno o gestito.
    • [SPARK-44199] CacheManager non aggiorna più fileIndex inutilmente.
    • Aggiornamenti della sicurezza del sistema operativo
  • 24 luglio 2023
    • [SPARK-44136] È stato risolto un problema per cui StateManager mateerializzarsi nell'executor anziché nel driver in FlatMapGroupsWithStateExec.
    • Aggiornamenti della sicurezza del sistema operativo
  • 23 giugno 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 giugno 2023
    • approx_count_distinct fotonizzato.
    • La libreria Snowflake-jdbc viene aggiornata alla versione 3.13.29 per risolvere un problema di sicurezza.
    • [SPARK-43779] ParseToDate ora carica EvalMode nel thread principale.
    • [SPARK-40862] Supportare sottoquery non aggregate in RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Test del bug di conteggio delle sottoquery scalari esteso con decorrelateInnerQuery disattivato.
    • [SPARK-43098] Correzione del bug COUNT di correzione quando la sottoquery scalare è raggruppata per clausola.
    • Aggiornamenti della sicurezza del sistema operativo
  • 2 giugno 2023
    • Il parser JSON in modalità failOnUnknownFields elimina un record in modalità DROPMALFORMED e non riesce direttamente in modalità FAILFAST.
    • Migliorare le prestazioni degli aggiornamenti incrementali con SHALLOW CLONE Iceberg e Parquet.
    • È stato risolto un problema nel caricatore automatico in cui diversi formati di file di origine erano incoerenti quando lo schema fornito non includeva partizioni dedotte. Questo problema potrebbe causare errori imprevisti durante la lettura di file con colonne mancanti nello schema di partizione dedotto.
    • [SPARK-43404]Ignorare il riutilizzo del file sst per la stessa versione dell'archivio stati di RocksDB per evitare l'errore di mancata corrispondenza dell'ID.
    • [SPARK-43527] Corretto catalog.listCatalogs in PySpark.
    • [SPARK-43413][11.3-13.0] Correzione IN di valori Null della sottoquery ListQuery.
    • [SPARK-43340] Corretto il campo di analisi dello stack mancante nei log eventi.

Databricks Runtime 10.4 LTS

Si veda Databricks Runtime 10.4 LTS.

  • 10 ottobre 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 25 settembre 2024
    • [SPARK-46601] [CORE] Correzione dell'errore di log in handleStatusMessage
    • [SPARK-49000][SQL] Correzione di "select count(distinct 1) from t" dove t è una tabella vuota espandendo RewriteDistinctAggregates
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 settembre 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 agosto 2024
    • [SPARK-49065][SQL] Il rebasing nei formattatori/parser legacy deve supportare fusi orari predefiniti non JVM
  • 14 agosto 2024
    • [SPARK-48597][SQL] Introdurre un marcatore per la proprietà isStreaming nella rappresentazione testuale del piano logico
    • [SPARK-48941][SPARK-48970] Correzioni del writer/lettore ML backport
    • [SPARK-48463][ML] Impostare StringIndexer per il supporto delle colonne di input annidate
  • 1 agosto 2024
  • 11 luglio 2024
    • [SPARK-48383][SS] Genera un errore migliore per le partizioni non corrispondenti nell'opzione startOffset in Kafka
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 giugno 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 21 maggio 2024
    • [SPARK-48105][SS] Correggere la race condition tra lo scaricamento dello stato e la creazione di snapshot
    • Aggiornamenti della sicurezza del sistema operativo
  • 9 maggio 2024
    • [SPARK-48018][SS] Correzione di groupId null che causa un errore param mancante durante la generazione di KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Sito di chiamata del log in SparkContext.stop() e versioni successive in SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Impostare i valori Nullable correttamente sulla chiave join coalesced in full outer USANDO join
    • Aggiornamenti della sicurezza del sistema operativo
  • 25 aprile 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 11 aprile 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 1 aprile 2024
    • [SPARK-47135][SS] Implementare classi di errore per le eccezioni di perdita di dati Kafka
    • [SPARK-44252][SS] Definire una nuova classe di errore e applicarla nel caso in cui il caricamento dello stato da DFS abbia esito negativo
    • [SPARK-47200][SS] Classe di errore per l'errore della funzione utente del sink batch Foreach
    • Ripristinare “[SPARK-46861][CORE] Evitare deadlock in DAGScheduler”
    • Aggiornamenti della sicurezza del sistema operativo
  • 14 marzo 2024
    • [SPARK-47125][SQL] Restituire Null se l'univocità non attiva mai l'analisi
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 febbraio 2024
    • È stato risolto il problema per cui l'uso di una raccolta locale come origine in un comando MERGE poteva causare il doppio del numero corretto di righe nella metrica dell'operazione numSourceRows.
    • [SPARK-45582][SS] Assicurarsi che l'istanza dell'archivio non venga utilizzata dopo aver chiamato il commit all'interno dell'aggregazione di streaming in modalità output
    • Aggiornamenti della sicurezza del sistema operativo
  • 13 febbraio 2024
    • [SPARK-46861] Evitare deadlock in DAGScheduler.
    • Aggiornamenti della sicurezza del sistema operativo
  • 31 gennaio 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 25 dicembre 2023
    • Per evitare una maggiore latenza durante la comunicazione tramite TLSv1.3, questa versione di manutenzione include una patch per l'installazione di JDK 8 per correggere il bug JDK JDK-8293562.
    • [SPARK-46058] Aggiungere un flag separato per privateKeyPassword.
    • [SPARK-46538] Correggere il problema di riferimento di colonna ambiguo in ALSModel.transform.
    • [SPARK-39440] Aggiungere una configurazione per disabilitare la timeline degli eventi.
    • [SPARK-46132] Supporto della password della chiave per le chiavi JKS per SSL RPC.
  • 14 dicembre 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 novembre 2023
    • È stato installato un nuovo pacchetto pyarrow-hotfix per correggere una vulnerabilità PyArrow RCE.
    • [SPARK-45544] Supporto SSL integrato in TransportContext.
    • [SPARK-45859] Oggetti UDF creati in ml.functions differita.
    • [SPARK-43718] Correzione del supporto dei valori Null per le chiavi nei join USING.
    • [SPARK-45730] Vincoli temporali migliorati per ReloadingX509TrustManagerSuite.
    • [SPARK-42205] Rimozione degli accumuli di registrazione negli eventi di avvio Fase e Task.
    • [SPARK-44846] Rimosse espressioni di raggruppamento complesse dopo RemoveRedundantAggregates.
    • Aggiornamenti della sicurezza del sistema operativo
  • 14 novembre 2023
    • [SPARK-45541] Aggiunta di SSLFactory.
    • [SPARK-45545] SparkTransportConf eredita SSLOptions al momento della creazione.
    • [SPARK-45427] Aggiunta delle impostazioni SSL RPC a SSLOptions e SparkTransportConf.
    • [SPARK-45429] Aggiunta di classi helper per la comunicazione RPC SSL.
    • [SPARK-45584] Correzione dell'errore di esecuzione della sottoquery con TakeOrderedAndProjectExec.
    • Ripristinare [SPARK-33861].
    • Aggiornamenti della sicurezza del sistema operativo
  • 24 ottobre 2023
    • [SPARK-45426] Aggiunta del supporto per ReloadingX509TrustManager.
    • Aggiornamenti della sicurezza del sistema operativo
  • 13 ottobre 2023
    • [SPARK-45084] StateOperatorProgress per usare un numero di partizione casuale accurato e adeguato.
    • [SPARK-45178] Eseguire il fallback per l'esecuzione di un singolo batch per Trigger.AvailableNow con origini non supportate anziché usare il wrapper.
    • Aggiornamenti della sicurezza del sistema operativo
  • 10 settembre 2023
    • Correzioni varie.
  • 30 agosto 2023
    • [SPARK-44818] Correzione della gara per l'interruzione dell'attività in sospeso rilasciata prima dell'inizializzazione di taskThread.
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 agosto 2023
    • [SPARK-44504] L'attività di manutenzione pulisce i provider caricati in caso di errore di arresto.
    • [SPARK-43973] L'interfaccia utente di Structured Streaming ora viene visualizzata correttamente nelle query non riuscite.
    • Aggiornamenti della sicurezza del sistema operativo
  • 23 giugno 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 giugno 2023
    • La libreria Snowflake-jdbc viene aggiornata alla versione 3.13.29 per risolvere un problema di sicurezza.
    • [SPARK-43098] Correzione del bug COUNT di correzione quando la sottoquery scalare è raggruppata per clausola.
    • [SPARK-40862] Supportare sottoquery non aggregate in RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Test di conteggio delle sottoquery scalari esteso con decorrelateInnerQuery disattivato.
    • Aggiornamenti della sicurezza del sistema operativo
  • 2 giugno 2023
    • Il parser JSON in modalità failOnUnknownFields elimina un record in modalità DROPMALFORMED e non riesce direttamente in modalità FAILFAST.
    • È stato risolto un problema nell'analisi dei dati salvati in JSON per evitare UnknownFieldException.
    • È stato risolto un problema nel caricatore automatico in cui diversi formati di file di origine erano incoerenti quando lo schema fornito non includeva partizioni dedotte. Questo problema potrebbe causare errori imprevisti durante la lettura di file con colonne mancanti nello schema di partizione dedotto.
    • [SPARK-43404] Ignorare il riutilizzo del file sst per la stessa versione dell'archivio stati di RocksDB per evitare l'errore di mancata corrispondenza dell'ID.
    • [SPARK-43413] Correzione IN di valori Null della sottoquery ListQuery.
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 maggio 2023
    • Le analisi Parquet sono ora affidabili in caso di OOM durante l'analisi di file eccezionalmente strutturati regolando dinamicamente le dimensioni del batch. I metadati dei file vengono analizzati per abbassare preventivamente le dimensioni dei batch e vengono nuovamente abbassate durante i tentativi di esecuzione di attività come rete di sicurezza finale.
    • [SPARK-41520] Dividere il modello di albero AND_OR in modo da separare AND e OR.
    • [SPARK-43190] ListQuery.childOutput è ora coerente con l'output secondario.
    • Aggiornamenti della sicurezza del sistema operativo
  • 25 aprile 2023
    • [SPARK-42928] Eseguire la sincronizzazione resolvePersistentFunction.
    • Aggiornamenti della sicurezza del sistema operativo
  • 11 aprile 2023
    • È stato risolto un problema per cui l'evoluzione dello schema del caricatore automatico può passare a un ciclo di errore infinito quando viene rilevata una nuova colonna nello schema di un oggetto JSON annidato.
    • [SPARK-42937] PlanSubqueries adesso imposta InSubqueryExec#shouldBroadcast su true.
    • [SPARK-42967] Correzione di SparkListenerTaskStart.stageAttemptId quando un'attività viene avviata dopo l'annullamento della fase.
  • 29 marzo 2023
    • [SPARK-42668] Intercettare l'eccezione durante il tentativo di chiudere il flusso compresso in HDFSStateStoreProvider stop
    • [SPARK-42635] Correggere il ...
    • Aggiornamenti della sicurezza del sistema operativo
  • 14 marzo 2023
    • [SPARK-41162] Correzione di anti-join e semi-join per il self-join con le aggregazioni
    • [SPARK-33206] Correzione del calcolo del peso della cache dell'indice casuale per i file di indice di piccole dimensioni
    • [SPARK-42484] Miglioramento del messaggio di errore UnsafeRowUtils
    • Correzioni varie.
  • 28 febbraio 2023
    • Supporto della colonna generata per date_format aaaa-MM-gg. Questa modifica supporta l'eliminazione della partizione per aaaa-MM-gg come date_format nelle colonne generate.
    • Gli utenti adesso possono leggere e scrivere tabelle Delta specifiche che richiedono Reader versione 3 e Writer versione 7, usando Databricks Runtime 9.1 LTS o versioni successive. Per avere esito positivo, le funzionalità di tabella elencate nel protocollo delle tabelle devono essere supportate dalla versione corrente di Databricks Runtime.
    • Supporto della colonna generata per date_format aaaa-MM-gg. Questa modifica supporta l'eliminazione della partizione per aaaa-MM-gg come date_format nelle colonne generate.
    • Aggiornamenti della sicurezza del sistema operativo
  • 16 febbraio 2023
    • [SPARK-30220] Abilitare l'uso di sottoquery Exists/In all'esterno del nodo Filtro
    • Aggiornamenti della sicurezza del sistema operativo
  • 31 gennaio 2023
    • Per impostazione predefinita, i tipi di tabella delle tabelle JDBC sono EXTERNAL.
  • 18 gennaio 2023
    • Il connettore Azure Synapse restituisce un messaggio di errore più descrittivo quando il nome di una colonna contiene caratteri non validi come spazi bianchi o punti e virgola. In questi casi, verrà restituito il seguente messaggio: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [SPARK-38277] Cancellare il batch di scrittura dopo il commit dell'archivio stati di RocksDB
    • [SPARK-41199] Correzione del problema relativo alle metriche quando l'origine di streaming DSv1 e l'origine di streaming DSv2 vengono co-utilizzate
    • [SPARK-41198] Correzione delle metriche nella query di streaming con origine di streaming CTE e DSv1.
    • [SPARK-41339] Chiudere e ricreare il batch di scrittura di RocksDB anziché semplicemente cancellarlo.
    • [SPARK-41732] Applicare l'eliminazione basata su pattern ad albero per la regola SessionWindowing.
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 novembre 2022
    • Gli utenti possono configurare il comportamento degli spazi vuoti iniziali e finali durante la scrittura dei dati usando il connettore Redshift. Sono state aggiunte le seguenti opzioni per controllare la gestione degli spazi vuoti:
      • csvignoreleadingwhitespace, se impostato su true, rimuove gli spazi vuoti iniziali dai valori durante le scritture quando tempformat è impostato su CSV o CSV GZIP. Gli spazi vuoti vengono mantenuti quando la configurazione è impostata su false. Per impostazione predefinita, il valore è true.
      • csvignoretrailingwhitespace, se impostato su true, rimuove gli spazi vuoti finali dai valori durante le scritture quando tempformat è impostato su CSV o CSV GZIP. Gli spazi vuoti vengono mantenuti quando la configurazione è impostata su false. Per impostazione predefinita, il valore è true.
    • È stato risolto un problema relativo all'analisi JSON nel caricatore automatico quando tutte le colonne venivano lasciate come stringhe (cloudFiles.inferColumnTypes non erano impostate o erano impostate su false) e gli oggetti annidati contenuti in JSON.
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 novembre 2022
    • Aggiornamento di Apache commons-text alla versione 1.10.0.
    • [SPARK-40646] L'analisi JSON per le strutture, le mappe e le matrici è stata corretta, in modo che quando una parte di un record non corrisponde allo schema, il resto del record possa essere analizzato correttamente anziché restituire valori null. Per acconsentire esplicitamente al comportamento migliorato, impostare spark.sql.json.enablePartialResults su true. Il flag è disattivato per impostazione predefinita per mantenere il comportamento originale.
    • [SPARK-40292] Correggere i nomi delle colonne nella arrays_zip funzione quando si fa riferimento alle matrici da strutture annidate
    • Aggiornamenti della sicurezza del sistema operativo
  • 1 novembre 2022
    • È stato risolto un problema per cui se una tabella Delta aveva una colonna definita dall'utente denominata _change_type, ma il feed di dati di modifica era disattivato per quella tabella, i dati nella colonna venivano inseriti in modo non corretto con valori NULL durante l'esecuzione di MERGE.
    • È stato risolto un problema relativo al caricatore automatico dove un file può essere duplicato nello stesso micro batch quando allowOverwrites è abilitato
    • [SPARK-40697] Aggiungere la spaziatura interna dei caratteri in lettura per coprire i file di dati esterni
    • [SPARK-40596] Popolare ExecutorDecommission con messaggi in ExecutorDecommissionInfo
    • Aggiornamenti della sicurezza del sistema operativo
  • 18 ottobre 2022
    • Aggiornamenti della sicurezza del sistema operativo
  • 5 ottobre 2022
    • [SPARK-40468] Correzione dell'eliminazione delle colonne in CSV quando _corrupt_record è selezionata.
    • Aggiornamenti della sicurezza del sistema operativo
  • 22 settembre 2022
    • Gli utenti possono impostare spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) per riabilitare l'elenco predefinito per il caricatore automatico in ADLS Gen2. L'elenco incorporato è stato precedentemente disattivato per problemi di prestazioni, ma può aver comportato un aumento dei costi di archiviazione per i clienti.
    • [SPARK-40315] Aggiungere hashCode() per valore letterale di ArrayBasedMapData
    • [SPARK-40213] Supportare la conversione di valori ASCII per i caratteri Latin-1
    • [SPARK-40380] Correzione della riduzione costante di InvokeLike per evitare valori letterali non serializzabili incorporati nel piano
    • [SPARK-38404] Migliorare la risoluzione CTE quando un CTE annidato fa riferimento a un CTE esterno
    • [SPARK-40089] Correzione dell'ordinamento per alcuni tipi decimali
    • [SPARK-39887] RemoveRedundantAliases deve mantenere gli alias che rendono univoco l'output dei nodi di proiezione
  • 6 settembre 2022
    • [SPARK-40235] Usare il blocco interrompibile anziché quello sincronizzato in Executor.updateDependencies().
    • [SPARK-40218] GROUPING SETS deve mantenere le colonne di raggruppamento.
    • [SPARK-39976] ArrayIntersect deve gestire correttamente valori null nell'espressione a sinistra.
    • [SPARK-40053] Aggiungere assume a casi di annullamento dinamici che richiedono l'ambiente di runtime Python.
    • [SPARK-35542] Correzione: Il Bucketizer creato per colonne multiple con i parametri splitsArray, inputCols e outputCols non può essere caricato dopo il suo salvataggio.
    • [SPARK-40079] Aggiungere la convalida inputCols dell'input del computer per un caso di input vuoto.
  • 24 agosto 2022
    • [SPARK-39983] Non memorizzare nella cache le relazioni di trasmissione non serializzate sul driver.
    • [SPARK-39775] Disabilitare la convalida dei valori predefiniti durante l'analisi degli schemi Avro.
    • [SPARK-39962] Applicare la proiezione quando gli attributi del gruppo sono vuoti
    • [SPARK-37643] quando charVarcharAsString è true, per la query del predicato del tipo di dati char deve ignorare la regola rpadding.
    • Aggiornamenti della sicurezza del sistema operativo
  • 9 agosto 2022
    • [SPARK-39847] Correzione della race condition in RocksDBLoader.loadLibrary() se il thread del chiamante viene interrotto
    • [SPARK-39731] Correzione del problema nelle origini dati CSV e JSON durante l'analisi delle date nel formato "aaaaMMdd" con i criteri del parser temporale CORRETTI
    • Aggiornamenti della sicurezza del sistema operativo
  • 27 luglio 2022
    • [SPARK-39625] Aggiungere Dataset.as(StructType).
    • [SPARK-39689]Supporto di lineSep di 2 caratteri nell'origine dati CSV.
    • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded deve essere thread-safe.
    • [SPARK-39570] La tabella inline deve consentire espressioni con alias.
    • [SPARK-39702] Ridurre il sovraccarico di memoria di TransportCipher$EncryptedMessage usando un byteRawChannel condiviso.
    • [SPARK-39575] Aggiungere ByteBuffer#rewind dopo ByteBuffer#get in AvroDeserializer.
    • [SPARK-39476] Disabilitare l'ottimizzazione del cast di annullamento del wrapping durante il cast da Long a Float/ Doppio o da numero intero a Float.
    • [SPARK-38868] Non propagare eccezioni dal predicato del filtro quando si ottimizzano outer join.
    • Aggiornamenti della sicurezza del sistema operativo
  • 20 luglio 2022
    • Rendere coerenti i risultati dell'operazione Delta MERGE quando l'origine non è deterministica.
    • [SPARK-39355] La colonna singola usa virgolette per costruire UnresolvedAttribute.
    • [SPARK-39548] Comando CreateView con una query di clausola della finestra, premere su un problema di definizione della finestra errata non trovata.
    • [SPARK-39419] Correzione di ArraySort per generare un'eccezione quando il confronto restituisce Null.
    • Disattivato l'uso del caricatore automatico delle API cloud predefinite per l'elenco di directory in Azure.
    • Aggiornamenti della sicurezza del sistema operativo
  • 5 luglio 2022
    • [SPARK-39376] Nascondere le colonne duplicate nell'espansione a stella dell'alias di sottoquery da NATURAL/USING JOIN
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 giugno 2022
    • [SPARK-39283] Correzione del deadlock tra TaskMemoryManager e UnsafeExternalSorter.SpillableIterator.
    • [SPARK-39285] Spark non deve controllare i nomi dei campi durante la lettura dei file.
    • [SPARK-34096] Migliorare le prestazioni per nth_value ignorare i valori Null rispetto alla finestra di offset.
    • [SPARK-36718] Correggere il controllo isExtractOnly in CollapseProject.
  • 2 giugno 2022
    • [SPARK-39093] Evitare l'errore di compilazione codegen durante la divisione di intervalli di mese o di giorno per un integrale.
    • [SPARK-38990] Evitare NullPointerException durante la valutazione del formato date_trunc/troncamento come riferimento associato.
    • Aggiornamenti della sicurezza del sistema operativo
  • 18 maggio 2022
    • Corregge una potenziale perdita di memoria incorporata nel caricatore automatico.
    • [SPARK-38918] L’eliminazione delle colonne annidate deve filtrare gli attributi che non appartengono alla relazione corrente.
    • [SPARK-37593] Ridurre le dimensioni predefinite della pagina LONG_ARRAY_OFFSET se vengono usati G1GC e ON_HEAP.
    • [SPARK-39084] Correggere df.rdd.isEmpty() utilizzando TaskContext per arrestare l'iteratore al completamento dell'attività.
    • [SPARK-32268] Aggiungere ColumnPruning in injectBloomFilter.
    • [SPARK-38974] Filtrare le funzioni registrate con un determinato nome di database nelle funzioni elenco.
    • [SPARK-38931] Creare la directory dfs radice per RocksDBFileManager con un numero sconosciuto di chiavi nel 1° checkpoint.
    • Aggiornamenti della sicurezza del sistema operativo
  • 19 aprile 2022
    • Aggiornamento di Java AWS SDK dalla versione 1.11.655 alla 1.12.1899.
    • È stato risolto un problema relativo alle librerie con ambito notebook che non funzionano nei processi di streaming batch.
    • [SPARK-38616] Tenere traccia del testo della query SQL in Catalyst TreeNode
    • Aggiornamenti della sicurezza del sistema operativo
  • 6 aprile 2022
    • Con questa versione sono ora disponibili le seguenti funzioni SPARK SQL:
      • timestampadd() e dateadd(): aggiungere una durata temporale in un'unità specificata a un'espressione timestamp.
      • timestampdiff() e datediff(): calcola la differenza temporale tra due espressioni timestamp in un'unità specificata.
    • Parquet-MR è stato aggiornato alla versione 1.12.2
    • Supporto migliorato per schemi completi nei file Parquet
    • [SPARK-38631] Utilizza un'implementazione basata su Java per lo scompattamento in Utils.unpack.
    • [SPARK-38509][SPARK-38481] Cherry-pick tre modifiche timestmapadd/diff.
    • [SPARK-38523] Correzione del riferimento alla colonna di record danneggiata da CSV.
    • [SPARK-38237] Consentire a ClusteredDistribution di richiedere chiavi di clustering complete.
    • [SPARK-38437] Serializzazione non vincolante di datetime da un’origine dati.
    • [SPARK-38180] Consentire espressioni up-cast sicure nei predicati di uguaglianza correlati.
    • [SPARK-38155] Non consentire un'aggregazione distinta nelle sottoquery laterali con predicati non supportati.
    • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 9.1 LTS

Si veda Databricks Runtime 9.1 LTS.

  • 10 ottobre 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 25 settembre 2024
    • [SPARK-49000][SQL] Correzione di "select count(distinct 1) from t" dove t è una tabella vuota espandendo RewriteDistinctAggregates
    • Aggiornamenti della sicurezza del sistema operativo
  • 6 settembre 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 agosto 2024
    • [SPARK-49065][SQL] Il rebasing nei formattatori/parser legacy deve supportare fusi orari predefiniti non JVM
  • 14 agosto 2024
  • 1 agosto 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 11 luglio 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 giugno 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 21 maggio 2024
    • [SPARK-48105][SS] Correggere la race condition tra lo scaricamento dello stato e la creazione di snapshot
    • Aggiornamenti della sicurezza del sistema operativo
  • 9 maggio 2024
    • [SPARK-47973][CORE] Sito di chiamata del log in SparkContext.stop() e versioni successive in SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Impostare i valori Nullable correttamente sulla chiave join coalesced in full outer USANDO join
    • Aggiornamenti della sicurezza del sistema operativo
  • 25 aprile 2024
    • Varie correzioni di bug.
  • 11 aprile 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 1 aprile 2024
    • Ripristinare “[SPARK-46861][CORE] Evitare deadlock in DAGScheduler”
    • Aggiornamenti della sicurezza del sistema operativo
  • 14 marzo 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 febbraio 2024
    • È stato risolto il problema per cui l'uso di una raccolta locale come origine in un comando MERGE poteva causare il doppio del numero corretto di righe nella metrica dell'operazione numSourceRows.
    • Aggiornamenti della sicurezza del sistema operativo
  • 13 febbraio 2024
    • [SPARK-46861] Evitare deadlock in DAGScheduler.
    • Aggiornamenti della sicurezza del sistema operativo
  • 31 gennaio 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 25 dicembre 2023
    • Per evitare una maggiore latenza durante la comunicazione tramite TLSv1.3, questa versione di manutenzione include una patch per l'installazione di JDK 8 per correggere il bug JDK JDK-8293562.
    • [SPARK-46058] Aggiungere un flag separato per privateKeyPassword.
    • [SPARK-39440] Aggiungere una configurazione per disabilitare la timeline degli eventi.
    • [SPARK-46132] Supporto della password della chiave per le chiavi JKS per SSL RPC.
  • 14 dicembre 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 novembre 2023
    • È stato installato un nuovo pacchetto pyarrow-hotfix per correggere una vulnerabilità PyArrow RCE.
    • [SPARK-45859] Oggetti UDF creati in ml.functions differita.
    • [SPARK-45544] Supporto SSL integrato in TransportContext.
    • [SPARK-45730] Vincoli temporali migliorati per ReloadingX509TrustManagerSuite.
    • Aggiornamenti della sicurezza del sistema operativo
  • 14 novembre 2023
    • [SPARK-45545] SparkTransportConf eredita SSLOptions al momento della creazione.
    • [SPARK-45429] Aggiunta di classi helper per la comunicazione RPC SSL.
    • [SPARK-45427] Aggiunta delle impostazioni SSL RPC a SSLOptions e SparkTransportConf.
    • [SPARK-45584] Correzione dell'errore di esecuzione della sottoquery con TakeOrderedAndProjectExec.
    • [SPARK-45541] Aggiunta di SSLFactory.
    • [SPARK-42205] Rimozione degli accumuli di registrazione negli eventi di avvio Fase e Task.
    • Aggiornamenti della sicurezza del sistema operativo
  • 24 ottobre 2023
    • [SPARK-45426] Aggiunta del supporto per ReloadingX509TrustManager.
    • Aggiornamenti della sicurezza del sistema operativo
  • 13 ottobre 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 10 settembre 2023
    • Correzioni varie.
  • 30 agosto 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 agosto 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 23 giugno 2023
    • La libreria Snowflake-jdbc viene aggiornata alla versione 3.13.29 per risolvere un problema di sicurezza.
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 giugno 2023
    • [SPARK-43098] Correzione del bug COUNT di correzione quando la sottoquery scalare è raggruppata per clausola.
    • [SPARK-43156][SPARK-43098] Estendere il test del bug di conteggio delle sottoquery scalari con decorrelateInnerQuery disattivato.
    • [SPARK-40862] Supportare sottoquery non aggregate in RewriteCorrelatedScalarSubquery.
    • Aggiornamenti della sicurezza del sistema operativo
  • 2 giugno 2023
    • Il parser JSON in modalità failOnUnknownFields elimina un record in modalità DROPMALFORMED e non riesce direttamente in modalità FAILFAST.
    • È stato risolto un problema nell'analisi dei dati salvati in JSON per evitare UnknownFieldException.
    • È stato risolto un problema nel caricatore automatico in cui diversi formati di file di origine erano incoerenti quando lo schema fornito non includeva partizioni dedotte. Questo problema potrebbe causare errori imprevisti durante la lettura di file con colonne mancanti nello schema di partizione dedotto.
    • [SPARK-37520] Aggiungere le funzioni stringa startswith() e endswith()
    • [SPARK-43413] Correzione IN di valori Null della sottoquery ListQuery.
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 maggio 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 25 aprile 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 11 aprile 2023
    • È stato risolto un problema per cui l'evoluzione dello schema del caricatore automatico può passare a un ciclo di errore infinito quando viene rilevata una nuova colonna nello schema di un oggetto JSON annidato.
    • [SPARK-42967] Correzione di SparkListenerTaskStart.stageAttemptId quando un'attività viene avviata dopo l'annullamento della fase.
  • 29 marzo 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 14 marzo 2023
    • [SPARK-42484] Messaggio di errore migliorato per UnsafeRowUtils.
    • Correzioni varie.
  • 28 febbraio 2023
    • Gli utenti adesso possono leggere e scrivere tabelle Delta specifiche che richiedono Reader versione 3 e Writer versione 7, usando Databricks Runtime 9.1 LTS o versioni successive. Per avere esito positivo, le funzionalità di tabella elencate nel protocollo delle tabelle devono essere supportate dalla versione corrente di Databricks Runtime.
    • Aggiornamenti della sicurezza del sistema operativo
  • 16 febbraio 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 31 gennaio 2023
    • Per impostazione predefinita, i tipi di tabella delle tabelle JDBC sono EXTERNAL.
  • 18 gennaio 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 novembre 2022
    • È stato risolto un problema relativo all'analisi JSON nel caricatore automatico quando tutte le colonne venivano lasciate come stringhe (cloudFiles.inferColumnTypes non erano impostate o erano impostate su false) e gli oggetti annidati contenuti in JSON.
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 novembre 2022
    • Aggiornamento di Apache commons-text alla versione 1.10.0.
    • Aggiornamenti della sicurezza del sistema operativo
    • Correzioni varie.
  • 1 novembre 2022
    • È stato risolto un problema per cui se una tabella Delta aveva una colonna definita dall'utente denominata _change_type, ma il feed di dati di modifica era disattivato per quella tabella, i dati nella colonna venivano inseriti in modo non corretto con valori NULL durante l'esecuzione di MERGE.
    • È stato risolto un problema relativo al caricatore automatico dove un file può essere duplicato nello stesso micro batch quando allowOverwrites è abilitato
    • [SPARK-40596] Popolare ExecutorDecommission con messaggi in ExecutorDecommissionInfo
    • Aggiornamenti della sicurezza del sistema operativo
  • 18 ottobre 2022
    • Aggiornamenti della sicurezza del sistema operativo
  • 5 ottobre 2022
    • Correzioni varie.
    • Aggiornamenti della sicurezza del sistema operativo
  • 22 settembre 2022
    • Gli utenti possono impostare spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") per riabilitare l'elenco predefinito per il caricatore automatico in ADLS Gen2. L'elenco incorporato è stato precedentemente disattivato per problemi di prestazioni, ma può aver comportato un aumento dei costi di archiviazione per i clienti.
    • [SPARK-40315] Aggiungere hashCode() per valore letterale di ArrayBasedMapData
    • [SPARK-40089] Correzione dell'ordinamento per alcuni tipi decimali
    • [SPARK-39887] RemoveRedundantAliases deve mantenere gli alias che rendono univoco l'output dei nodi di proiezione
  • 6 settembre 2022
    • [SPARK-40235] Usare il blocco interrompibile anziché quello sincronizzato in Executor.updateDependencies()
    • [SPARK-35542] Correzione: Il Bucketizer creato per colonne multiple con i parametri splitsArray, inputCols e outputCols non può essere caricato dopo il suo salvataggio
    • [SPARK-40079] Aggiungere la convalida inputCols dell'input del computer per un caso di input vuoto
  • 24 agosto 2022
    • [SPARK-39666] Usare UnsafeProjection.create per rispettare spark.sql.codegen.factoryMode expressionEncoder
    • [SPARK-39962] Applicare la proiezione quando gli attributi del gruppo sono vuoti
    • Aggiornamenti della sicurezza del sistema operativo
  • 9 agosto 2022
    • Aggiornamenti della sicurezza del sistema operativo
  • 27 luglio 2022
    • Rendere coerenti i risultati dell'operazione Delta MERGE quando l'origine non è deterministica.
    • [SPARK-39689] Supporto per lineSep di 2 caratteri nell'origine dati CSV
    • [SPARK-39575] Aggiunto ByteBuffer#rewind dopo ByteBuffer#get in AvroDeserializer.
    • [SPARK-37392] Correzione dell'errore di prestazioni per l'utilità di ottimizzazione catalizzatore.
    • Aggiornamenti della sicurezza del sistema operativo
  • 13 luglio 2022
    • [SPARK-39419] ArraySort genera un'eccezione quando il comparatore restituisce null.
    • Disattivato l'uso del caricatore automatico delle API cloud predefinite per l'elenco di directory in Azure.
    • Aggiornamenti della sicurezza del sistema operativo
  • 5 luglio 2022
    • Aggiornamenti della sicurezza del sistema operativo
    • Correzioni varie.
  • 15 giugno 2022
    • [SPARK-39283] Correzione del deadlock tra TaskMemoryManager e UnsafeExternalSorter.SpillableIterator.
  • 2 giugno 2022
    • [SPARK-34554] Implementare il metodo copy() in ColumnarMap.
    • Aggiornamenti della sicurezza del sistema operativo
  • 18 maggio 2022
    • Corretta una potenziale perdita di memoria incorporata nel caricatore automatico.
    • Aggiornamento di AWS SDK dalla versione 1.11.655 alla 1.11.678.
    • [SPARK-38918] L’eliminazione delle colonne annidate deve filtrare gli attributi che non appartengono alla relazione corrente.
    • [SPARK-39084] Correzione di df.rdd.isEmpty() tramite TaskContext per arrestare l'iteratore al completamento dell'attività
    • Aggiornamenti della sicurezza del sistema operativo
  • 19 aprile 2022
    • Aggiornamenti della sicurezza del sistema operativo
    • Correzioni varie.
  • 6 aprile 2022
    • [SPARK-38631] Utilizza un'implementazione basata su Java per lo scompattamento in Utils.unpack.
    • Aggiornamenti della sicurezza del sistema operativo
  • 22 marzo 2022
    • È stata modificata la directory di lavoro corrente dei notebook nei cluster a concorrenza elevata con il controllo di accesso alla tabella o il pass-through delle credenziali abilitato nella home directory dell'utente. In precedenza, active directory era /databricks/driver.
    • [SPARK-38437] Serializzazione non vincolante di datetime da un’origine dati
    • [SPARK-38180] Consentire espressioni up-cast sicure nei predicati di uguaglianza correlati
    • [SPARK-38155] Non consentire un'aggregazione distinta nelle sottoquery laterali con predicati non supportati
    • [SPARK-27442] È stato rimosso un campo di controllo durante la lettura o la scrittura di dati in un parquet.
  • 14 marzo 2022
    • [SPARK-38236] I percorsi di file assoluti specificati nella tabella CREATE/ALTER vengono considerati come relativi
    • [SPARK-34069] Interrompere il thread dell'attività se la proprietà SPARK_JOB_INTERRUPT_ON_CANCEL locale è impostata su true.
  • 23 febbraio 2022
    • [SPARK-37859] Le tabelle SQL create con JDBC con Spark 3.1 non sono leggibili con Spark 3.2.
  • 8 febbraio 2022
    • [SPARK-27442] È stato rimosso un campo di controllo durante la lettura o la scrittura di dati in un parquet.
    • Aggiornamenti della sicurezza del sistema operativo
  • 1 febbraio 2022
    • Aggiornamenti della sicurezza del sistema operativo
  • 26 gennaio 2022
    • È stato risolto un problema a causa del quale in alcune rare condizioni le transazioni concorrenti sulle tabelle Delta potevano eseguire il commit in un ordine non serializzabile.
    • È stato risolto un problema a causa del quale il OPTIMIZE comando poteva fallire quando il dialetto SQL ANSI era abilitato.
  • 19 gennaio 2022
    • Correzioni secondarie e miglioramenti per la sicurezza.
    • Aggiornamenti della sicurezza del sistema operativo
  • 4 novembre 2021
    • Corretto un problema che poteva causare il fallimento dei flussi di Streaming strutturato con un errore ArrayIndexOutOfBoundsException.
    • Correzione di una race condition che potrebbe causare un errore di query con un'eccezione IOException simile java.io.IOException: No FileSystem for scheme o che potrebbe causare modifiche a sparkContext.hadoopConfiguration che non hanno effetto nelle query.
    • Il connettore Apache Spark per la condivisione delta è stato aggiornato alla versione 0.2.0.
  • 20 ottobre 2021
    • Aggiornamento del connettore BigQuery da 0.18.1 a 0.22.2. In questo modo viene aggiunto il supporto per il tipo BigNumeric.