Databricks Runtime 16.1 (Beta)

Le seguenti note sulla versione forniscono informazioni su Databricks Runtime 16.1, alimentato da Apache Spark 3.5.0.

Modifiche comportamentali

Il tipo di dati VARIANT non può più essere usato con operazioni che richiedono confronti

In DBR 16.1 e versioni successive non è possibile usare le clausole o gli operatori seguenti nelle query che includono un tipo di dati VARIANT:

• DISTINCT
• INTERSECT
• EXCEPT
• UNION
• DISTRIBUTE BY

Inoltre, non è possibile usare queste funzioni dataframe:

• df.dropDuplicates()
• df.repartition()

Queste operazioni eseguono confronti e confronti che usano il tipo di dati VARIANT producono risultati non definiti e non sono supportati in Databricks. Se si usa il tipo VARIANT nei carichi di lavoro o nelle tabelle di Azure Databricks, Databricks consiglia le modifiche seguenti:

• Aggiornare query ed espressioni per effettuare un cast esplicito dei valori VARIANT a tipi di dati nonVARIANT.
• Se sono presenti campi che devono essere usati con una delle operazioni precedenti, estrarre tali campi dal tipo di dati VARIANT e archiviarli usando tipi di dati nonVARIANT.

Per ulteriori informazioni, vedere i dati della variante di query .

Nuove funzionalità e miglioramenti

Supporto per le collazioni nell'anteprima pubblica

In <> DBR 16.1 e versioni successive è possibile assegnare regole di confronto indipendenti dal linguaggio, senza distinzione tra maiuscole e minuscole e senza distinzione di accesso a colonne ed espressioni STRING. Queste regole di confronto vengono osservate in confronti di stringhe, ordinamento, operazioni di raggruppamento e molte funzioni stringa. Per ulteriori informazioni, consultare Collazione.

Opzioni FULL e LITE per il comando VACUUM

In Databricks Runtime 16.1 e versioni successive il comando VACUUM supporta le opzioni di FULL e LITE. Per altre informazioni, vedere VACUUM.

Parametrizzare USE CATALOG con il supporto della clausola IDENTIFIER

In Databricks Runtime 16.1 e versioni successive la clausola IDENTIFIER è supportata per l'istruzione USE CATALOG. Con questo supporto è possibile parametrizzare il catalogo corrente in base a una variabile stringa o a un marcatore di parametro.

Nuove funzioni SQL

In Databricks Runtime 16.1 e versioni successive sono disponibili le nuove funzioni SQL predefinite seguenti:

• dayname(expr) restituisce la sigla inglese di tre lettere per il giorno della settimana per la data specificata.
• uniform(expr1, expr2 [,seed]) restituisce un valore casuale con valori indipendenti e distribuiti in modo identico all'interno dell'intervallo di numeri specificato.
• randstr(length) restituisce una stringa casuale di length caratteri alfanumerici.

Invocazione di parametri nominati per più funzioni

La funzione seguente supporta chiamata di parametri denominati in Databricks Runtime 16.1 e versioni successive:

• variante_esplosione
• variant_explode_outer
• inline
• inline_outer
• posexplode
• posexplode_outer

Integrità dei dati migliorata per i batch Apache Arrow compressi

In Databricks Runtime 16.1 e versioni successive, per proteggersi ulteriormente dal danneggiamento dei dati, ogni batch Arrow compresso LZ4 include ora i checksum del contenuto e del blocco LZ4. Consultare Descrizione formato frame LZ4.

Supporto aggiunto per i metodi Scala nel calcolo in modalità di accesso condiviso del Catalogo Unity

In Databricks Runtime 16.1 e versioni successive, nella modalità di calcolo ad accesso condiviso di Unity Catalog viene aggiunto il supporto per i seguenti metodi Scala: Dataset.flatMapGroups(), Dataset.mapGroups()e DataStreamWriter.foreach().

Driver JDBC Oracle predefinito

In Databricks Runtime 16.1 e versioni successive il driver Oracle JDBC è integrato in Azure Databricks. Se si usa un file JAR del driver JDBC caricato dal cliente tramite DriverManager, è necessario riscrivere gli script per usare in modo esplicito il file JAR personalizzato. In caso contrario, viene usato il driver predefinito.

Altre modifiche

Codici di errore rinominati per la sorgente Structured Streaming cloudFiles

Questa versione include una modifica per rinominare i codici di errore seguenti:

• _LEGACY_ERROR_TEMP_DBR_0143 viene rinominato in CF_INCORRECT_STREAM_USAGE.
• _LEGACY_ERROR_TEMP_DBR_0260 viene rinominato in CF_INCORRECT_BATCH_USAGE .

Aggiornamenti della libreria

• Librerie Python aggiornate:
  • ipyflow-core da 0.0.198 a 0.0.201
  • pyccolo da 0.0.52 a 0.0.65
• Librerie R aggiornate:
• Librerie Java aggiornate:
  • io.delta.delta-sharing-client_2.12 da 1.2.0 a 1.2.2
  • org.lz4.lz4-java da 1.8.0 a 1.8.0-databricks-1
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider da 1.6.2-linux-x86_64 a 2.4.1-linux-x86_64

Apache Spark

Databricks Runtime 16.1 include Apache Spark 3.5.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 16.0, nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

• [SPARK-50482] [SC-182879][CORE] Deprecato no-op spark.shuffle.spill configurazione
• [SPARK-50032] [SC-182706][SQL][16.x] Consenti l'uso del nome completo delle regole di confronto
• [SPARK-50467] [SC-182823][PYTHON] Aggiungere __all__ per le funzioni predefinite
• [SPARK-48898] [SC-182828][SQL] Correzione del bug di triturazione della Variante
• [SPARK-50441] [SC-182668][SQL] Correggere gli identificatori parametrizzati non funzionanti quando si fa riferimento alle CTE
• [SPARK-50446] [SC-182639][PYTHON] Livello simultaneo in UDF Python ottimizzato con Arrow
• [SPARK-50430] [SC-182536][CORE] Usare il metodo standard Properties.clone anziché clonare manualmente.
• [SPARK-50471] [SC-182790][PYTHON] Supportare il Writer dell'origine dati Python basato su Arrow
• [SPARK-50466] [SC-182791][PYTHON] Perfezionare la docstring per le funzioni delle stringhe - parte 1
• [SPARK-50194] [DBR16.x][SC-182593][SS][PYTHON] Integrazione della nuova API Timer e dell'API dello stato iniziale con Timer
• [SPARK-50437] [SC-182586][SS] Ridurre il sovraccarico nella creazione dei deserializzatori in TransformWithStateExec
• [SPARK-49676] [DBR16.x][SC-182538][SS][PYTHON] Aggiunta del supporto per il concatenamento o...
• [SPARK-49294] [SC-182730][UI] Aggiungere l'attributo width per la casella di controllo shuffle-write-time.
• [SPARK-50426] [SC-182540][PYTHON] Evitare la ricerca di origini dati Python statiche quando si usano origini dati integrate o Java
• [SPARK-48356] [SC-182603][SQL] Supporto per l'istruzione FOR
• [SPARK-50333] [SC-182136][SQL] Supporto codegen per CsvToStructs (da parte di Invoke & RuntimeReplaceable)
• [SPARK-50285] [SC-182575] Metriche per i commit su istanze di StagedTable
• [SPARK-50081] [SC-182344][SQL] Supporto codegen per XPath*(Invocato da RuntimeReplaceable &)
• [SPARK-50440] [SC-182592] [SQL] Refactor AttributeSeq.resolveCandidates
• [SPARK-50067] [SC-179648][SQL] Supporto codegen per SchemaOfCsv(by Invoke & RuntimeReplaceable)
• [SPARK-49873] [SC-178577][SQL] correzione dell'errore post-merge nel test di verifica
• [SPARK-50118] [SC-181259][CONNET] Reimpostare la cache dello stato isolato quando le attività sono in esecuzione
• [SPARK-49873] [SC-178577][SQL] Assegnare una classe di errore appropriata per _LEGACY_ERROR_TEMP_1325
• [SPARK-50381] [SC-182197][CORE] Supporto spark.master.rest.maxThreads
• [SPARK-46725] [SC-182448][SQL] Aggiungere la funzione DAYNAME
• [SPARK-50270] [SC-181179][SS][PYTHON] Metri di stato personalizzati aggiunti per TransformWithStateInPandas
• [SPARK-50118] Annullare “[SC-181259][CONNET] Reimpostare la cache dello stato isolato quando le attività sono in esecuzione”
• [SPARK-50075] [SC-181820][SQL][PYTHON][CONNECT] Aggiungere API dataframe per le funzioni con valori di tabella
• [SPARK-49470] [SC-175736][UI] Aggiornare fogli di stile e javascript di DataTables da 1.13.5 a 1.13.11
• [SPARK-50235] Ripristina "[SC-180786][SQL] Pulire la risorsa ColumnVector dopo l'elaborazione di tutte le righe in ColumnarToRowExec"
• [SPARK-50324] [SC-182278][PYTHON][CONNECT] Fai in modo che createDataFrame attivi Config RPC al massimo una volta
• [SPARK-50387] [SC-182441][SS] Condizione di aggiornamento per la scadenza del timer e il test pertinente
• [SPARK-50287] [SC-182400][SQL] Unire le opzioni di tabella e relazione durante la creazione di WriteBuilder in FileTable
• [SPARK-50066] [SC-181484][SQL] Supporto per la generazione di codice per SchemaOfXml (da Invoke & RuntimeReplaceable)
• [SPARK-50092] [SC-181568][SQL] Correzione del comportamento del connettore PostgreSQL per matrici multidimensionali
• [SPARK-50318] [SC-181641][SQL] Aggiungere IntervalUtils.makeYearMonthInterval per eliminare i duplicati nel codice tra interpretato e generazione del codice.
• [SPARK-50312] [SC-181646][SQL] Errore nel passaggio dei parametri in SparkThriftServer createServer quando Kerberos è attivo.
• [SPARK-50246] [SC-181468][SQL] Assegnare una condizione di errore appropriata per _LEGACY_ERROR_TEMP_2167: INVALID_JSON_RECORD_TYPE
• [SPARK-50214] [SC-180692][SQL] Da json/xml non dovrebbe cambiare le regole di confronto nello schema specificato
• [SPARK-50250] [SC-181466][SQL] Assegnare una condizione di errore appropriata per _LEGACY_ERROR_TEMP_2075: UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE
• [SPARK-50248] [SC-181467][SQL] Assegnare una condizione di errore appropriata per _LEGACY_ERROR_TEMP_2058: INVALID_PARTITION_VALUE
• [SPARK-50118] [SC-181259][CONNET] Reimpostare la cache dello stato isolato quando le attività sono in esecuzione
• [SPARK-50235] [SC-180786][SQL] Pulire la risorsa ColumnVector dopo l'elaborazione di tutte le righe in ColumnarToRowExec
• [SPARK-50156] [SC-180781][SQL] Integrare _LEGACY_ERROR_TEMP_2113 in UNRECOGNIZED_STATISTIC
• [SPARK-50069] [SC-180163][SQL] Integrare _LEGACY_ERROR_TEMP_0028 in UNSUPPORTED_FROM_TO_EXPRESSION
• [SPARK-50154] [SC-180663][SQL] Assegnare una condizione di errore appropriata per _LEGACY_ERROR_TEMP_0043: INVALID_RESET_COMMAND_FORMAT
• [SPARK-49967] [SC-179534][SQL] Supporto codegen per StructsToJson(to_json)
• [SPARK-50055] [SC-180978][SQL] Aggiungere l'alternativa TryMakeInterval
• [SPARK-50397] [SC-182367][CORE] Rimuovere argomenti deprecati --ip e -i da Master/Worker
• [SPARK-50238] [SC-181434][PYTHON] Aggiungere il supporto Variant in PySpark UDFs/UDTFs/UDAFs e UC UDFs Python
• [SPARK-50079] [SC-179830][SQL] Assegnare la corretta condizione di errore per _LEGACY_ERROR_TEMP_2013: NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION
• [SPARK-50182] [SC-180346][ESEMPIO] Aggiungere submit-sql.sh'API REST
• [SPARK-49966] [SC-179501][SQL] Usare Invoke per implementare JsonToStructs(from_json)
• [SPARK-50302] [SC-182518][SS] Assicurarsi che le dimensioni degli indici secondari siano uguali alle dimensioni degli indici primari per le variabili con stato TransformWithState con TTL
• [SPARK-50301] [SC-182241][SS][16.x] Fare in modo che le metriche di TransformWithState riflettano i loro significati intuitivi
• [SPARK-50175] [SC-182140][SQL] Modificare il calcolo della precedenza delle collazioni
• [SPARK-50148] [SC-180292][SQL] Rendere StaticInvoke compatibile con il metodo che dichiara di sollevare un'eccezione
• [SPARK-50280] [SC-181214][PYTHON] Rifattorizzazione dell'ordinamento dei risultati e riempimento di blocchi vuoti in compute_hist
• [SPARK-50190] [SC-182458][PYTHON] Rimuovere la dipendenza diretta di Numpy dall'Istogramma
• [SPARK-50382] [SC-182368][CONNECT] Aggiungere documentazione per informazioni generali sullo sviluppo di applicazioni con/estensione di Spark Connect
• [SPARK-50296] [SC-181464][PYTHON][CONNECT] Evitare di usare una classproperty nel pool di thread per il client Python Connect
• [SPARK-49566] [SC-182239][SQL] Aggiungere la sintassi della pipe SQL per l'operatore EXTEND
• [SPARK-50036] [SC-179533][CORE][PYTHON] Includere SPARK_LOG_SCHEMA nel contesto della shell REPL
• [SPARK-49859] [SC-178259][CONNECT] Sostituire il multiprocessore. ThreadPool con ThreadPoolExecutor
• [SPARK-50141] [SC-182378][PYTHON] Rendere lpad e rpad in grado di accettare argomenti di tipo Colonna
• [SPARK-50379] [SC-182142][SQL] Correzione della gestione DayTimeIntevalType in WindowExecBase
• [SPARK-49954] [SC-179110][SQL] Supporto codegen per SchemaOfJson tramite Invoke & RuntimeReplaceable
• [SPARK-50398] [SC-182341][CORE] Usare exitCode 0 per --help utilizzo negli script Spark
• [SPARK-50377] [SC-182238][SQL] Consentire la valutazione di RuntimeReplaceable pieghevole
• [SPARK-50241] [SC-181444][SQL] Sostituire NullIntolerant Mixin con Expression.nullIntolerant method
• [SPARK-50084] [SC-179672][SQL] Assegnare una condizione di errore appropriata per _LEGACY_ERROR_TEMP_3168: MISSING_TIMEOUT_CONFIGURATION
• [SPARK-50078] [SC-179649][SQL] Assegnare una condizione di errore appropriata per _LEGACY_ERROR_TEMP_0038: DUPLICATED_CTE_NAMES
• [SPARK-50057] [SC-179573][SQL] Assegnare una condizione di errore appropriata per _LEGACY_ERROR_TEMP_1049: INVALID_ATTRIBUTE_NAME_SYNTAX
• [SPARK-50070] [SC-179579][SQL] Integrare _LEGACY_ERROR_TEMP_0039 in UNSUPPORTED_SQL_STATEMENT
• [SPARK-50378] [SC-182235][SS] Aggiungere una metrica personalizzata per il tracciamento del tempo impiegato per l'elaborazione dello stato iniziale in transformWithState
• [SPARK-50029] [SC-179531][SQL] Rendere StaticInvoke compatibile con il metodo che restituisce Any
• [SPARK-49990] [SC-179497][SQL] Migliorare le prestazioni di randStr
• [SPARK-50048] [SC-179528][SQL] Assegna un'adeguata condizione di errore per _LEGACY_ERROR_TEMP_2114: UNRECOGNIZED_STATISTIC
• [SPARK-50053] [SC-179532][SQL] Trasformare _LEGACY_ERROR_TEMP_2104 in INTERNAL_ERROR
• [SPARK-49665] [SC-180054][SQL] Supporto delle regole di confronto trim per le funzioni stringa
• [SPARK-48549] [SC-176472][SQL][PYTHON] Migliorare la funzione SQL sentences
• [SPARK-50022] [SC-179503][CORE][UI] Correzione MasterPage per nascondere i collegamenti dell'interfaccia utente dell'app quando l'interfaccia utente è disabilitata
• [SPARK-50087] [SC-182152] Gestione affidabile delle espressioni booleane in CASE WHEN per MsSqlServer e connettori futuri
• [SPARK-49991] [SC-179481][SQL] Fare in modo che HadoopMapReduceCommitProtocol rispetti 'mapreduce.output.basename' per la generazione di nomi di file
• [SPARK-50038] [SC-179521][SQL] Assegnare una condizione di errore appropriata per _LEGACY_ERROR_TEMP_0008: MERGE_WITHOUT_WHEN
• [SPARK-50236] [SC-181671][SQL] Assegnare una condizione di errore appropriata per _LEGACY_ERROR_TEMP_1156: COLUMN_NOT_DEFINED_IN_TABLE
• [SPARK-50021] [SC-179500][CORE][UI] Correzione ApplicationPage per nascondere i collegamenti dell'interfaccia utente dell'app quando l'interfaccia utente è disabilitata
• [SPARK-49911] [SC-179111][SQL] Correzione semantica dell'uguaglianza binaria di supporto
• [SPARK-50025] [SC-179496][SQL] Integrare _LEGACY_ERROR_TEMP_1253 in EXPECT_VIEW_NOT_TABLE
• [SPARK-49829] [SC-179480][SS] Correggere il bug sull'ottimizzazione per l'aggiunta dell'input all'archivio di stato nel join di flusso di flusso
• [SPARK-50004] [SC-179499][SQL] Integrare _LEGACY_ERROR_TEMP_3327 in FIELD_NOT_FOUND
• [SPARK-50380] [SC-182210][SQL] ReorderAssociativeOperator deve rispettare il contratto in ConstantFolding
• [SPARK-50340] [SC-181859][SQL] Unwrap UDT nella query di input INSERT
• [SPARK-50237] [SC-181660][SQL] Assegnare una condizione di errore appropriata per _LEGACY_ERROR_TEMP_2138-9: CIRCULAR_CLASS_REFERENCE
• [SPARK-50258] [SC-181993][SQL] Correzione del problema di modifica dell'ordine delle colonne di output dopo l'ottimizzazione di AQE
• [SPARK-49773] [SC-178369][SQL] Eccezione Java non rilevata da make_timestamp() con fuso orario non valido
• [SPARK-49977] [SC-179265][SQL] Usare il calcolo iterativo basato su stack per evitare di creare molti oggetti List di Scala per alberi di espressioni complesse
• [SPARK-50153] [SC-181591][SQL] Aggiungere name a RuleExecutor per rendere più chiara la stampa dei log di QueryExecutionMetrics
• [SPARK-50320] [SC-181668][CORE] Rendere --remote un'opzione ufficiale rimuovendo l'avviso experimental
• [SPARK-49909] [SC-179492]Ripristinare "[SQL] Correggere il nome corretto di alcune espressioni"
• [SPARK-50330] [SC-180720][SC-181764][SQL] Aggiungere gli hint ai nodi di ordinamento e di finestra
• [SPARK-50364] [SC-182003][SQL] Implementare la serializzazione per il tipo LocalDateTime in Row.jsonValue
• [SPARK-50016] [SC-182139][SQL] Assegnare un'adeguata condizione di errore per _LEGACY_ERROR_TEMP_2067: UNSUPPORTED_PARTITION_TRANSFORM
• [SPARK-49899] [SC-181175][PYTHON][SS] Support deleteIfExists for TransformWithStateInPandas
• [SPARK-49757] [SC-177824][SQL] Supportare l'espressione IDENTIFIER nell'istruzione SET CATALOG
• [SPARK-50315] [SC-181886][SQL] Supportare metriche personalizzate per le scritture V1Fallback
• [SPARK-42838] [SC-181509][SQL] Assegnare un nome alla classe di errore _LEGACY_ERROR_TEMP_2000
• Ristrutturare ResolveSQLOnFile nel contesto del progetto [SPARK-50353] [SC-181985][SQL]
• [SPARK-48344] [SC-181967][SQL] Preparare lo script SQL per l'aggiunta di Execution Framework
• [SPARK-49345] [SC-174786][CONNECT] Assicurarsi di usare la sessione Spark corrente in esecuzione
• [SPARK-49925] [SC-178882][SQL] Aggiungere test per l'ordine con stringhe collate
• [SPARK-50167] [SC-181199][PYTHON][CONNECT] Migliorare i messaggi di errore e le importazioni per la creazione di grafici in PySpark
• [SPARK-49368] [SC-174999][CONNECT] Evitare di accedere direttamente alle classi protobuf lite
• [SPARK-50056] [SC-181378][SQL] Supporto codegen per ParseUrl (by Invoke & RuntimeReplaceable)
• [SPARK-49601] [SC-180770][SS][PYTHON] Supportare la gestione dello stato iniziale per TransformWithStateInPandas
• [SPARK-49908] [SC-178768][SQL] Assegna una corretta condizione di errore per _LEGACY_ERROR_TEMP_0044
• [SPARK-50144] [SC-180307][SS] Risolvere la limitazione del calcolo delle metriche con le origini di streaming DSv1
• [SPARK-49874] [SC-178303][SQL] Rimuovere gli identificatori di regole di confronto trim e ltrim.
• [SPARK-49513] [SC-180339][SS] Aggiungere il supporto per il timer nell'API transformWithStateInPandas
• [SPARK-49119] [SC-175607][SQL] Correggere l'incoerenza della sintassi show columns tra v1 e v2
• [SPARK-49206] [SC-173704][CORE][UI] Aggiungere Environment Variables tabella al Master EnvironmentPage
• [SPARK-49934] [SC-179581][SQL] Aggiungere cast implicito per l'accesso alla mappa collata con valore letterale
• [SPARK-50049] [SC-181659][SQL] Supportare le metriche dei driver personalizzate nella scrittura nella tabella v2
• [SPARK-50171] [SC-180295][PYTHON] Rendere numpy facoltativo per il tracciato KDE
• [SPARK-49962] [SC-179320][SQL] Semplificare la gerarchia di classi AbstractStringTypes
• [SPARK-50226] [SC-181483][SQL] Correggere MakeDTInterval e MakeYMInterval per rilevare le eccezioni Java
• [SPARK-48775] [SC-170801][SQL][STS] Sostituire SQLContext con SparkSession in STS
• [SPARK-49015] [SC-175688][CORE] Connect Server deve rispettare spark.log.structuredLogging.enabled
• [SPARK-50327] [SC-181667][SQL][16.x] Risoluzione del fattore out da riutilizzare nell'analizzatore a pass singolo
• [SPARK-49995] [SC-180762][SQL] Aggiungere il supporto degli argomenti denominati a più file TVFS
• [SPARK-49268] [SC-174903][CORE] Registrare le eccezioni di I/O nel fornitore di cronologia SHS
• [SPARK-48123] [SC-164989][Core] Fornire uno schema di tabella costante per l'esecuzione di query su log strutturati
• [SPARK-49217] [SC-174904][CORE] Supportare la configurazione delle dimensioni separate del buffer in UnsafeShuffleWriter
• [SPARK-50325] [SC-181664][SQL][16.x] Estrarre la risoluzione degli alias da riutilizzare nell'analizzatore a pass singolo
• [SPARK-50322] [SC-181665][SQL] Correzione dell'identificatore con parametri in una sottoquery
• [SPARK-48400] [SC-175283][CORE] Alzare di livello PrometheusServlet a DeveloperApi
• [SPARK-50118] Annullare “[SC-181259][CONNET] Reimpostare la cache dello stato isolato quando le attività sono in esecuzione”
• [SPARK-50306] [SC-181564][PYTHON][CONNECT] Supportare Python 3.13 in Spark Connect
• [SPARK-50152] [SC-181264][SS] Supportare handleInitialState con lettore di origine dati di stato
• [SPARK-50260] [SC-181271][CONNECT] Effettuare il refactoring e ottimizzare Spark C...
• [SPARK-47591] [SC-163090][SQL] Hive-thriftserver: Eseguire la migrazione di logInfo con variabili al framework di registrazione strutturata
• [SPARK-49312] [SC-174672][PYTHON] Migliorare il messaggio di errore per assertSchemaEqual
• [SPARK-49439] [SC-175236][SQL] Correggere il nome dell'espressione FromProtobuf & ToProtobuf
• [SPARK-50092] [ES-1258521] Correzione del comportamento del connettore PostgreSQL per matrici multidimensionali
• [SPARK-49913] [SC-181565][SQL] Aggiungere il controllo della presenza di nomi di etichetta univoci negli ambiti etichettati annidati
• [SPARK-49563] [SC-181465][SQL] Aggiungere la sintassi della pipe SQL per l'operatore WINDOW
• [SPARK-49661] [SC-179021][SQL] Implementare il trimming, l'hashing e la comparazione delle collazioni.
• [SPARK-38912] [SC-181543][PYTHON] Rimuovere il commento correlato a classmethod e proprietà
• [SPARK-49770] [16.x][SC-179802][SC-179270][SS][RocksDB Hardening] Miglioramento della gestione del mapping dei file SST di RocksDB e correzione del problema relativo al ricaricamento della stessa versione con snapshot esistente
• [SPARK-49002] Ripristina "[SC-172846][SQL] Gestire in modo coerente percorsi non validi in WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
• [SPARK-50290] [SC-181453][SQL] Aggiungere un flag per disabilitare la creazione di DataFrameQueryContext
• [SPARK-49668] [SC-178268][SQL] Implementare il supporto della chiave di collazione per l'operazione di trim
• [SPARK-50262] [SC-181193][SQL] Proibire i tipi complessi delle specifiche durante la modifica delle regole di confronto
• [SPARK-48898] [SC-181435][SQL] Aggiungere le funzioni di scomposizione Variant
• [SPARK-48273] [SC-181381]Ripristina "[SQL] Correzione della riscrittura tardiva di PlanWithUnresolvedIdentifier
• [SPARK-50222] [SC-180706][CORE] Supporto spark.submit.appName
• [SPARK-50208] [SC-180662][CORE] Supporto spark.master.useDriverIdAsAppName.enabled
• [SPARK-50224] [SC-180689][SQL] Le sostituzioni di IsValidUTF8|ValidateUTF8|TryValidateUTF8|MakeValidUTF8 devono essere NullIntolerant
• [SPARK-50247] [SC-180962][CORE] Definire BLOCK_MANAGER_REREGISTRATION_FAILED come ExecutorExitCode
• [SPARK-50282] [SC-181221][ML] Semplificare TargetEncoderModel.transform
• [SPARK-50112] [SC-180763][SQL] Consentire all'operatore TransformWithState di usare la codifica Avro
• [SPARK-50267] [SC-181180][ML] Migliorare TargetEncoder.fit con le API del DataFrame
• [SPARK-37178] [SC-180939][ML] Aggiungere la codifica di destinazione a ml.feature
• [SPARK-50118] [SC-181259][CONNET] Reimpostare la cache dello stato isolato quando le attività sono in esecuzione
• [SPARK-50085] [BEHAVE-176][SC-179809][PYTHON] Rendere lit(ndarray) con np.int8 conforme al tipo di dati numpy
• [SPARK-50256] [SC-181048][SQL] Aggiungere una convalida leggera per verificare se un piano logico diventa non risolto dopo ogni regola di ottimizzazione.
• [SPARK-50196] [SC-180932][CONNECT] Correggere il contesto di errore di Python per utilizzare un contesto adeguato
• [SPARK-50274] [SC-181181][CORE] Proteggersi dall'uso dopo la chiusura in DirectByteBufferOutputStream
• [SPARK-49999] [SC-180063][PYTHON][CONNECT] Supportare il parametro facoltativo "column" nei grafici box, kde e hist
• [SPARK-50273] [SC-181178][SS] Migliorare la registrazione per i casi di acquisizione/rilascio del blocco di RocksDB
• [SPARK-50033] [SC-180720][SC-180659][SQL] Aggiungere un hint al nodo logico Aggregate()
• [SPARK-50163] [16.x][SC-180201][SC-180664][SS] Correzione del rilascio aggiuntivo di acquireLock in RocksDB a causa del listener di completamento
• [SPARK-50253] [SC-180969][SS] Stream-Stream Join non deve recuperare l'ID del checkpoint se non è supportato.
• [SPARK-50255] [SC-180964][PYTHON] Evitare il cast non necessario in compute_hist
• [SPARK-50228] [SC-180780][SQL] Spostare la regola di RewriteCollationJoin in FinishAnalysis
• [SPARK-50001] [SC-179524][PYTHON][PS][CONNECT] Regolare la "precisione" per far parte dei kwargs per i grafici a scatola
• [SPARK-49637] [SC-180160][SQL] Messaggio di errore modificato per FRAZIONE_DI_SECONDO_NON_VALIDA
• [SPARK-49530] [SC-180658][PYTHON] Ottenere una sessione attiva dai dataframe
• [SPARK-50195] [SC-180654][CORE] Correzione StandaloneRestServer per propagare correttamente spark.app.name a SparkSubmit
• [SPARK-50229] [SC-180773] Ridurre l'utilizzo della memoria sul driver per le ampie strutture riducendo la durata degli oggetti AttributeReference creati durante la pianificazione logica
• [SPARK-50231] [SC-180815][PYTHON] Make function instr accept Column substring
• [SPARK-49854] [SC-179812][16.x][SQL] Clonare il gestore degli artefatti durante la clonazione della sessione
• [SPARK-50028] [SC-180699][CONNECT] Sostituire i blocchi globali nel listener del server Spark Connect con blocchi con granularità fine
• [SPARK-49615] [SC-180672] [ML] Rendere la convalida dello schema del dataset dei trasformatori di caratteristiche ML conforme alla configurazione "spark.sql.caseSensitive".
• [SPARK-50219] [SC-180694][SQL] Rifattorizzazione ApplyCharTypePadding in modo che i metodi helper possano essere usati nel resolver a passaggio singolo
• [SPARK-50077] [SC-179827][SQL] Introdurre un nuovo oggetto pattern per LogicalRelation per evitare il modello di parametri completi predefinito
• [SPARK-50128] [Backport][16x][SC-180677][SS] Aggiungere API di gestione del processore con stato usando codificatori impliciti in Scala
• [SPARK-50061] [SC-179961][SQL] Abilitare la tabella di analisi per le colonne collate
• [SPARK-49993] [SC-180084][SQL] Migliorare i messaggi di errore per Somma e Media
• [SPARK-49638] [SC-179665][SQL] Rimuovere il suggerimento di configurazione ANSI in INVALID_URL
• [SPARK-50204] [SC-180660][SQL] Isolare la risoluzione del percorso di lettura HiveTableRelation
• [SPARK-50193] [SC-180651][SS] Correzione della gestione delle eccezioni per la convalida delle modalità temporali
• [SPARK-50179] [SC-180342][CORE] Rendere spark.app.name proprietà facoltativa nell'API REST
• [SPARK-50068] [SC-180300][SQL] Refactoring TypeCoercion e AnsiTypeCoercion per separare le trasformazioni a nodo singolo
• [SPARK-49411] [SC-179483][SS] Comunicare l'ID del checkpoint dell'archivio stati tra il driver e gli operatori con stato
• [SPARK-50124] [SC-180294][SQL] LIMIT/OFFSET deve mantenere l'ordinamento dei dati
• [SPARK-49506] [SC-180165][SQL] Ottimizza ArrayBinarySearch per array ripiegabile
• [SPARK-50097] [SC-179908][SQL] Assegnare una condizione di errore appropriata per _LEGACY_ERROR_TEMP_1248: ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE
• [SPARK-50071] [SC-180159][SQL][PYTHON] Aggiungere try_make_timestamp(_ltz e _ntz) e i test correlati
• [SPARK-50024] Ripristinare "[SC-179515][PYTHON][CONNECT] Passare all'uso del logger anziché del modulo avvisi nel client"
• [SPARK-50054] [SC-180228][PYTHON][CONNECT] Supporta i tracciati degli istogrammi
• [SPARK-50015] [SC-179964][SQL] Assegna la condizione di errore appropriata per _LEGACY_ERROR_TEMP_1125: MISSING_DATABASE_FOR_V1_SESSION_CATALOG
• [SPARK-50155] [SC-180240][3.5] Spostare i file scala e Java nelle cartelle predefinite
• [SPARK-49980] [SC-180353][CORE][SQL] Correggere potenziali perdite di flussi di file causate da interruzioni nelle attività annullate
• [SPARK-49010] [SC-172304][SQL][XML] Aggiungere test unità per la sensibilità al caso nello schema di inferenza XML
• [SPARK-50024] [SC-179515][PYTHON][CONNECT] Passare all'uso del logger anziché del modulo avvisi nel client
• [SPARK-49562] [SC-180211][SQL] Aggiungere la sintassi della pipe SQL per l'aggregazione
• [SPARK-49663] [SC-180239][SQL] Abilitare i suggerimenti RTRIM nelle espressioni di confronto
• [SPARK-48965] [SC-175926][SQL] Usare lo schema corretto in Dataset#toJSON
• [SPARK-48493] [SC-175893][PYTHON] Migliorare il lettore di origini dati Python con supporto diretto di Arrow Batch per migliorare le prestazioni
• [SPARK-49734] [SC-180226][PYTHON] Aggiungi seed argomento per la funzione shuffle
• [SPARK-50174] [16.x][SC-180253][SQL] Fattorizzare la risoluzione di UnresolvedCatalogRelation
• [SPARK-49989] [SC-179512][PYTHON][CONNECT] Supporto dei grafici KDE/densità
• [SPARK-49805] [SC-180218][SQL][ML] Rimuovere le funzioni private[xxx] da function.scala
• [SPARK-49808] [SC-179490][SQL] Correzione di un deadlock nell'esecuzione di sottoquery a causa di val lazy
• [SPARK-49929] [SC-180144][PYTHON][CONNECT] Box plot di supporto
• [SPARK-50008] [SC-179290][PS][CONNECT] Evitare operazioni non necessarie in attach_distributed_sequence_column
• [SPARK-49767] [SC-180161][PS][CONNECT] Rifattorizzare la chiamata alla funzione interna
• [SPARK-49683] [SC-178341][SQL] Regole di confronto di taglio del blocco
• [SPARK-49939] [SC-178941][SQL] Supporto codegen per json_object_keys (di Invoke & RuntimeReplaceable)
• [SPARK-50031] [SC-179582][SQL] Aggiungere l'espressione TryParseUrl
• [SPARK-49766] [SC-178933][SQL] Supporto codegen per json_array_length (di Invoke & RuntimeReplaceable)
• [SPARK-50046] [SC-180026][SS] Usare l'ordine stabile del nodo EventTimeWatermark per calcolare la marca d'acqua
• [SPARK-49540] [SC-180145][PS] Unificare l'utilizzo di distributed_sequence_id
• [SPARK-50060] [SC-179965][SQL] Disabilitata la conversione tra tipi con collazioni diverse in TypeCoercion e AnsiTypeCoercion
• [SPARK-49004] [SC-173244][CONNECT] Usare un registro separato per le funzioni interne dell'API delle colonne
• [SPARK-49811] [SC-177888][SQL]Rename StringTypeAnyCollation
• [SPARK-49202] [SC-180059][PS] Applicare ArrayBinarySearch per l'istogramma
• [SPARK-49203] [SC-175734][SQL] Aggiungere un'espressione per java.util.Arrays.binarySearch
• [SPARK-50034] [SC-179816][CORE] Correzione della Segnalazione Errata degli Errori Fatali come Eccezioni Non Catturate in SparkUncaughtExceptionHandler
• [SPARK-50093] [SC-179836][SQL] Le regole di confronto che usano ICU devono avere la versione della libreria ICU utilizzata
• [SPARK-49985] [SC-179644][SQL] Rimuovere il supporto per i tipi di intervallo in Variant
• [SPARK-49103] [SC-173066][CORE] Supporto spark.master.rest.filters
• [SPARK-50090] [SC-179819] Refactoring ResolveBinaryArithmetic per separare la trasformazione a nodo singolo
• [SPARK-49902] [SC-179650][SQL] Rilevare gli errori di runtime sottostanti in RegExpReplace
• [SPARK-49126] [SC-173342][CORE] Spostare la definizione di configurazione di spark.history.ui.maxApplications in History.scala
• [SPARK-50094] [SC-179820][PYTHON][CONNECT] Messaggio di errore migliore quando si usa il profilatore di memoria in editor senza numeri di riga
• [SPARK-50062] [SC-179835][SQL] Supporto delle collazioni da parte di InSet
• [SPARK-50035] [Backport][16x][SC-179530][SS] Aggiungere il supporto per la funzione handleExpiredTimer esplicita del processore con stato
• [SPARK-49982] [SC-179814][SQL] Correzione del caching negativo in InMemoryRelation
• [SPARK-49082] [SC-173350][SQL] Innalzamento di livello dei tipi in AvroDeserializer
• [SPARK-50088] [SC-179680][SQL] Rifattorizzazione UnresolvedStarBase.expand
• [SPARK-49802] [SC-179482][SS] Aggiungere il supporto per la lettura del feed delle modifiche per i tipi di mappa e lista usati nei processori con stato
• [SPARK-49846] [SC-179506][SS] Aggiungere le metriche numUpdatedStateRows e numRemovedStateRows da usare con l'operatore transformWithState
• [SPARK-50050] [SC-179643][PYTHON][CONNECT][16.X] Fai accettare a lit ndarray di tipo str e bool di numpy
• [SPARK-49821] [SC-179527][SS][PYTHON] Implementare il supporto mapState e TTL per TransformWithStateInPandas
• [SPARK-49558] [SC-179485][SQL] Aggiungere sintassi della pipe SQL per LIMIT/OFFSET e ORDER/SORT/CLUSTER/DISTRIBUTE BY
• [SPARK-48144] [SC-165725][LC-4080][SQL] Correggere canPlanAsBroadcastHashJoin per rispettare gli hint di shuffle join
• [SPARK-50051] [SC-179571][PYTHON][CONNECT] Fare in modo che lit funzioni con un numpy ndarray vuoto
• [SPARK-50018] [SC-179488][SQL] Rendere serializzabile AbstractStringType
• [SPARK-50016] [SC-179491][SQL] Migliorare l'errore di mancata corrispondenza delle collazioni esplicite
• [SPARK-50010] [SC-179487][SQL] Espandere l'errore di mancata corrispondenza delle regole di confronto implicite
• [SPARK-48749] [SC-170116][SQL] Semplificare _UnaryPositive_ ed eliminare le _Catalyst Rules_ con _RuntimeReplaceable_
• [SPARK-49857] [SC-178576][SQL] Aggiungere storageLevel all'API LocalCheckpoint del set di dati
• [SPARK-50058] [SC-179538][SQL] Estrarre le funzioni di normalizzazione del piano per usarle successivamente nei test dell'analizzatore a singolo passaggio
• [SPARK-50052] [SC-179535][PYTHON][16.X] Fare in modo che NumpyArrayConverter supporti array vuoti di stringhe numpy.
• [SPARK-47261] [SC-173665][SQL] Assegnare un nome migliore per gli errori _LEGACY_ERROR_TEMP_1172, _LEGACY_ERROR_TEMP_1173 e _LEGACY_ERROR_TEMP_1174
• [SPARK-49147] [SC-173471][CORE] Contrassegnare KryoRegistrator con l'interfaccia DeveloperApi
• [SPARK-48949] [SC-173070][SQL] SPJ: Filtro delle partizioni di runtime
• [SPARK-50044] [SC-179523][PYTHON] Perfezionare la stringa di documentazione di più funzioni matematiche
• [SPARK-48757] [SC-170113][CORE] Make IndexShuffleBlockResolver hanno costruttori espliciti
• [SPARK-50037] [SQL] Refactor AttributeSeq.resolve(...)
• [SPARK-48782] [SC-177056][SQL] Aggiungere il supporto per l'esecuzione di procedure nei cataloghi
• [SPARK-49057] [SC-173081][SQL] Non bloccare il ciclo AQE quando si inviano le fasi della query
• [SPARK-48824] [SC-176772][BEHAVE-167][SQL] Aggiungere la sintassi SQL della colonna Identity
• [SPARK-48773] [SC-170773] Documentazione della configurazione "spark.default.parallelism" tramite il framework del generatore di configurazione
• [SPARK-48735] [SC-169810][SQL] Miglioramento delle prestazioni per la funzione BIN
• [SPARK-48900] [SC-172433] Aggiungere il campo reason per tutte le chiamate interne per l'annullamento di lavori/fasi
• [SPARK-48488] [SC-167605][CORE] Correzione dei metodi log[info|warning|error] in SparkSubmit
• [SPARK-48708] [SC-169809][CORE] Rimuovere tre registrazioni di tipi non necessarie da KryoSerializer
• [SPARK-49958] [SC-179312][PYTHON] API Python per le funzioni di convalida delle stringhe
• [SPARK-49979] [SC-179264][SQL] Correzione del problema di blocco di AQE quando si raccoglie due volte su un piano non riuscito
• [SPARK-48729] [SC-169795][SQL] Aggiungere un'interfaccia UserDefinedFunction per rappresentare una funzione SQL
• [SPARK-49997] [SC-179279][SQL] Integrare _LEGACY_ERROR_TEMP_2165 in MALFORMED_RECORD_IN_PARSING
• [SPARK-49259] [SC-179271][SS]Creazione della partizione basata sulle dimensioni durante la lettura di Kafka
• [SPARK-48129] [SC-165006][PYTHON] Fornire uno schema di tabella costante in PySpark per l'esecuzione di query sui log strutturati
• [SPARK-49951] [SC-179259][SQL] Assegnare una condizione di errore corretta per LEGACY_ERROR_TEMP(1099|3085)
• [SPARK-49971] [SC-179278][SQL] Assegnare una condizione di errore corretta per _LEGACY_ERROR_TEMP_1097
• [SPARK-49998] [SC-179277][SQL] Integrare _LEGACY_ERROR_TEMP_1252 in EXPECT_TABLE_NOT_VIEW
• [SPARK-49876] [SC-179262][CONNECT] Eliminare i blocchi globali dal servizio Spark Connect
• [SPARK-49957] [SC-179202][SQL] API Scala per le funzioni di convalida delle stringhe
• [SPARK-48480] [SC-173055][SS][CONNECT] StreamingQueryListener non deve essere influenzato da spark.interrupt()
• [SPARK-49643] [SC-179239][SQL] Unire _LEGACY_ERROR_TEMP_2042 in ARITHMETIC_OVERFLOW
• [SPARK-49959] [SC-179109][SQL] Correggere ColumnarArray.copy() per leggere i valori nulli dall'offset corretto
• [SPARK-49956] Ripristina “[SC-179070] Regole di confronto disabilitate con l'espressione collect_set”
• [SPARK-49987] [SC-179180][SQL] Correggere il messaggio di errore quando seedExpression non è piegabile in randstr
• [SPARK-49948] [SC-179158][PS][CONNECT] Aggiungere il parametro "precisione" per i grafici a scatola di pandas su Spark
• [SPARK-49970] [SC-179167][SQL] Assegnare una condizione di errore corretta per _LEGACY_ERROR_TEMP_2069
• [SPARK-49916] [SC-179108][SQL] Generare un'eccezione appropriata per la discrepanza tra ColumnType e il tipo di dati in alcune righe
• [SPARK-49956] [SC-179070] Collationi disabilitate con espressione collect_set
• [SPARK-49974] [16.x][SC-179071][SQL] Move resolveRelations(...) all'esterno di Analyzer.scala
• [SPARK-47259] [SC-176437][SQL] Assegnare nomi alle condizioni di errore per gli errori di intervallo
• [SPARK-47430] [SC-173679][SQL] Rielaborare il raggruppamento per tipo di mappa per correggere l'eccezione di riferimento di associazione
• [SPARK-49067] [SC-172616][SQL] Spostare un valore letterale utf-8 in metodi interni della classe UrlCodec
• [SPARK-49955] [SC-178989][SQL] il valore Null non significa file danneggiato durante l'analisi della stringa JSON RDD
• [SPARK-49393] [SC-175212][SQL] Fallisce per impostazione predefinita nelle API dei plug-in di catalogo deprecati
• [SPARK-49952] [SC-178985][SQL] Assegnare una condizione di errore corretta per _LEGACY_ERROR_TEMP_1142
• [SPARK-49405] [SC-175224][SQL] Limitare i set di caratteri in JsonOptions
• [SPARK-49892] [SC-178975][SQL] Assegnare una classe di errore appropriata per _LEGACY_ERROR_TEMP_1136
• [SPARK-49904] [SC-178973][SQL] Assegnare una condizione di errore corretta per _LEGACY_ERROR_TEMP_2140
• [SPARK-47257] [SC-174244][SQL] Assegnare nomi alle classi di errore _LEGACY_ERROR_TEMP_105[3-4] e _LEGACY_ERROR_TEMP_1331
• [SPARK-49915] [SC-178869][SQL] Gestire gli zeri e gli uni in ReorderAssociativeOperator
• [SPARK-49891] [SC-178970][SQL] Assegnazione di una condizione di errore corretta per _LEGACY_ERROR_TEMP_2271
• [SPARK-49829] [ES-1254513] Rivedere l'ottimizzazione sull'aggiunta di input all'archivio di stato nel join di flussi (correzione della correttezza)
• [SPARK-49918] [SC-178748][CORE] Usare l'accesso in sola lettura alla configurazione in SparkContext dove appropriato
• [SPARK-49666] [SC-177891][SQL] Aggiungere un flag per la funzionalità di trim collation.
• [SPARK-48885] [SC-171050][SQL] Rendere alcune sottoclassi di RuntimeReplaceable sovrascrivere replacement come lazy val
• [SPARK-49932] [SC-178931][CORE] Usare tryWithResource rilasciare JsonUtils#toJsonString risorse per evitare perdite di memoria
• [SPARK-49949] [SC-178978][PS] Evitare attività di analisi non necessarie in attach_sequence_column
• [SPARK-49924] [SC-178935][SQL] Mantenere containsNull dopo la sostituzione di ArrayCompact
• [SPARK-49905] [ES-1265435] Usare ShuffleOrigin dedicato per l'operatore stateful per impedire la modifica dello shuffle da AQE
• [SPARK-49615] [SC-178877] Correzione bug: Rendere la convalida dello schema delle colonne ML conforme alla configurazione di Spark spark.sql.caseSensitive.
• [SPARK-49121] [SC-174787][SQL] Supporto from_protobuf e to_protobuf per le funzioni SQL
• [SPARK-47496] [SC-160529][SQL] Supporto JAVA SPI per la registrazione dinamica del dialetto JDBC
• [SPARK-49359] [SC-174895][SQL] Consenti alle implementazioni di StagedTableCatalog di eseguire il fallback alla scrittura non atomica
• [SPARK-49895] [SC-178543][SQL][ES-1270338] Miglioramento dell'errore quando si verifica una virgola finale nella clausola SELECT
• [SPARK-47945] [SC-163457][SQL] MsSQLServer: Documentare la mappatura dei tipi di dati di Spark SQL da Microsoft SQL Server e aggiungere dei test
• [SPARK-46037] [SC-175495][SQL] Correzione della correttezza per la costruzione di Shuffled Hash Join lasciata senza codegen
• [SPARK-47813] [SC-162615][SQL] Sostituire getArrayDimension con updateExtraColumnMeta
• [SPARK-49542] [SC-178765][SQL] Errore di valutazione dell'eccezione di trasformazione della partizione
• [SPARK-47172] [SC-169537][CORE] Aggiungere il supporto per AES-GCM per la crittografia RPC
• [SPARK-47666] [SC-161476][SQL] Correggere l'NPE durante la lettura di una matrice di bit MySQL come LongType
• [SPARK-48947] [SC-174239][SQL] Usare il nome del set di caratteri in minuscolo per ridurre la cache mancante in Charset.forName
• [SPARK-49909] [SC-178552][SQL] Correggere il bel nome di alcune espressioni
• [SPARK-47647] [SC-161377][SQL] Configurare l'origine dati MySQL per leggere bit(n>1) come BinaryType, analogamente a Postgres
• [SPARK-46622] [SC-153004][CORE] Sovrascrivere il metodo toString per o.a.s.network.shuffledb.StoreVersion
• [SPARK-48961] [SC-171910][PYTHON] Rendere coerente la denominazione dei parametri di PySparkException con JVM
• [SPARK-49889] [SC-178474][PYTHON] Aggiungere l'argomento trim alle funzionitrim/ltrim/rtrim
• [SPARK-49863] [ES-1184693][SC-178546][SQL] Correggere NormalizeFloatingNumbers per preservare la nullabilità degli struct annidati
• [SPARK-47537] [SC-160747][SQL] Correzione del mapping dei tipi di dati che causano errori nel connettore MySQL/J
• [SPARK-47628] [SC-161257][SQL] Correzione del problema relativo alla matrice di bit Postgres 'Impossibile convertire in booleano'
• [SPARK-49843] [SC-178084][ES-1268164][SQL] Correzione della modifica dei commenti nelle colonne char/varchar
• [SPARK-49549] [SC-178764][SQL] Assegnare un nome alle condizioni di errore _LEGACY_ERROR_TEMP_3055, 3146
• [SPARK-49782] [SC-178756][SQL] Le regole ResolveDataFrameDropColumns risolvono UnresolvedAttribute con l'output figlio
• [SPARK-49791] [SC-177730][SQL] Rendi DelegatingCatalogExtension più estendibile
• [SPARK-49559] [SC-178551][SQL] Aggiungere la sintassi della pipe SQL per le operazioni sui set
• [SPARK-49906] [SC-178536][SQL] Introdurre e usare l'errore "CONFLICTING_DIRECTORY_STRUCTURES" per PartitioningUtils
• [SPARK-49877] [SC-178392][SQL] Modificare la firma della funzione classifyException: add isRuntime argument
• [SPARK-47501] [SC-160532][SQL] Aggiungere convertDateToDate per JdbcDialect, come il convertTimestampToTimestamp esistente.
• [SPARK-49044] [SC-175746][SQL] ValidateExternalType deve restituire figlio in errore
• [SPARK-47462] [SC-160460][SQL] Allineare i mapping di altri tipi numerici non firmati con TINYINT in MySQLDialect
• [SPARK-47435] [SC-160129][SQL] Correzione del problema di overflow di MySQL UNSIGNED TINYINT causato da SPARK-45561
• [SPARK-49398] [SC-176377][SQL] Migliorare l'errore per i parametri nella query di CACHE TABLE e CREATE VIEW
• [SPARK-47263] [SC-177012][SQL] Assegnare nomi alle condizioni legacy _LEGACY_ERROR_TEMP_13[44-46]
• [SPARK-49605] [SC-176605][SQL] Correggere il prompt quando ascendingOrder è DataTypeMismatch in SortArray
• [SPARK-49806] [SC-178304][SQL][CONNECT] Rimuovere i blank space superflui dopo show nei client Scala e Connect
• [SPARK-47258] [SC-175032][SQL] Assegnare nomi alle classi di errore _LEGACY_ERROR_TEMP_127[0-5]
• [SPARK-49564] [SC-178461][SQL] Aggiungere la sintassi della pipe SQL per l'operatore JOIN
• [SPARK-49836] [SC-178339][SQL][SS] Correzione di una query probabilmente interrotta quando la finestra viene fornita alla finestra/session_window fn
• [SPARK-47390] [SC-163306][SC-159312][SPARK-47396][SC-159376][SPARK-47406] Gestire il mapping dei timestamp SQL per Postgres e MySQL
• [SPARK-49776] [SC-177818][PYTHON][CONNECT] Supporta i tracciati a torta
• [SPARK-49824] [SC-178251][SS][CONNECT] Migliorare la registrazione in SparkConnectStreamingQueryCache
• [SPARK-49894] [SC-178460][PYTHON][CONNECT] Perfezionare la rappresentazione di stringa delle operazioni sui campi di colonna
• [SPARK-49764] [SC-177491][PYTHON][CONNECT] Tracciati dell'area di supporto
• [SPARK-49694] [SC-177376][PYTHON][CONNECT] Supporta i tracciati a dispersione
• [SPARK-49744] [SC-178363][SS][PYTHON] Implementare il supporto TTL per ListState in TransformWithStateInPandas
• [SPARK-49879] [SC-178334][CORE] Spostare TransportCipherUtil in un file separato per eliminare gli avvisi di compilazione Java
• [SPARK-49866] [SC-178353][SQL] Migliorare il messaggio di errore per descrivere la tabella con colonne di partizione
• [SPARK-49867] [SC-178302][ES-1260570][SQL] Migliorare il messaggio di errore quando si chiama GetColumnByOrdinal e l'indice è fuori dai limiti
• [SPARK-49607] [SC-177373][PYTHON] Aggiornare l'approccio di campionamento per i tracciati basati su campioni
• [SPARK-49626] [SC-177276][PYTHON][CONNECT] Supportare grafici a barre orizzontali e verticali
• [SPARK-49531] [SC-177770][PYTHON][CONNECT] Supporto del grafico a linee con backend Plotly
• [SPARK-49444] [SC-177692][ES-1203248][SQL] Modificato UnivocityParser per lanciare eccezioni di runtime causate da ArrayIndexOutOfBounds con messaggi più comprensibili per l'utente
• [SPARK-49870] [SC-178262][PYTHON] Aggiungere il supporto di Python 3.13 in Spark Classic
• [SPARK-49560] [SC-178121][SQL] Aggiungere la sintassi della pipe SQL per l'operatore TABLESAMPLE
• [SPARK-49864] [SC-178305][SQL] Migliorare il messaggio di BINARY_ARITHMETIC_OVERFLOW
• [SPARK-48780] [SC-170274][SQL] Rendere gli errori in NamedParametersSupport generici per gestire funzioni e procedure
• [SPARK-49358] [SC-178158][SQL] Espressione in modalità per i tipi di mapping con stringhe collate
• [SPARK-47341] [SC-178157][SQL] Correzione di documentazione imprecisa di RuntimeConfig#get
• [SPARK-48357] [SC-178153][SQL] Supporto per l'istruzione LOOP
• [SPARK-49845] [SC-178059][CORE] Rendere appArgs e environmentVariables opzionali nell'API REST
• [SPARK-49246] [SC-174679][SQL] TableCatalog#loadTable deve indicare se è per la scrittura
• [SPARK-48048] [SC-177525][SC-164846][CONNECT][SS] Aggiunta del supporto del listener lato client per Scala
• [SPARK-48700] [SC-177978][SQL] Espressione modalità per tipi complessi (tutte le collazioni)
• [SPARK-48196] [SC-177899][SQL] Converti i piani lazy val di QueryExecution in LazyTry
• [SPARK-49749] [16.x][SC-177877][CORE] Modificare il livello del log per eseguire il debug in BlockManagerInfo
• [SPARK-49561] [SC-177897][SQL] Aggiungere la sintassi della pipe SQL per gli operatori PIVOT e UNPIVOT
• [SPARK-49823] [SC-177885][SS] Evitare il flusso dei dati durante l'arresto nel percorso di chiusura di rocksdb
• [SPARK-49820] [SC-177855] [PYTHON] Modificare raise IOError in raise OSError
• [SPARK-49653] [SC-177266][SQL] Join singolo per sottoquery scalari correlate
• [SPARK-49552] [SC-177477][PYTHON] Aggiungere il supporto dell'API DataFrame per le nuove funzioni SQL 'randstr' e 'uniform'
• [SPARK-48303] [16.x][SC-166251][CORE] Riorganizzare LogKeys
• [SPARK-49656] [16x][Backport][SS] Aggiungere il supporto per le variabili di stato con tipi di raccolta di stato valore e leggere le opzioni del feed di modifiche
• [SPARK-48112] [SC-165129][CONNECT] Rendere accessibile la sessione in SparkConnectPlanner ai plug-in
• [SPARK-48126] [16.x][SC-165309][Core] Rendi effettivo spark.log.structuredLogging.enabled
• [SPARK-49505] [SC-176873][SQL] Creare nuove funzioni SQL "randstr" e "uniform" per generare stringhe o numeri casuali all'interno di intervalli
• [SPARK-49463] [SC-177474] Supporto a ListState per TransformWithStateInPandas
• [SPARK-48131] [SC-165007][Core] Unificare la chiave MDC mdc.taskName e task_name
• [SPARK-49557] [SC-177227][SQL] Aggiungere la sintassi della pipe SQL per l'operatore WHERE
• [SPARK-49323] [16.x][SC-174689][CONNECT] Spostare MockObserver dalla cartella di test del server Spark Connect alla cartella principale del server
• [SPARK-49745] [SC-177501][SS] Aggiungere una modifica per consentire la lettura dei timer registrati tramite il lettore di dati di stato
• [SPARK-49772] [16.x][SC-177478][SC-177214][SS] Rimuovere ColumnFamilyOptions e aggiungere configurazioni direttamente a dbOptions in RocksDB

Supporto del driver ODBC/JDBC di Databricks

Databricks supporta i driver ODBC/JDBC rilasciati negli ultimi 2 anni. Scaricare i driver rilasciati di recente e aggiornare (scaricare ODBC, scaricare JDBC).

Ambiente di sistema

• sistema operativo: Ubuntu 24.04.1 LTS
• Java: Zulu17.54+21-CA
• Scala: 2.12.18
• python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.2.1

Librerie Python installate

Librerie R installate

Le librerie R vengono installate dallo snapshot CRAN del Posit Package Manager il 2024-08-04.

Librerie installate di Java e Scala (versione del cluster Scala 2.12)