Databricks Runtime 14.0 (EoS)

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 14.0, basate su Apache Spark 3.5.0.

Databricks ha rilasciato questa versione a settembre 2023.

Miglioramenti e nuove funzionalità

• Il rilevamento delle righe è disponibile a livello generale
• L’I/O predittivo per gli aggiornamenti è disponibile a livello generale
• I vettori di eliminazione sono disponibili a livello generale
• Spark 3.5.0 è disponibile a livello generale
• Anteprima pubblica per le funzioni di tabella definite dall'utente per Python
• Anteprima pubblica per la concorrenza a livello di riga
• La directory di lavoro corrente predefinita è stata modificata
• Problema noto con sparklyr
• Introduzione a Spark Connect nell'architettura del cluster condiviso
• Elencare gli aggiornamenti dell'API delle versioni di Spark disponibili

Il rilevamento delle righe è disponibile a livello generale

Il rilevamento delle righe per Delta Lake è ora disponibile a livello generale. Consultare Usare il rilevamento delle righe per le tabelle Delta.

L’I/O predittivo per gli aggiornamenti è disponibile a livello generale

L'I/O predittivo per gli aggiornamenti è ora disponibile a livello generale. Vedere Che cos'è l'I/O predittivo?.

I vettori di eliminazione sono disponibili a livello generale

I vettori di eliminazione sono ora disponibili a livello generale. Si veda Che cosa sono i vettori di eliminazione?.

Spark 3.5.0 è disponibile a livello generale

Apache Spark 3.5.0 è ora disponibile a livello generale. Vedere Spark Release 3.5.0.

Anteprima pubblica per le funzioni di tabella definite dall'utente per Python

Le funzioni di tabella definite dall'utente consentono di registrare funzioni che restituiscono tabelle anziché valori scalari. Vedere Funzioni di tabella definite dall'utente python (UDF) .

Anteprima pubblica per la concorrenza a livello di riga

La concorrenza a livello di riga riduce i conflitti tra le operazioni di scrittura simultanee rilevando le modifiche a livello di riga e risolvendo automaticamente le modifiche concorrenti nelle scritture simultanee che aggiornano o eliminano righe diverse nello stesso file di dati. Vedere Conflitti di scrittura con concorrenza a livello di riga.

La directory di lavoro corrente predefinita è stata modificata

La directory di lavoro corrente predefinita (CWD) per il codice eseguito in locale è ora la directory contenente il notebook o lo script in esecuzione. Sono inclusi codice come %sh e codice Python o R che non usano Spark. Vedere Informazioni sul valore predefinito: directory di lavoro corrente del progetto.

Problema noto con sparklyr

La versione installata del sparklyr pacchetto (versione 1.8.1) non è compatibile con Databricks Runtime 14.0. Per usare sparklyr, installare la versione 1.8.3 o successiva.

Introduzione a Spark Connect nell'architettura del cluster condiviso

Con Databricks Runtime 14.0 e versioni successive, i cluster condivisi ora usano Spark Connect con il driver Spark da Python REPL per impostazione predefinita. Le API Spark interne non sono più accessibili dal codice utente.

Spark Connect interagisce ora con il driver Spark da REPL, invece dell'integrazione REPL legacy.

Elencare gli aggiornamenti dell'API delle versioni di Spark disponibili

Abilitare Photon impostando runtime_engine = PHOTONe abilitando aarch64 scegliendo un tipo di istanza graviton. Azure Databricks imposta la versione corretta di Databricks Runtime. In precedenza, l'API della versione di Spark restituirà runtime specifici dell'implementazione per ogni versione. Vedere GET /api/2.0/clusters/spark-versions nella guida di riferimento all'API REST.

Modifiche di rilievo

In Databricks Runtime 14.0 e versioni successive i cluster con modalità di accesso condiviso usano Spark Connect per la comunicazione client-server. Sono incluse le modifiche seguenti.

Per altre informazioni sulle limitazioni della modalità di accesso condiviso, vedere Limitazioni della modalità di accesso al calcolo per Il catalogo unity.

Python nei cluster con modalità di accesso condiviso

• sqlContext non è disponibile. Azure Databricks consiglia di usare la spark variabile per l'istanza SparkSession .
• Il contesto Spark (sc) non è più disponibile nei notebook o quando si usa Databricks Connect in un cluster con modalità di accesso condiviso. Le funzioni seguenti sc non sono più disponibili:
  • emptyRDD, , , , , setLocalPropertyrunJobhadoopFilehadoopRDDunionsetSystemPropertyuiWebUrlnewAPIHadoopRDDsetJobGroupstopbinaryRecordsnewAPIHadoopFilebinaryFilestextFilewholeTextFilessequenceFilepickleFileparallelizerangeinit_batched_serializergetConf
• La funzionalità Informazioni set di dati non è più supportata.
• Non esiste più una dipendenza dalla JVM quando si eseguono query su Apache Spark e, di conseguenza, le API interne correlate alla JVM, ad esempio _jsc, _jreader_jsparkSession_jvm_jconf_jseq_jdf_jc, , , _jmap, e _jcols non sono più supportate.
• Quando si accede ai valori di configurazione usando spark.conf solo valori di configurazione di runtime dinamici sono accessibili.
• I comandi di analisi delle tabelle live delta non sono ancora supportati nei cluster condivisi.

Delta nei cluster con modalità di accesso condiviso

• In Python non esiste più una dipendenza da JVM durante l'esecuzione di query su Apache Spark. Le API interne correlate a JVM, ad esempio DeltaTable._jdt, DeltaTableBuilder._jbuilderDeltaMergeBuilder._jbuilder, e DeltaOptimizeBuilder._jbuilder non sono più supportate.

SQL nei cluster con modalità di accesso condiviso

• DBCACHE i comandi e DBUNCACHE non sono più supportati.
• Rari casi d'uso come cache table db as show databases non sono più supportati.

Aggiornamenti della libreria

• Librerie Python aggiornate:
  • asttoken da 2.2.1 a 2.0.5
  • attrs da 21.4.0 a 22.1.0
  • botocore da 1.27.28 a 1.27.96
  • certificato dal 2022.9.14 al 2022.12.7
  • crittografia da 37.0.1 a 39.0.1
  • debugpy dalla versione 1.6.0 alla versione 1.6.7
  • docstring-to-markdown da 0.12 a 0.11
  • esecuzione da 1.2.0 a 0.8.3
  • facet-overview dalla versione 1.0.3 alla versione 1.1.1
  • googleapis-common-protos da 1.56.4 a 1.60.0
  • grpcio da 1.48.1 a 1.48.2
  • idna da 3.3 a 3.4
  • ipykernel da 6.17.1 a 6.25.0
  • ipython da 8.10.0 a 8.14.0
  • Jinja2 da 2.11.3 a 3.1.2
  • jsonschema da 4.16.0 a 4.17.3
  • jupyter_core dalla versione 4.11.2 alla versione 5.2.0
  • kiwisolver da 1.4.2 a 1.4.4
  • MarkupSafe da 2.0.1 a 2.1.1
  • matplotlib da 3.5.2 a 3.7.0
  • nbconvert da 6.4.4 a 6.5.4
  • nbformat da 5.5.0 a 5.7.0
  • nest-asyncio da 1.5.5 a 1.5.6
  • notebook dalla versione 6.4.12 alla versione 6.5.2
  • numpy da 1.21.5 a 1.23.5
  • imballaggio da 21.3 a 22.0
  • pandas da 1.4.4 a 1.5.3
  • pathspec da 0.9.0 a 0.10.3
  • patsy da 0.5.2 a 0.5.3
  • Cuscino da 9.2.0 a 9.4.0
  • pip da 22.2.2 a 22.3.1
  • protobuf da 3.19.4 a 4.24.0
  • pytoolconfig da 1.2.2 a 1.2.5
  • pytz dal 2022.1 al 2022.7
  • s3transfer from 0.6.0 to 0.6.1
  • seaborn da 0.11.2 a 0.12.2
  • setuptools da 63.4.1 a 65.6.3
  • soupsieve da 2.3.1 a 2.3.2.post1
  • stack-data da 0.6.2 a 0.2.0
  • statsmodels da 0.13.2 a 0.13.5
  • terminado da 0.13.1 a 0.17.1
  • traitlet da 5.1.1 a 5.7.1
  • typing_extensions dalla versione 4.3.0 alla versione 4.4.0
  • urllib3 da 1.26.11 a 1.26.14
  • virtualenv da 20.16.3 a 20.16.7
  • ruota da 0.37.1 a 0.38.4
• Librerie R aggiornate:
  • freccia da 10.0.1 a 12.0.1
  • base da 4.2.2 a 4.3.1
  • BLOB da 1.2.3 a 1.2.4
  • scopa da 1.0.3 a 1.0.5
  • bslib da 0.4.2 a 0.5.0
  • cachem da 1.0.6 a 1.0.8
  • cursore da 6.0-93 a 6.0-94
  • chron da 2.3-59 a 2.3-61
  • classe da 7.3-21 a 7.3-22
  • cli dalla versione 3.6.0 alla versione 3.6.1
  • orologio da 0.6.1 a 0.7.0
  • commonmark da 1.8.1 a 1.9.0
  • compilatore da 4.2.2 a 4.3.1
  • cpp11 da 0.4.3 a 0.4.4
  • curl da 5.0.0 a 5.0.1
  • data.table da 1.14.6 a 1.14.8
  • set di dati da 4.2.2 a 4.3.1
  • dbplyr da 2.3.0 a 2.3.3
  • digest da 0.6.31 a 0.6.33
  • downlit da 0.4.2 a 0.4.3
  • dplyr da 1.1.0 a 1.1.2
  • dtplyr da 1.2.2 a 1.3.1
  • valutare da 0,20 a 0,21
  • fastmap da 1.1.0 a 1.1.1
  • fontawesome da 0.5.0 a 0.5.1
  • fs da 1.6.1 a 1.6.2
  • futuro da 1.31.0 a 1.33.0
  • future.apply dalla versione 1.10.0 alla versione 1.11.0
  • gargle da 1.3.0 a 1.5.1
  • ggplot2 da 3.4.0 a 3.4.2
  • gh da 1.3.1 a 1.4.0
  • glmnet da 4.1-6 a 4.1-7
  • Googledrive da 2.0.0 a 2.1.1
  • Googlesheets4 da 1.0.1 a 1.1.1
  • grafica da 4.2.2 a 4.3.1
  • grDevices da 4.2.2 a 4.3.1
  • griglia da 4.2.2 a 4.3.1
  • gtable da 0.3.1 a 0.3.3
  • hardhat da 1.2.0 a 1.3.0
  • haven from 2.5.1 to 2.5.3
  • hms da 1.1.2 a 1.1.3
  • htmltools da 0.5.4 a 0.5.5
  • htmlwidgets da 1.6.1 a 1.6.2
  • httpuv da 1.6.8 a 1.6.11
  • httr da 1.4.4 a 1.4.6
  • ipred da 0.9-13 a 0.9-14
  • jsonlite da 1.8.4 a 1.8.7
  • KernSmooth da 2.23-20 a 2.23-21
  • magliar da 1.42 a 1.43
  • versioni successive dalla versione 1.3.0 alla 1.3.1
  • reticolo da 0,20-45 a 0,21-8
  • lava da 1.7.1 a 1.7.2.1
  • lubridate da 1.9.1 a 1.9.2
  • markdown da 1.5 a 1.7
  • MASS da 7.3-58.2 a 7.3-60
  • Matrice da 1.5-1 a 1.5-4.1
  • metodi da 4.2.2 a 4.3.1
  • mgcv da 1,8-41 a 1,8-42
  • modelr da 0.1.10 a 0.1.11
  • nnet da 7.3-18 a 7.3-19
  • openssl dalla versione 2.0.5 alla versione 2.0.6
  • parallelo da 4.2.2 a 4.3.1
  • parallelamente da 1.34.0 a 1.36.0
  • pilastro da 1.8.1 a 1.9.0
  • pkgbuild da 1.4.0 a 1.4.2
  • pkgload da 1.3.2 a 1.3.2.1
  • pROC da 1.18.0 a 1.18.4
  • processx da 3.8.0 a 3.8.2
  • prodlim dal 2019.11.13 al 2023.03.31
  • profvis da 0.3.7 a 0.3.8
  • ps da 1.7.2 a 1.7.5
  • Rcpp da 1.0.10 a 1.0.11
  • readr dalla versione 2.1.3 alla versione 2.1.4
  • readxl da 1.4.2 a 1.4.3
  • ricette da 1.0.4 a 1.0.6
  • rlang da 1.0.6 a 1.1.1
  • rmarkdown da 2.20 a 2.23
  • Rserve da 1.8-12 a 1.8-11
  • RSQLite da 2.2.20 a 2.3.1
  • rstudioapi da 0.14 a 0.15.0
  • sass da 0.4.5 a 0.4.6
  • brillante da 1.7.4 a 1.7.4.1
  • sparklyr da 1.7.9 a 1.8.1
  • SparkR dalla versione 3.4.1 alla versione 3.5.0
  • splines da 4.2.2 a 4.3.1
  • statistiche da 4.2.2 a 4.3.1
  • stats4 da 4.2.2 a 4.3.1
  • sopravvivenza da 3,5-3 a 3,5-5
  • sys dalla versione 3.4.1 alla versione 3.4.2
  • tcltk da 4.2.2 a 4.3.1
  • testat da 3.1.6 a 3.1.10
  • tibble da 3.1.8 a 3.2.1
  • tidyverse da 1.3.2 a 2.0.0
  • tinytex da 0,44 a 0,45
  • strumenti da 4.2.2 a 4.3.1
  • tzdb da 0.3.0 a 0.4.0
  • usethis dalla versione 2.1.6 alla versione 2.2.2
  • Utilità dalla versione 4.2.2 alla versione 4.3.1
  • vctrs da 0.5.2 a 0.6.3
  • viridisLite da 0.4.1 a 0.4.2
  • vroom da 1.6.1 a 1.6.3
  • waldo da 0.4.0 a 0.5.1
  • xfun da 0.37 a 0.39
  • xml2 da 1.3.3 a 1.3.5
  • zip da 2.2.2 a 2.3.0
• Librerie Java aggiornate:
  • com.fasterxml.jackson.core.jackson-annotations da 2.14.2 a 2.15.2
  • com.fasterxml.jackson.core.jackson-core da 2.14.2 a 2.15.2
  • com.fasterxml.jackson.core.jackson-databind da 2.14.2 a 2.15.2
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor da 2.14.2 a 2.15.2
  • com.fasterxml.jackson.datatype.jackson-datatype-joda da 2.14.2 a 2.15.2
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 da 2.13.4 a 2.15.1
  • com.fasterxml.jackson.module.jackson-module-paranamer da 2.14.2 a 2.15.2
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 da 2.14.2 a 2.15.2
  • com.github.luben.zstd-jni da 1.5.2-5 a 1.5.5-4
  • com.google.code.gson.gson da 2.8.9 a 2.10.1
  • com.google.crypto.tink.tink da 1.7.0 a 1.9.0
  • commons-codec.commons-codec da 1.15 a 1.16.0
  • commons-io.commons-io da 2.11.0 a 2.13.0
  • io.airlift.aircompressor da 0,21 a 0,24
  • io.dropwizard.metrics.metrics-core da 4.2.10 a 4.2.19
  • io.dropwizard.metrics.metrics-graphite da 4.2.10 a 4.2.19
  • io.dropwizard.metrics.metrics-healthchecks da 4.2.10 a 4.2.19
  • io.dropwizard.metrics.metrics-jetty9 da 4.2.10 a 4.2.19
  • io.dropwizard.metrics.metrics-jmx da 4.2.10 a 4.2.19
  • io.dropwizard.metrics.metrics-json da 4.2.10 a 4.2.19
  • io.dropwizard.metrics.metrics-jvm da 4.2.10 a 4.2.19
  • io.dropwizard.metrics.metrics-servlets da 4.2.10 a 4.2.19
  • io.netty.netty-all dalla versione 4.1.87.Final alla versione 4.1.93.Final
  • io.netty.netty-buffer da 4.1.87.Final a 4.1.93.Final
  • io.netty.netty-codec da 4.1.87.Final a 4.1.93.Final
  • io.netty.netty-codec-http da 4.1.87.Final a 4.1.93.Final
  • io.netty.netty-codec-http2 da 4.1.87.Final a 4.1.93.Final
  • io.netty.netty-codec-socks da 4.1.87.Final a 4.1.93.Final
  • io.netty.netty-common da 4.1.87.Final a 4.1.93.Final
  • io.netty.netty-handler dalla versione 4.1.87.Final alla versione 4.1.93.Final
  • io.netty.netty-handler-proxy da 4.1.87.Final a 4.1.93.Final
  • io.netty.netty-resolver da 4.1.87.Final a 4.1.93.Final
  • trasporto io.netty.netty da 4.1.87.Final a 4.1.93.Final
  • io.netty.netty-transport-classes-epoll da 4.1.87.Final a 4.1.93.Final
  • io.netty.netty-transport-classes-kqueue da 4.1.87.Final a 4.1.93.Final
  • io.netty.netty-transport-native-epoll da 4.1.87.Final-linux-x86_64 a 4.1.93.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue da 4.1.87.Final-osx-x86_64 a 4.1.93.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common da 4.1.87.Final a 4.1.93.Final
  • org.apache.arrow.arrow-format da 11.0.0 a 12.0.1
  • org.apache.arrow.arrow-memory-core da 11.0.0 a 12.0.1
  • org.apache.arrow.arrow-memory-netty da 11.0.0 a 12.0.1
  • org.apache.arrow.arrow-vector da 11.0.0 a 12.0.1
  • org.apache.avro.avro da 1.11.1 a 1.11.2
  • org.apache.avro.avro-ipc da 1.11.1 a 1.11.2
  • org.apache.avro.avro-mapred da 1.11.1 a 1.11.2
  • org.apache.commons.commons-compress da 1.21 a 1.23.0
  • org.apache.hadoop.hadoop-client-runtime da 3.3.4 a 3.3.6
  • org.apache.logging.log4j.log4j-1.2-api da 2.19.0 a 2.20.0
  • org.apache.logging.log4j.log4j-api da 2.19.0 a 2.20.0
  • org.apache.logging.log4j.log4j-core da 2.19.0 a 2.20.0
  • org.apache.logging.log4j.log4j-slf4j2-impl da 2.19.0 a 2.20.0
  • org.apache.orc.orc-core da 1.8.4-shaded-protobuf a 1.9.0-shaded-protobuf
  • org.apache.orc.orc-mapreduce da 1.8.4-shaded-protobuf a 1.9.0-shaded-protobuf
  • org.apache.orc.orc-shims da 1.8.4 a 1.9.0
  • org.apache.xbean.xbean-asm9-shaded da 4.22 a 4.23
  • org.checkerframework.checker-qual da 3.19.0 a 3.31.0
  • org.glassfish.jersey.containers.jersey-container-servlet da 2.36 a 2.40
  • org.glassfish.jersey.containers.jersey-container-servlet-core da 2.36 a 2.40
  • org.glassfish.jersey.core.jersey-client da 2.36 a 2.40
  • org.glassfish.jersey.core.jersey-common da 2.36 a 2.40
  • org.glassfish.jersey.core.jersey-server da 2.36 a 2.40
  • org.glassfish.jersey.inject.jersey-hk2 da 2.36 a 2.40
  • org.javassist.javassist dalla versione 3.25.0-GA alla versione 3.29.2-GA
  • org.mariadb.jdbc.mariadb-java-client da 2.7.4 a 2.7.9
  • org.postgresql.postgresql da 42.3.8 a 42.6.0
  • org.roaringbitmap.RoaringBitmap da 0.9.39 a 0.9.45
  • org.roaringbitmap.shims da 0.9.39 a 0.9.45
  • org.rocksdb.rocksdbjni da 7.8.3 a 8.3.2
  • org.scala-lang.modules.scala-collection-compat_2.12 da 2.4.3 a 2.9.0
  • org.slf4j.jcl-over-slf4j da 2.0.6 a 2.0.7
  • org.slf4j.jul-to-slf4j da 2.0.6 a 2.0.7
  • org.slf4j.slf4j-api da 2.0.6 a 2.0.7
  • org.xerial.snappy.snappy-java da 1.1.10.1 a 1.1.10.3
  • org.yaml.snakeyaml da 1.33 a 2.0

Apache Spark

Databricks Runtime 14.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 13.3 LTS, nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

• [SPARK-45109] [DBRRM-462][SC-142247][SQL][CONNECT] Correggere le funzioni aes_decrypt e ln in Connect
• [SPARK-44980] [DBRRM-462][SC-141024][PYTHON][CONNECT] Correzione di namedtuple ereditate per il funzionamento in createDataFrame
• [SPARK-44795] [DBRRM-462][SC-139720][CONNECT] CodeGenerator Cache deve essere specifico del classloader
• [SPARK-44861] [DBRRM-498][SC-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
• [SPARK-44794] [DBRRM-462][SC-139767][CONNECT] Rendere le query di streaming funzionanti con la gestione degli artefatti di Connect
• [SPARK-44791] [DBRRM-462][SC-139623][CONNECT] Make ArrowDeserializer work with REPL generated classes (Rendere ArrowDeserializer funzionante con le classi generate da REPL)
• [SPARK-44876] [DBRRM-480][SC-140431][PYTHON] Correzione di funzioni definite dall'utente Python ottimizzate per Arrow in Spark Connect
• [SPARK-44877] [DBRRM-482][SC-140437][CONNECT][PYTHON] Supportare le funzioni protobuf python per Spark Connect
• [SPARK-44882] [DBRRM-463][SC-140430][PYTHON][CONNECT] Rimuovere la funzione uuid/random/chr da PySpark
• [SPARK-44740] [DBRRM-462][SC-140320][CONNECT][FOLLOW] Correzione dei valori dei metadati per Artifacts
• [SPARK-44822] [DBRRM-464][PYTHON][SQL] Rendere le funzioni definite dall'utente Python per impostazione predefinita non deterministiche
• [SPARK-44836] [DBRRM-468][SC-140228][PYTHON] Eseguire il refactoring di Arrow Python UDTF
• [SPARK-44738] [DBRRM-462][SC-139347][PYTHON][CONNECT] Aggiungere metadati client mancanti alle chiamate
• [SPARK-44722] [DBRRM-462][SC-139306][CONNECT] ExecutePlanResponseReattachableIterator._call_iter: AttributeError: l'oggetto 'NoneType' non ha alcun attributo 'message'
• [SPARK-44625] [DBRRM-396][SC-139535][CONNECT] SparkConnectExecutionManager per tenere traccia di tutte le esecuzioni
• [SPARK-44663] [SC-139020][DBRRM-420][PYTHON] Disabilitare l'ottimizzazione della freccia per impostazione predefinita per le funzioni definite dall'utente Python
• [SPARK-44709] [DBRRM-396][SC-139250][CONNECT] Eseguire ExecuteGrpcResponseSender in esecuzione ricollegabile in un nuovo thread per correggere il controllo del flusso
• [SPARK-44656] [DBRRM-396][SC-138924][CONNECT] Rendere tutti gli iteratori CloseableIterators
• [SPARK-44671] [DBRRM-396][SC-138929][PYTHON][CONNECT] RiprovaRe ExecutePlan nel caso in cui la richiesta iniziale non raggiunga il server nel client Python
• [SPARK-44624] [DBRRM-396][SC-138919][CONNECT] RiprovaRe ExecutePlan nel caso in cui la richiesta iniziale non raggiunga il server
• [SPARK-44574] [DBRRM-396][SC-138288][SQL][CONNECT] Gli errori spostati in sq/api devono usare anche AnalysisException
• [SPARK-44613] [DBRRM-396][SC-138473][CONNECT] Aggiungere un oggetto Encoders
• [SPARK-44626] [DBRRM-396][SC-138828][SS][CONNECT] Completamento della terminazione delle query di streaming quando si verifica il timeout della sessione client per Spark Connect
• [SPARK-44642] [DBRRM-396][SC-138882][CONNECT] ReleaseExecute in ExecutePlanResponseReattachableIterator dopo che viene visualizzato un errore dal server
• [SPARK-41400] [DBRRM-396][SC-138287][CONNECT] Rimuovere la dipendenza Catalyst del Client Connect
• [SPARK-44664] [DBRRM-396][PYTHON][CONNECT] Rilasciare l'esecuzione quando si chiude l'iteratore nel client Python
• [SPARK-44631] [DBRRM-396][SC-138823][CONNECT][CORE][14.0.0] Rimuovere la directory basata su sessione quando la cache della sessione isolata viene rimossa
• [SPARK-42941] [DBRRM-396][SC-138389][SS][CONNECT] Python StreamingQueryListener
• [SPARK-44636] [DBRRM-396][SC-138570][CONNECT] Non lasciare iteratori dangling
• [SPARK-44424] [DBRRM-396][CONNECT][PYTHON][14.0.0] Client Python per ricollegare l'esecuzione esistente in Spark Connect
• [SPARK-44637] [SC-138571] Sincronizzare gli accessi a ExecuteResponseObserver
• [SPARK-44538] [SC-138178][CONNECT][SQL] Reinstate Row.jsonValue e friends
• [SPARK-44421] [SC-138434][SPARK-44423][CONNECT] Esecuzione ricollegabile in Spark Connect
• [SPARK-44418] [SC-136807][PYTHON][CONNECT] Aggiornare protobuf dalla versione 3.19.5 alla versione 3.20.3
• [SPARK-44587] [SC-138315][SQL][CONNECT] Aumentare il limite di ricorsione del marshaller protobuf
• [SPARK-44591] [SC-138292][CONNECT][SQL] Aggiungere jobTags a SparkListenerSQLExecutionStart
• [SPARK-44610] [SC-138368][SQL] DeduplicateRelations deve conservare i metadati alias durante la creazione di una nuova istanza
• [SPARK-44542] [SC-138323][CORE] Caricamento eagerly della classe SparkExitCode nel gestore eccezioni
• [SPARK-44264] [SC-138143][PYTHON]Test E2E per deepspeed
• [SPARK-43997] [SC-138347][CONNECT] Aggiunta del supporto per funzioni definite dall'utente Java
• [SPARK-44507] [SQL][CONNECT][14.x][14.0] Spostare AnalysisException in sql/api
• [SPARK-44453] [SC-137013][PYTHON] Usare difflib per visualizzare gli errori in assertDataFrameEqual
• [SPARK-44394] [SC-138291][CONNECT][WEBUI][14.0] Aggiungere una pagina dell'interfaccia utente Spark per Spark Connect
• [SPARK-44611] [SC-138415][CONNECT] Non escludere scala-xml
• [SPARK-44531] [SC-138044][CONNECT][SQL][14.x][14.0] Spostare l'inferenza del codificatore in sql/api
• [SPARK-43744] [SC-138289][CONNECT][14.x][14.0] Correzione del problema di caricamento della classe cau...
• [SPARK-44590] [SC-138296][SQL][CONNECT] Rimuovere il limite di record batch freccia per SqlCommandResult
• [SPARK-43968] [SC-138115][PYTHON] Migliorare i messaggi di errore per le funzioni definite dall'utente Python con un numero errato di output
• [SPARK-44432] [SC-138293][SS][CONNECT] Terminare le query di streaming quando si verifica il timeout di una sessione in Spark Connect
• [SPARK-44584] [SC-138295][CONNECT] Impostare client_type informazioni per AddArtifactsRequest e ArtifactStatusesRequest in Scala Client
• [SPARK-44552] [14.0][SC-138176][SQL] Rimuovere private object ParseState la definizione da IntervalUtils
• [SPARK-43660] [SC-136183][CONNECT][PS] Abilitare resample con Spark Connect
• [SPARK-44287] [SC-136223][SQL] Usare l'API PartitionEvaluator negli operatori SQL RowToColumnarExec & ColumnarToRowExec.
• [SPARK-39634] [SC-137566][SQL] Consenti suddivisione dei file in combinazione con la generazione dell'indice di riga
• [SPARK-44533] [SC-138058][PYTHON] Aggiunta del supporto per i file kpi, broadcast e Spark nell'analisi del tipo definito dall'utente di Python
• [SPARK-44479] [SC-138146][PYTHON] Correzione di ArrowStreamPandasUDFSerializer per accettare dataframe pandas no-column
• [SPARK-44425] [SC-138177][CONNECT] Verificare che sessionId fornito dall'utente sia un UUID
• [SPARK-44535] [SC-138038][CONNECT][SQL] Spostare l'API di streaming richiesta in sql/api
• [SPARK-44264] [SC-136523][ML][PYTHON] Scrivere una classe Deepspeed Distributed Learning DeepspeedTorchDistributor
• [SPARK-42098] [SC-138164][SQL] Correzione di ResolveInlineTables non può gestire con l'espressione RuntimeReplaceable
• [SPARK-44060] [SC-135693][SQL] Generazione di codice per il join hash casuale esterno della compilazione
• [SPARK-44496] [SC-137682][SQL][CONNECT] Spostare le interfacce necessarie da SCSC a sql/api
• [SPARK-44532] [SC-137893][CONNECT][SQL] Spostare ArrowUtils in sql/api
• [SPARK-44413] [SC-137019][PYTHON] Chiarire l'errore per il tipo di dati arg non supportato in assertDataFrameEqual
• [SPARK-44530] [SC-138036][CORE][CONNECT] Spostare SparkBuildInfo in common/util
• [SPARK-36612] [SC-133071][SQL] Supportare la compilazione di left outer join a sinistra o right outer join a destra in hash join casuale
• [SPARK-44519] [SC-137728][CONNECT] SparkConnectServerUtils ha generato parametri non corretti per i file JAR
• [SPARK-44449] [SC-137818][CONNECT] Upcasting per la deserializzazione con freccia diretta
• [SPARK-44131] [SC-136346][SQL] Aggiungere call_function e deprecare call_udf per l'API Scala
• [SPARK-44541] [SQL] Rimuovere una funzione hasRangeExprAgainstEventTimeCol inutile da UnsupportedOperationChecker
• [SPARK-44523] [SC-137859][SQL] MaxRows/maxRowsPerPartition del filtro è 0 se la condizione è FalseLiteral
• [SPARK-44540] [SC-137873][interfaccia utente] Rimuovere il foglio di stile non usato e i file javascript di jsonFormatter
• [SPARK-44466] [SC-137856][SQL] Escludere le configurazioni a partire SPARK_DRIVER_PREFIX da e SPARK_EXECUTOR_PREFIX da modifiedConfigs
• [SPARK-44477] [SC-137508][SQL] Considerare TYPE_CHECK_FAILURE_WITH_HINT come sottoclasse di errore
• [SPARK-44509] [SC-137855][PYTHON][CONNECT] Aggiungere un set di API di annullamento del processo nel client Python spark Connect
• [SPARK-44059] [SC-137023] Aggiungere il supporto dell'analizzatore degli argomenti denominati per le funzioni predefinite
• [SPARK-38476] [SC-136448][CORE] Usare la classe di errore in org.apache.spark.storage
• [SPARK-44486] [SC-137817][PYTHON][CONNECT] Implementare la funzionalità PyArrow self_destruct per toPandas
• [SPARK-44361] [SC-137200][SQL] Usare l'API PartitionEvaluator in MapInBatchExec
• [SPARK-44510] [SC-137652][interfaccia utente] Aggiornare dataTable alla versione 1.13.5 e rimuovere alcuni file png non raggiungibili
• [SPARK-44503] [SC-137808][SQL] Aggiungere la grammatica SQL per la clausola PARTITION BY e ORDER BY dopo gli argomenti TABLE per le chiamate TVF
• [SPARK-38477] [SC-136319][CORE] Usare la classe di errore in org.apache.spark.shuffle
• [SPARK-44299] [SC-136088][SQL] Assegnare nomi alla classe di errore _LEGACY_ERROR_TEMP_227[4-6,8]
• [SPARK-44422] [SC-137567][CONNECT] Interrupt con granularità fine di Spark Connect
• [SPARK-44380] [SC-137415][SQL][PYTHON] Supporto per Python UDTF da analizzare in Python
• [SPARK-43923] [SC-137020][CONNECT] Post listenerBus eventi d[...]...
• [SPARK-44303] [SC-136108][SQL] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[2320-2324]
• [SPARK-44294] [SC-135885][interfaccia utente] Correzione della colonna HeapHistogram mostra in modo imprevisto w/ select-all-box
• [SPARK-44409] [SC-136975][SQL] Gestire char/varchar in Dataset.to per mantenere la coerenza con altri utenti
• [SPARK-44334] [SC-136576][SQL][interfaccia utente] Lo stato nella risposta dell'API REST per un DDL/DML non riuscito senza processi deve essere FAILED anziché COMPLETED
• [SPARK-42309] [SC-136703][SQL] Introdurre INCOMPATIBLE_DATA_TO_TABLE e sottoclassi.
• [SPARK-44367] [SC-137418][SQL][interfaccia utente] Mostra messaggio di errore nell'interfaccia utente per ogni query non riuscita
• [SPARK-44474] [SC-137195][CONNECT] Reenable "Test observe response" in SparkConnectServiceSuite
• [SPARK-44320] [SC-136446][SQL] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[1067,1150,1220,1265,1277]
• [SPARK-44310] [SC-136055][CONNECT] Il log di avvio del server connect deve visualizzare il nome host e la porta
• [SPARK-44309] [SC-136193][interfaccia utente] Visualizza l'ora di aggiunta/rimozione degli executor nella scheda Executors
• [SPARK-42898] [SC-137556][SQL] Contrassegnare che i cast di stringa/data non richiedono l'ID fuso orario
• [SPARK-44475] [SC-137422][SQL][CONNECT] Rilocare DataType e Parser in sql/api
• [SPARK-44484] [SC-137562][SS]Aggiungere batchDuration al metodo json StreamingQueryProgress
• [SPARK-43966] [SC-137559][SQL][PYTHON] Supportare funzioni non deterministiche con valori di tabella
• [SPARK-44439] [SC-136973][CONNECT][SS]Correzione di listListeners per inviare solo gli ID al client
• [SPARK-44341] [SC-137054][SQL][PYTHON] Definire la logica di calcolo tramite l'API PartitionEvaluator e usarla in WindowExec e WindowInPandasExec
• [SPARK-43839] [SC-132680][SQL] Converti _LEGACY_ERROR_TEMP_1337 in UNSUPPORTED_FEATURE.TIME_TRAVEL
• [SPARK-44244] [SC-135703][SQL] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[2305-2309]
• [SPARK-44201] [SC-136778][CONNECT][SS]Aggiunta del supporto per il listener di streaming in Scala per Spark Connect
• [SPARK-44260] [SC-135618][SQL] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[1215-1245-2329] & Usare checkError() per controllare l'eccezione in _CharVarchar_Suite
• [SPARK-42454] [SC-136913][SQL] SPJ: incapsulare tutti i parametri correlati a SPJ in BatchScanExec
• [SPARK-44292] [SC-135844][SQL] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[2315-2319]
• [SPARK-44396] [SC-137221][Connetti] Deserializzazione con freccia diretta
• [SPARK-44324] [SC-137172][SQL][CONNECT] Spostare CaseInsensitiveMap in sql/api
• [SPARK-44395] [SC-136744][SQL] Aggiungere il test a StreamingTableSuite
• [SPARK-44481] [SC-137401][CONNECT][PYTHON] Creare un'API pyspark.sql.is_remote
• [SPARK-44278] [SC-137400][CONNECT] Implementare un intercettore del server GRPC che pulisce le proprietà locali del thread
• [SPARK-44264] [SC-137211][ML][PYTHON] Supportare il training distribuito delle funzioni tramite Deepspeed
• [SPARK-44430] [SC-136970][SQL] Aggiungi causa a AnalysisException quando l'opzione non è valida
• [SPARK-44264] [SC-137167][ML][PYTHON] Incorporazione di FunctionPickler in TorchDistributor
• [SPARK-44216] [SC-137046] [PYTHON] Rendere pubblica l'API assertSchemaEqual
• [SPARK-44398] [SC-136720][CONNECT] Scala foreachBatch API
• [SPARK-43203] [SC-134528][SQL] Spostare tutte le maiuscole/minuscole di drop table in DataSource V2
• [SPARK-43755] [SC-137171][CONNECT][MINOR] Aprire AdaptiveSparkPlanHelper.allChildren invece di usare la copia in MetricGenerator
• [SPARK-44264] [SC-137187][ML][PYTHON] Refactoring torchDistributor per consentire il puntatore di funzione personalizzato "run_training_on_file"
• [SPARK-43755] [SC-136838][CONNECT] Spostare l'esecuzione da SparkExecutePlanStreamHandler e in un thread diverso
• [SPARK-44411] [SC-137198][SQL] Usare l'API PartitionEvaluator in ArrowEvalPythonExec e BatchEvalPythonExec
• [SPARK-44375] [SC-137197][SQL] Usare l'API PartitionEvaluator in DebugExec
• [SPARK-43967] [SC-137057][PYTHON] Supportare normali funzioni definite dall'utente Python con valori restituiti vuoti
• [SPARK-43915] [SC-134766][SQL] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43965] [SC-136929][PYTHON][CONNECT] Supportare Python UDTF in Spark Connect
• [SPARK-44154] [SC-137050][SQL] Aggiunta di altri unit test a BitmapExpressionUtilsSuite e sono stati apportati miglioramenti secondari alle espressioni di aggregazione Bitmap
• [SPARK-44169] [SC-135497][SQL] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[2300-2304]
• [SPARK-44353] [SC-136578][CONNECT][SQL] Rimuovere StructType.toAttributes
• [SPARK-43964] [SC-136676][SQL][PYTHON] Supportare funzioni definite dall'utente Python ottimizzate per la freccia
• [SPARK-44321] [SC-136308][CONNECT] Decouple ParseException da AnalysisException
• [SPARK-44348] [SAS-1910][SC-136644][CORE][CONNECT][PYTHON] Ripristinabile test_artifact con modifiche rilevanti
• [SPARK-44145] [SC-136698][SQL] Callback quando è pronto per l'esecuzione
• [SPARK-43983] [SC-136404][PYTHON][ML][CONNECT] Abilitare il test dello strumento di stima tra validator
• [SPARK-44399] [SC-136669][PYHTON][CONNECT] Importare SparkSession in UDF Python solo quando useArrow è None
• [SPARK-43631] [SC-135300][CONNECT][PS] Abilitare Series.interpolate con Spark Connect
• [SPARK-44374] [SC-136544][PYTHON][ML] Aggiungere codice di esempio per ML distribuito per spark connect
• [SPARK-44282] [SC-135948][CONNECT] Preparare l'analisi di DataType per l'uso in Spark Connect Scala Client
• [SPARK-44052] [SC-134469][CONNECT][PS] Aggiungere util per ottenere la classe Column o DataFrame appropriata per Spark Connect.
• [SPARK-43983] [SC-136404][PYTHON][ML][CONNECT] Implementare lo strumento di stima di convalida incrociata
• [SPARK-44290] [SC-136300][CONNECT] File e archivi basati su sessione in Spark Connect
• [SPARK-43710] [SC-134860][PS][CONNECT] Supporto functions.date_part per Spark Connect
• [SPARK-44036] [SC-134036][CONNECT][PS] Pulizia e consolidamento dei ticket per semplificare le attività.
• [SPARK-44150] [SC-135790][PYTHON][CONNECT] Cast esplicito della freccia per il tipo restituito non corrispondente in UDF Python freccia
• [SPARK-43903] [SC-134754][PYTHON][CONNECT] Migliorare il supporto dell'input ArrayType in Arrow Python UDF
• [SPARK-44250] [SC-135819][ML][PYTHON][CONNECT] Implementare l'analizzatore di classificazione
• [SPARK-44255] [SC-135704][SQL] Rilocare StorageLevel in common/utils
• [SPARK-42169] [SC-135735] [SQL] Implementare la generazione di codice per la funzione to_csv (StructsToCsv)
• [SPARK-44249] [SC-135719][SQL][PYTHON] Effettuare il refactoring di PythonUDTFRunner per inviare separatamente il tipo restituito
• [SPARK-43353] [SC-132734][PYTHON] Eseguire la migrazione degli errori di sessione rimanenti nella classe di errore
• [SPARK-44133] [SC-134795][PYTHON] Aggiornare MyPy dalla versione 0.920 alla versione 0.982
• [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener - Serde evento in formato JSON
• [SPARK-43353] Ripristinare "[SC-132734][ES-729763][PYTHON] Eseguire la migrazione degli errori di sessione rimanenti nella classe di errore"
• [SPARK-44100] [SC-134576][ML][CONNECT][PYTHON] Spostare lo spazio dei nomi da pyspark.mlv2 a pyspark.ml.connect
• [SPARK-44220] [SC-135484][SQL] Spostare StringConcat in sql/api
• [SPARK-43992] [SC-133645][SQL][PYTHON][CONNECT] Aggiungere un modello facoltativo per Catalog.listFunctions
• [SPARK-43982] [SC-134529][ML][PYTHON][CONNECT] Implementare lo strumento di stima della pipeline per ML in Spark Connect
• [SPARK-43888] [SC-132893][CORE] Rilocare la registrazione in common/utils
• [SPARK-42941] Ripristinare "[SC-134707][SS][CONNECT][1/2] StreamingQueryListener - Event Serde in formato JSON"
• [SPARK-43624] [SC-134557][PS][CONNECT] Aggiungere EWM a SparkConnectPlanner.
• [SPARK-43981] [SC-134137][PYTHON][ML] Implementazione di base del salvataggio/caricamento per ML in Spark Connect
• [SPARK-43205] [SC-133371][SQL] correzione di SQLQueryTestSuite
• [SPARK-43376] Ripristinare "[SC-130433][SQL] Migliorare il riutilizzo della sottoquery con la cache delle tabelle"
• [SPARK-44040] [SC-134366][SQL] Correggere le statistiche di calcolo quando il nodo AggregateExec sopra QueryStageExec
• [SPARK-43919] [SC-133374][SQL] Estrarre la funzionalità JSON all'esterno della riga
• [SPARK-42618] [SC-134433][PYTHON][PS] Avviso per le modifiche del comportamento correlate a pandas nella versione principale successiva
• [SPARK-43893] [SC-133381][PYTHON][CONNECT] Supporto dei tipi di dati non atomici nella funzione definita dall'utente python ottimizzata per Arrow
• [SPARK-43627] [SC-134290][SPARK-43626][PS][CONNECT] Abilitare pyspark.pandas.spark.functions.{kurt, skew} in Spark Connect.
• [SPARK-43798] [SC-133990][SQL][PYTHON] Supportare le funzioni di tabella definite dall'utente python
• [SPARK-43616] [SC-133849][PS][CONNECT] Abilitare pyspark.pandas.spark.functions.mode in Spark Connect
• [SPARK-43133] [SC-133728] Supporto di Scala Client DataStreamWriter Foreach
• [SPARK-43684] [SC-134107][SPARK-43685][SPARK-43686][SPARK-43691][CONNECT][PS] Correzione (NullOps|NumOps).(eq|ne) per Spark Connect.
• [SPARK-43645] [SC-134151][SPARK-43622][PS][CONNECT] Abilitare pyspark.pandas.spark.functions.{var, stddev} in Spark Connect
• [SPARK-43617] [SC-133893][PS][CONNECT] Abilitare pyspark.pandas.spark.functions.product in Spark Connect
• [SPARK-43610] [SC-133832][CONNECT][PS] Abilitare InternalFrame.attach_distributed_column in Spark Connect.
• [SPARK-43621] [SC-133852][PS][CONNECT] Abilitare pyspark.pandas.spark.functions.repeat in Spark Connect
• [SPARK-43921] [SC-133461][PROTOBUF] Generare file di descrittore Protobuf in fase di compilazione
• [SPARK-43613] [SC-133727][PS][CONNECT] Abilitare pyspark.pandas.spark.functions.covar in Spark Connect
• [SPARK-43376] [SC-130433][SQL] Migliorare la sottoquery di riutilizzo con la cache delle tabelle
• [SPARK-43612] [SC-132011][CONNECT][PYTHON] Implementare SparkSession.addArtifact(s) nel client Python
• [SPARK-43920] [SC-133611][SQL][CONNECT] Creare un modulo sql/api
• [SPARK-43097] [SC-133372][ML] Nuovo strumento di stima della regressione logistica pyspark ML implementato sopra il server di distribuzione
• [SPARK-43783] [SC-133240][SPARK-43784][SPARK-43788][ML] Make MLv2 (ML on spark connect) supporta pandas >= 2.0
• [SPARK-43024] [SC-132716][PYTHON] Aggiornare pandas alla versione 2.0.0
• [SPARK-43881] [SC-133140][SQL][PYTHON][CONNECT] Aggiungere un modello facoltativo per Catalog.listDatabases
• [SPARK-39281] [SC-131422][SQL] Velocizzare l'inferenza del tipo Timestamp con formato legacy nell'origine dati JSON/CSV
• [SPARK-43792] [SC-132887][SQL][PYTHON][CONNECT] Aggiungere un modello facoltativo per Catalog.listCatalogs
• [SPARK-43132] [SC-131623] [SS] [CONNECT] Python Client DataStreamWriter foreach() API
• [SPARK-43545] [SC-132378][SQL][PYTHON] Supporto del tipo di timestamp annidato
• [SPARK-43353] [SC-132734][PYTHON] Eseguire la migrazione degli errori di sessione rimanenti nella classe di errore
• [SPARK-43304] [SC-129969][CONNECT][PYTHON] Eseguire la migrazione NotImplementedError in PySparkNotImplementedError
• [SPARK-43516] [SC-132202][ML][PYTHON][CONNECT] Interfacce di base di sparkML per spark3.5: estimator/transformer/model/analizzatore
• [SPARK-43128] Ripristinare "[SC-131628][CONNECT][SS] Make and return consistent with the native Scala Api" (Ripristina "[SC-131628][CONNECT][SS] Make recentProgress and lastProgress return StreamingQueryProgress consistent with the native Scala Api"
• [SPARK-43543] [SC-131839][PYTHON] Correzione del comportamento di MapType annidato nella funzione definita dall'utente pandas
• [SPARK-38469] [SC-131425][CORE] Usare la classe di errore in org.apache.spark.network
• [SPARK-43309] [SC-129746][SPARK-38461][CORE] Estendere INTERNAL_ERROR con categorie e aggiungere INTERNAL_ERROR_BROADCAST classe di errore
• [SPARK-43265] [SC-129653] Spostare il framework degli errori in un modulo utils comune
• [SPARK-43440] [SC-131229][PYTHON][CONNECT] Supporto della registrazione di una funzione definita dall'utente python ottimizzata per Arrow
• [SPARK-43528] [SC-131531][SQL][PYTHON] Supportare nomi di campo duplicati in createDataFrame con dataframe pandas
• [SPARK-43412] [SC-130990][PYTHON][CONNECT] Introduzione SQL_ARROW_BATCHED_UDF di EvalType per funzioni definite dall'utente Python ottimizzate per arrow
• [SPARK-40912] [SC-130986][CORE]Overhead delle eccezioni in KryoDeserializationStream
• [SPARK-39280] [SC-131206][SQL] Velocizzare l'inferenza del tipo Timestamp con il formato fornito dall'utente nell'origine dati JSON/CSV
• [SPARK-43473] [SC-131372][PYTHON] Supporto del tipo di struct in createDataFrame da pandas DataFrame
• [SPARK-43443] [SC-131024][SQL] Aggiungere benchmark per l'inferenza del tipo Timestamp quando si usa un valore non valido
• [SPARK-41532] [SC-130523][CONNECT][CLIENT] Aggiungere il controllo per le operazioni che coinvolgono più frame di dati
• [SPARK-43296] [SC-130627][CONNECT][PYTHON] Eseguire la migrazione degli errori di sessione di Spark Connect nella classe di errore
• [SPARK-43324] [SC-130455][SQL] Gestire i comandi UPDATE per le origini basate su delta
• [SPARK-43347] [SC-130148][PYTHON] Rimuovere il supporto di Python 3.7
• [SPARK-43292] [SC-130525][CORE][CONNECT] Passare ExecutorClassLoader al core modulo e semplificare Executor#addReplClassLoaderIfNeeded
• [SPARK-43081] [SC-129900] [ML] [CONNECT] Aggiungere un caricatore di dati del server di distribuzione torcia che carica i dati dai dati della partizione Spark
• [SPARK-43331] [SC-130061][CONNECT] Aggiungere Spark Connect SparkSession.interruptAll
• [SPARK-43306] [SC-130320][PYTHON] Eseguire la migrazione ValueError dai tipi SPARK SQL alla classe di errore
• [SPARK-43261] [SC-129674][PYTHON] Eseguire la migrazione TypeError dai tipi SPARK SQL alla classe di errore.
• [SPARK-42992] [SC-129465][PYTHON] Introduzione a PySparkRuntimeError
• [SPARK-16484] [SC-129975][SQL] Aggiunta del supporto per Datasketches HllSketch
• [SPARK-43165] [SC-128823][SQL] Sposta canWrite in DataTypeUtils
• [SPARK-43082] [SC-129112] [CONNECT] [PYTHON] Funzioni definite dall'utente Python ottimizzate per la freccia in Spark Connect
• [SPARK-43084] [SC-128654] [SS] Aggiungere il supporto applyInPandasWithState per spark connect
• [SPARK-42657] [SC-128621] [CONNECT] Supporto per trovare e trasferire file di classe REPL sul lato client nel server come artefatti
• [SPARK-43098] [SC-77059][SQL] Correzione del bug COUNT di correzione quando la sottoquery scalare è raggruppata per clausola
• [SPARK-42884] [SC-126662] [CONNECT] Aggiungere l'integrazione di Ammonite REPL
• [SPARK-42994] [SC-128333][ML][CONNECT] Il server di distribuzione PyTorch supporta la modalità locale
• [SPARK-41498] [SC-125343] Ripristinare ” Propagare i metadati tramite Union”
• [SPARK-42993] [SC-127829] [ML] [CONNECT] Rendere il server di distribuzione PyTorch compatibile con Spark Connect
• [SPARK-42683] [LC-75] Rinominare automaticamente le colonne di metadati in conflitto
• [SPARK-42874] [SC-126442] [SQL] Abilitare il nuovo framework di test dei file di riferimento per l'analisi per tutti i file di input
• [SPARK-42779] [SC-126042] [SQL] Consentire alle scritture V2 di indicare le dimensioni delle partizioni casuali di avviso
• [SPARK-42891] [SC-126458][CONNECT][PYTHON] Implementare l'API Mappa cogrouped
• [SPARK-42791] [SC-126134][SQL] Creare un nuovo framework di test di file golden file per l'analisi
• [SPARK-42615] [SC-124237][CONNECT][PYTHON] Eseguire il refactoring di AnalyzePlan RPC e aggiungere session.version
• [SPARK-41302] Ripristinare "[TUTTI I TEST][SC-122423][SQL] Assegnare il nome a _LEGACY_ERROR_TEMP_1185"
• [SPARK-40770] [SC-122652][PYTHON] Messaggi di errore migliorati per applyInPandas per la mancata corrispondenza dello schema
• [SPARK-40770] Ripristinare "[TUTTI I TEST][SC-122652][PYTHON] Messaggi di errore migliorati per applyInPandas per la mancata corrispondenza dello schema"
• [SPARK-42398] [SC-123500][SQL] Ridefinire l'interfaccia DS v2 del valore di colonna predefinito
• [SPARK-40770] [TUTTI I TEST][SC-122652][PYTHON] Messaggi di errore migliorati per applyInPandas per la mancata corrispondenza dello schema
• [SPARK-40770] Ripristinare "[SC-122652][PYTHON] Messaggi di errore migliorati per applyInPandas per la mancata corrispondenza dello schema"
• [SPARK-40770] [SC-122652][PYTHON] Messaggi di errore migliorati per applyInPandas per la mancata corrispondenza dello schema
• [SPARK-42038] [TUTTI I TEST] Ripristinare "Revert "[SC-122533][SQL] SPJ: Support parzialmente cluster distribution""
• [SPARK-42038] Ripristinare "[SC-122533][SQL] SPJ: Supporto della distribuzione parzialmente in cluster"
• [SPARK-42038] [SC-122533][SQL] SPJ: supportare la distribuzione parzialmente in cluster
• [SPARK-40550] [SC-120989][SQL] DataSource V2: Gestire i comandi DELETE per le origini basate su delta
• [SPARK-40770] Ripristinare "[SC-122652][PYTHON] Messaggi di errore migliorati per applyInPandas per la mancata corrispondenza dello schema"
• [SPARK-40770] [SC-122652][PYTHON] Messaggi di errore migliorati per applyInPandas per la mancata corrispondenza dello schema
• [SPARK-41302] Ripristinare "[SC-122423][SQL] Assegnare il nome a _LEGACY_ERROR_TEMP_1185"
• [SPARK-40550] Ripristinare "[SC-120989][SQL] DataSource V2: Gestire i comandi DELETE per le origini basate su delta"
• [SPARK-42123] Ripristinare "[SC-121453][SQL] Includere i valori predefiniti della colonna in DESCRIBE e SHOW CREATE TABLE output"
• [SPARK-42146] [SC-121172][CORE] Effettuare il refactoring Utils#setStringField per passare la compilazione maven quando il modulo SQL usa questo metodo
• [SPARK-42119] Ripristinare "[SC-121342][SQL] Aggiungere funzioni predefinite con valori di tabella inline e inline_outer"

Caratteristiche salienti

• Correggere aes_decrypt e ln funzioni in Connect SPARK-45109
• Correzione delle tuple denominate ereditate per funzionare in createDataFrame SPARK-44980
• La cache CodeGenerator è ora specifica di classloader [SPARK-44795]
• Aggiunta SparkListenerConnectOperationStarted.planRequest di [SPARK-44861]
• Rendere le query di streaming funzionanti con la gestione degli artefatti di Connect [SPARK-44794]
• ArrowDeserializer funziona con le classi generate da REPL [SPARK-44791]
• Correzione della funzione definita dall'utente python ottimizzata per La freccia in Spark Connect [SPARK-44876]
• Supporto client Scala and Go in Spark Connect SPARK-42554 SPARK-43351
• Supporto di ML distribuito basato su PyTorch per Spark Connect SPARK-42471
• Supporto di Structured Streaming per Spark Connect in Python e Scala SPARK-42938
• Supporto dell'API Pandas per Python Spark Connect Client SPARK-42497
• Introduzione alle funzioni definite dall'utente python arrow SPARK-40307
• Supportare le funzioni di tabella definite dall'utente python SPARK-43798
• Eseguire la migrazione degli errori PySpark nelle classi di errore SPARK-42986
• Framework di test pySpark SPARK-44042
• Aggiunta del supporto per Datasketches HllSketch SPARK-16484
• Miglioramento della funzione SQL predefinita SPARK-41231
• Clausola IDENTIFIER SPARK-43205
• Aggiungere funzioni SQL in Scala, Python e API R SPARK-43907
• Aggiungere il supporto dell'argomento denominato per le funzioni SQL SPARK-43922
• Evitare di rieseguire attività non necessarie in caso di perdita di executor rimosso se i dati di cui è stata eseguita la migrazione casuale spark-41469
• Spark <> Spark con connessione SPARK-42471 distribuita
• DeepSpeed Distributor SPARK-44264
• Implementare il checkpoint del log delle modifiche per l'archivio stati RocksDB SPARK-43421
• Introdurre la propagazione della filigrana tra gli operatori SPARK-42376
• Introduzione a dropDuplicatesWithinWatermark SPARK-42931
• Miglioramenti della gestione della memoria del provider dell'archivio di stato RocksDB SPARK-43311

Spark Connect

• Effettuare il refactoring del modulo sql in sql e sql-api per produrre un set minimo di dipendenze che possono essere condivise tra il client Scala Spark Connect e Spark ed evita il pull di tutte le dipendenze transitive spark. SPARK-44273
• Introduzione al client Scala per Spark Connect SPARK-42554
• Supporto dell'API Pandas per Python Spark Connect Client SPARK-42497
• Supporto di ML distribuito basato su PyTorch per Spark Connect SPARK-42471
• Supporto di Structured Streaming per Spark Connect in Python e Scala SPARK-42938
• Versione iniziale del client Go SPARK-43351
• Molti miglioramenti della compatibilità tra i client Spark nativi e Spark Connect in Python e Scala
• Miglioramento della gestione delle richieste e della debug per le applicazioni client (elaborazione asincrona, tentativi, query di lunga durata)

Spark SQL

Funzionalità

• Aggiungere l'avvio e la lunghezza del blocco di file di colonna dei metadati SPARK-42423
• Supportare i parametri posizionali in Scala/Java sql() SPARK-44066
• Aggiungere il supporto dei parametri denominati nel parser per le chiamate di funzione SPARK-43922
• Supporto di SELECT DEFAULT con ORDER BY, LIMIT, OFFSET per la relazione di origine INSERT SPARK-43071
• Aggiungere la grammatica SQL per la clausola PARTITION BY e ORDER BY dopo gli argomenti TABLE per le chiamate TVF SPARK-44503
• Includere i valori predefiniti della colonna in DESCRIBE e SHOW CREATE TABLE output SPARK-42123
• Aggiungere un modello facoltativo per Catalog.listCatalogs SPARK-43792
• Aggiungere un modello facoltativo per Catalog.listDatabases SPARK-43881
• Callback quando è pronto per l'esecuzione di SPARK-44145
• Supporto dell'istruzione Insert by Name SPARK-42750
• Aggiungere call_function per l'API Scala SPARK-44131
• Alias di colonna derivati stabili SPARK-40822
• Supportare espressioni costanti generali come valori CREATE/REPLACE TABLE OPTIONS SPARK-43529
• Supportare sottoquery con correlazione tramite INTERSECT/EXCEPT SPARK-36124
• Clausola IDENTIFIER SPARK-43205
• MODALITÀ ANSI: Conv deve restituire un errore se la conversione interna esegue l'overflow di SPARK-42427

Funzioni

• Aggiunta del supporto per Datasketches HllSketch SPARK-16484
• Supportare la modalità CBC da aes_encrypt()/aes_decrypt() SPARK-43038
• Supporto della regola del parser degli argomenti TABLE per TableValuedFunction SPARK-44200
• Implementare funzioni bitmap SPARK-44154
• Aggiungere la funzione try_aes_decrypt() SPARK-42701
• array_insert dovrebbe avere esito negativo con 0 indice SPARK-43011
• Aggiungere to_varchar alias per to_char SPARK-43815
• Funzione di ordine elevato: array_compact'implementazione di SPARK-41235
• Aggiungere il supporto dell'analizzatore degli argomenti denominati per le funzioni predefinite SPARK-44059
• Aggiungere valori NULL per inSERT con elenchi specificati dall'utente con un numero inferiore di colonne rispetto alla tabella di destinazione SPARK-42521
• Aggiunge il supporto per aes_encrypt IV e AAD SPARK-43290
• La funzione DECODE restituisce risultati errati quando è stato passato NULL SPARK-41668
• Supporto di udf 'luhn_check' SPARK-42191
• Supportare la risoluzione implicita degli alias di colonna laterale in Aggregate SPARK-41631
• Supportare l'alias di colonna laterale implicito nelle query con Window SPARK-42217
• Aggiungere alias di funzione a 3 argomenti DATE_ADD e DATE_DIFF SPARK-43492

Origini dati

• Supporto char/varchar per il catalogo JDBC SPARK-42904
• Supporto per ottenere parole chiave SQL in modo dinamico tramite l'API JDBC e TVF SPARK-43119
• DataSource V2: Gestire i comandi MERGE per le origini basate su delta SPARK-43885
• DataSource V2: Gestire i comandi MERGE per le origini basate su gruppi SPARK-43963
• DataSource V2: Gestire i comandi UPDATE per le origini basate su gruppi SPARK-43975
• DataSource V2: consente di rappresentare gli aggiornamenti come eliminazioni e inserisce SPARK-43775
• Consentire ai dialetti jdbc di eseguire l'override della query usata per creare una tabella SPARK-41516
• SPJ: supportare la distribuzione parzialmente in cluster SPARK-42038
• DSv2 consente a CTAS/RTAS di riservare valori Nullbility dello schema SPARK-43390
• Aggiungere spark.sql.files.maxPartitionNum SPARK-44021
• Gestire i comandi UPDATE per origini basate su delta SPARK-43324
• Consentire alle scritture V2 di indicare le dimensioni delle partizioni casuali di avviso SPARK-42779
• Supporto del codec di compressione lz4raw per Parquet SPARK-43273
• Avro: scrittura di unioni complesse SPARK-25050
• Velocizzare l'inferenza del tipo Timestamp con il formato fornito dall'utente nell'origine dati JSON/CSV SPARK-39280
• Avro to Support custom decimal type support by Long SPARK-43901 (Avro to Support custom decimal type support by Long SPARK-43901)
• Evitare lo shuffle in Join partizionato dall'archiviazione quando le chiavi di partizione non corrispondono, ma le espressioni join sono compatibili con SPARK-41413
• Modificare il tipo di dati binario in un tipo di dati non supportato in formato CSV SPARK-42237
• Consentire ad Avro di convertire il tipo di unione in SQL con nome di campo stabile con tipo SPARK-43333
• Velocizzare l'inferenza del tipo Timestamp con formato legacy nell'origine dati JSON/CSV SPARK-39281

Ottimizzazione query

• L'eliminazione della sottoespressione supporta l'espressione di collegamento SPARK-42815
• Migliorare la stima delle statistiche di join se un lato può mantenere l'univocità spark-39851
• Introdurre il limite di gruppo di Window per il filtro basato su classificazione per ottimizzare il calcolo top-k spark-37099
• Correzione del comportamento null IN (elenco vuoto) nelle regole di ottimizzazione SPARK-44431
• Dedurre e eseguire il push del limite della finestra attraverso la finestra se partitionSpec è spark-41171 vuoto
• Rimuovere il outer join se sono tutte funzioni di aggregazione distinte SPARK-42583
• Comprimere due finestre adiacenti con la stessa partizione/ordine nella sottoquery SPARK-42525
• Push down limit through Python UDFs SPARK-42115 (Push down limit through Python UDFs SPARK-42115)
• Ottimizzare l'ordine dei predicati di filtro SPARK-40045

Generazione di codice ed esecuzione di query

• Il filtro di runtime deve supportare il lato join casuale a più livelli come lato di creazione del filtro SPARK-41674
• Supporto di Codegen per HiveSimpleUDF SPARK-42052
• Supporto di Codegen per HiveGenericUDF SPARK-42051
• Supporto di Codegen per l'hash join casuale esterno della build SPARK-44060
• Implementare la generazione di codice per la funzione to_csv (StructsToCsv) SPARK-42169
• Supporto di AQE InMemoryTableScanExec SPARK-42101
• Supportare la build left outer join left o right outer join right in shuffled hash join SPARK-36612
• Respect RequiresDistributionAndOrdering in CTAS/RTAS SPARK-43088
• Bucket coalesce in join applicati al flusso di join broadcast spark-43107
• Impostare i valori Nullable correttamente sulla chiave join unioneta in join esterno completo SPARK-44251
• Correzione di listQuery sottoquery con valori Nullbility SPARK-43413

Altre modifiche rilevanti

• Impostare i valori Nullable correttamente per le chiavi in USING join SPARK-43718
• Correzione di COUNT(*) è un bug Null nella sottoquery scalare correlata SPARK-43156
• Dataframe.joinWith outer-join deve restituire un valore Null per la riga SPARK-37829 senza corrispondenza
• Rinominare automaticamente le colonne di metadati in conflitto SPARK-42683
• Documentare le classi di errore di Spark SQL nella documentazione relativa all'utente SPARK-42706

PySpark

Funzionalità

• Supportare i parametri posizionali in Python sql() SPARK-44140
• Supporto di SQL con parametri per sql() SPARK-41666
• Supportare le funzioni di tabella definite dall'utente python SPARK-43797
• Supporto per impostare l'eseguibile Python per le API della funzione UDF e pandas nei ruoli di lavoro durante il runtime SPARK-43574
• Aggiungere DataFrame.offset a PySpark SPARK-43213
• Implementare dir() in pyspark.sql.dataframe.DataFrame per includere colonne SPARK-43270
• Aggiungere l'opzione per usare vettori di larghezza variabile di grandi dimensioni per le operazioni UDF freccia SPARK-39979
• Rendere mapInPandas/mapInArrow supportare l'esecuzione della modalità barriera SPARK-42896
• Aggiungere API JobTag a PySpark SparkContext SPARK-44194
• Supporto per Python UDTF da analizzare in Python SPARK-44380
• Esporre TimestampNTZType in pyspark.sql.types SPARK-43759
• Supporto del tipo di timestamp annidato SPARK-43545
• Supporto di UserDefinedType in createDataFrame da pandas DataFrame e toPandas [SPARK-43817][SPARK-43702]https://issues.apache.org/jira/browse/SPARK-43702)
• Aggiungere l'opzione binaria del descrittore all'API Pyspark Protobuf SPARK-43799
• Accettare la tupla generics come hint di digitazione di Pandas UDF SPARK-43886
• Aggiungere array_prepend funzione SPARK-41233
• Aggiungere la funzione assertDataFrameEqual util SPARK-44061
• Supporto delle funzioni definite dall'utente python ottimizzate per la freccia SPARK-43964
• Consenti precisione personalizzata per l'uguaglianza fp circa SPARK-44217
• Rendere pubblica l'API assertSchemaEqual SPARK-44216
• Supporto fill_value per ps. Serie SPARK-42094
• Supporto del tipo di struct in createDataFrame da pandas DataFrame SPARK-43473

Altre modifiche rilevanti

• Aggiungere il supporto del completamento automatico per df[|] in pyspark.sql.dataframe.DataFrame [SPARK-43892]
• Deprecare e rimuovere le API che verranno rimosse in pandas 2.0 [SPARK-42593]
• Rendere Python la prima scheda per gli esempi di codice - Spark SQL, DataFrames and Datasets Guide SPARK-42493
• Aggiornamento degli esempi di codice della documentazione di Spark rimanenti per visualizzare Python per impostazione predefinita SPARK-42642
• Usare nomi di campo deduplicati durante la creazione di Arrow RecordBatch [SPARK-41971]
• Supportare nomi di campo duplicati in createDataFrame con dataframe pandas [SPARK-43528]
• Consenti parametro columns durante la creazione di dataframe con serie [SPARK-42194]

Core

• Pianificare mergeFinalize quando si esegue il push di shuffleMapStage riprovare ma non eseguire attività SPARK-40082
• Introdurre PartitionEvaluator per l'esecuzione dell'operatore SQL SPARK-43061
• Consenti a ShuffleDriverComponent di dichiarare se i dati casuali vengono archiviati in modo affidabile SPARK-42689
• Aggiungere il limite massimo di tentativi per le fasi per evitare potenziali tentativi infiniti SPARK-42577
• Supportare la configurazione a livello di log conf SPARK-43782 statico
• Ottimizzare PercentileHeap SPARK-42528
• Aggiungere l'argomento reason a TaskScheduler.cancelTasks SPARK-42602
• Evitare di rieseguire attività non necessarie in caso di perdita di executor rimosso se i dati di cui è stata eseguita la migrazione casuale spark-41469
• Correzione del numero di sottocount nell'ambito dell'attività di ripetizione dei tentativi con rdd cache SPARK-41497
• Usare RocksDB per spark.history.store.hybridStore.diskBackend per impostazione predefinita SPARK-42277
• Wrapper NonFateSharingCache per Guava Cache SPARK-43300
• Migliorare le prestazioni di MapOutputTracker.updateMapOutput SPARK-43043
• Consentire alle app di controllare se i metadati vengono salvati nel database dal servizio shuffle esterno SPARK-43179
• Aggiungere SPARK_DRIVER_POD_IP variabile env ai pod executor SPARK-42769
• Monta la mappa di configurazione hadoop nel pod executor SPARK-43504

Structured Streaming

• Aggiunta del supporto per il rilevamento dei blocchi aggiunti per l'utilizzo della memoria per l'archivio stati di RocksDB SPARK-43120
• Aggiungere miglioramenti alla gestione della memoria del provider dell'archivio stati RocksDB SPARK-43311
• Introduzione a dropDuplicatesWithinWatermark SPARK-42931
• Introdurre un nuovo callback onQueryIdle() a StreamingQueryListener SPARK-43183
• Aggiungere l'opzione per ignorare il coordinatore del commit come parte dell'API StreamingWrite per origini/sinkSv2 SPARK-42968
• Introdurre un nuovo callback "onQueryIdle" in StreamingQueryListener SPARK-43183
• Implementare il checkpoint basato su Changelog per il provider dell'archivio stati RocksDB SPARK-43421
• Aggiungere il supporto per WRITE_FLUSH_BYTES per RocksDB usato negli operatori con stato SPARK-42792
• Aggiunta del supporto per l'impostazione di max_write_buffer_number e write_buffer_size per RocksDB usato nello streaming SPARK-42819
• L'acquisizione del blocco Di RocksDB StateStore dovrebbe verificarsi dopo aver ottenuto l'iteratore di input da inputRDD SPARK-42566
• Introdurre la propagazione della filigrana tra gli operatori SPARK-42376
• Pulire i file di log e sst orfani nella directory del checkpoint rocksDB SPARK-42353
• Espandere QueryTerminatedEvent per contenere la classe di errore, se presente nell'eccezione SPARK-43482

ML

• Supportare il training distribuito delle funzioni con Deepspeed SPARK-44264
• Interfacce di base di sparkML per spark3.5: estimator/transformer/model/analizzatore SPARK-43516
• Make MLv2 (ML on spark connect) supporta pandas >= 2.0 SPARK-43783
• Aggiornare le interfacce MLv2 Transformer SPARK-43516
• Nuovo strumento di stima della regressione logistica pyspark ML implementato sopra il server di distribuzione SPARK-43097
• Aggiungere Classifier.getNumClasses back SPARK-42526
• Scrivere una classe Deepspeed Distributed Learning DeepspeedTorchDistributor SPARK-44264
• Implementazione di base del salvataggio/caricamento per ML in spark connect SPARK-43981
• Migliorare il salvataggio del modello di regressione logistica spark-43097
• Implementare lo strumento di stima della pipeline per ML in Spark Connect SPARK-43982
• Implementare lo strumento di stima cross validator SPARK-43983
• Implementare l'analizzatore di classificazione SPARK-44250
• Rendere compatibile il server di distribuzione PyTorch con Spark Connect SPARK-42993

INTERFACCIA UTENTE

• Aggiungere una pagina dell'interfaccia utente spark per Spark Connect SPARK-44394
• Supporto della colonna Istogramma heap nella scheda Executors SPARK-44153
• Visualizzare il messaggio di errore nell'interfaccia utente per ogni query spark-44367 non riuscita
• Visualizzare l'ora di aggiunta/rimozione degli executor nella scheda Executors SPARK-44309

Compilare e altri utenti

• Rimuovere Python 3.7 Supporta SPARK-43347
• Creare la versione minima di PyArrow a 4.0.0 SPARK-44183
• Supporto di R 4.3.1 SPARK-43447 SPARK-44192
• Aggiungere API JobTag a SparkR SparkContext SPARK-44195
• Aggiungere funzioni matematiche a SparkR SPARK-44349
• Aggiornare Parquet alla versione 1.13.1 SPARK-43519
• Aggiornare ASM a 9.5 SPARK-43537 SPARK-43588
• Aggiornare rocksdbjni a 8.3.2 SPARK-41569 SPARK-42718 SPARK-43007 SPARK-43436SPARK-44256
• Aggiornare Netty a 4.1.93 SPARK-42218 SPARK-42417 SPARK-42487 SPARK-43609 SPARK-44128
• Aggiornare zstd-jni a 1.5.5-5 SPARK-42409 SPARK-42625 SPARK-43080 SPARK-43294 SPARK-43737 SPARK-43994 SPARK-44465
• Aggiornare le metriche dropwizard 4.2.19 SPARK-42654 SPARK-43738 SPARK-44296
• Aggiornare gcs-connector a 2.2.14 SPARK-42888 SPARK-43842
• Aggiornare commons-crypto a 1.2.0 SPARK-42488
• Aggiornare scala-parser-combinator da 2.1.1 a 2.2.0 SPARK-42489
• Aggiornare protobuf-java a 3.23.4 SPARK-41711 SPARK-42490 SPARK-42798 SPARK-43899 SPARK-44382
• Aggiornare commons-codec a 1.16.0 SPARK-44151
• Aggiornare Apache Kafka alla versione 3.4.1 SPARK-42396 SPARK-44181
• Aggiornare RoaringBitmap a 0.9.45 SPARK-42385 SPARK-43495 SPARK-44221
• Aggiornare ORC a 1.9.0 SPARK-42820 SPARK-44053 SPARK-44231
• Eseguire l'aggiornamento ad Avro 1.11.2 SPARK-44277
• Aggiornare commons-compress a 1.23.0 SPARK-43102
• Aggiornare joda-time dalla versione 2.12.2 alla versione 2.12.5 SPARK-43008
• Aggiornare snappy-java a 1.1.10.3 SPARK-42242 SPARK-43758 SPARK-44070 SPARK-44415 SPARK-44513
• Aggiornare mysql-connector-java dalla versione 8.0.31 alla versione 8.0.32 SPARK-42717
• Aggiornare Apache Arrow a 12.0.1 SPARK-42161 SPARK-43446 SPARK-44094
• Aggiornare commons-io a 2.12.0 SPARK-43739
• Aggiornare Apache commons-io a 2.13.0 SPARK-43739 SPARK-44028
• Aggiornare FasterXML jackson a 2.15.2 SPARK-42354 SPARK-43774 SPARK-43904
• Aggiornare log4j2 a 2.20.0 SPARK-42536
• Aggiornare slf4j a 2.0.7 SPARK-42871
• Aggiornare numpy e pandas nella versione Dockerfile SPARK-42524
• Aggiornare Jersey alla versione 2.40 SPARK-44316
• Aggiornare H2 dalla versione 2.1.214 alla versione 2.220 SPARK-44393
• Opzione di aggiornamento a ^0.9.3 SPARK-44279
• Aggiornare bcprov-jdk15on e bcpkix-jdk15on a 1.70 SPARK-44441
• Aggiornare mlflow a 2.3.1 SPARK-43344
• Aggiornare Tink a 1.9.0 SPARK-42780
• Aggiornare il silenziatore alla versione 1.7.13 SPARK-41787 SPARK-44031
• Aggiornare Ammonite a 2.5.9 SPARK-44041
• Aggiornare Scala alla versione 2.12.18 SPARK-43832
• Aggiornare org.scalatestplus:selenium-4-4 a org.scalatestplus:selenium-4-7 SPARK-41587
• Aggiornare minimatch a 3.1.2 SPARK-41634
• Aggiornare sbt-assembly da 2.0.0 a 2.1.0 SPARK-41704
• Aggiornare maven-checkstyle-plugin da 3.1.2 a 3.2.0 SPARK-41714
• Eseguire l'aggiornamento di dev.sdk.netlib alla versione 3.0.3 SPARK-41750
• Aggiornare hive-storage-api a 2.8.1 SPARK-41798
• Aggiornare Apache httpcore a 4.4.16 SPARK-41802
• Aggiornare il jetty alla versione 9.4.52.v20230823 SPARK-45052
• Aggiornare compress-lzf a 1.1.2 SPARK-42274

Rimozioni, modifiche del comportamento e deprecazione

Rimozione imminente

Le funzionalità seguenti verranno rimosse nella prossima versione principale di Spark

• Il supporto per Java 8 e Java 11 e la versione minima supportata di Java sarà Java 17
• Il supporto per Scala 2.12 e la versione minima supportata di Scala sarà la 2.13

Guide alla migrazione

• Spark Core
• SQL, set di dati e dataframe
• Structured Streaming
• MLlib (Machine Learning)
• PySpark (Python in Spark)
• SparkR (R in Spark)

Supporto del driver ODBC/JDBC di Databricks

Databricks supporta i driver ODBC/JDBC rilasciati negli ultimi 2 anni. Scaricare i driver rilasciati di recente e aggiornare (scaricare ODBC, scaricare JDBC).

Ambiente di sistema

• Sistema operativo: Ubuntu 22.04.3 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 2.4.0

Librerie Python installate

Librerie R installate

Le librerie R vengono installate dallo snapshot Gestione pacchetti CRAN nel 2023-07-13.

Librerie Java e Scala installate (versione cluster Scala 2.12)