Condividi tramite

Databricks Runtime 12.0 (EoS)

  • Articolo

Nota

Il supporto per questa versione di Databricks Runtime è terminato. Per la data di fine del supporto, vedere Cronologia di fine del supporto. Per tutte le versioni supportate di Databricks Runtime, vedere Versioni e compatibilità delle note sulla versione di Databricks Runtime.

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 12.0, basate su Apache Spark 3.3.1.

Databricks ha rilasciato questa versione nel dicembre 2022.

Miglioramenti e nuove funzionalità

L'I/O predittivo è disponibile a livello generale

L'I/O predittivo è ora disponibile a livello generale. Per altre informazioni, vedere Informazioni sulle operazioni di I/O predittive.

Photon writer supporta la compressione zstd

Il writer nativo photon supporta ora il codec di compressione zstd quando zstd è abilitato impostando su spark.sql.parquet.compression.codec zstd.

Supporto per il profilo di risorse delle attività a livello di fase per i cluster autonomi

È ora possibile usare la pianificazione a livello di fase nei cluster autonomi quando l'allocazione dinamica è disabilitata. Per usare questa funzionalità, specificare le risorse dell'attività con ResourceProfileBuilder per ogni fase.

Supporto SQL per la sovrascrittura selettiva con REPLACE WHERE

È ora possibile sovrascrivere in modo selettivo i dati corrispondenti a un'espressione arbitraria in una tabella Delta usando il modello seguente.

INSERT INTO table_name REPLACE WHERE predicate append_relation

Vedere Sovrascrittura selettiva arbitraria con replaceWhere.

Le filigrane sono ora supportate in SQL

È ora possibile specificare filigrane usando l'interfaccia SQL delle tabelle live Delta e nelle query SQL sui dataframe di streaming. Vedere clausola WATERMARK.

Profilatura della memoria PySpark

La profilatura della memoria è ora abilitata per le funzioni pySpark definite dall'utente. Vengono fornite informazioni sull'incremento della memoria, sull'utilizzo della memoria e sul numero di occorrenze per ogni riga di codice in una funzione definita dall'utente.

Eliminazione dinamica per DELETE e UPDATE

Quando si usa il calcolo DELETE abilitato per Photon e UPDATE ora si usa l'eliminazione dinamica di file e partizioni in cui migliora le prestazioni. Ad esempio, l'eliminazione dinamica è abilitata quando viene usata una tabella di origine più piccola per aggiornare o eliminare righe in una tabella più grande.

Metriche di eliminazione a livello di riga per le operazioni del linguaggio di manipolazione dei dati partizionate

Con i predicati partizionati, gli utenti possono ora controllare il numero di righe eliminate durante l'esecuzione di operazioni DML (Data Manipulation Language), ad esempio DELETE, TRUNCATEe replaceWhere.

Correzioni di bug

È stato risolto un problema relativo all'analisi JSON nel caricatore automatico in cui tutte le colonne venivano lasciate come stringhe. In precedenza, cloudFiles.inferColumnTypes non era impostato o impostato su false e l'oggetto JSON conteneva oggetti annidati.

Aggiornamenti della libreria

  • Librerie Python aggiornate:
    • argon2-cffi da 20.1.0 a 21.3.0
    • attrs da 21.2.0 a 21.4.0
    • backports.entry-points-selectable da 1.1.1 a 1.2.0
    • scolorire da 4.0.0 a 4.1.0
    • boto3 da 1.21.18 a 1.21.32
    • botocore da 1.24.18 a 1.24.32
    • cffi da 1.14.6 a 1.15.0
    • fare clic da 8.0.3 a 8.0.4
    • cycler da 0.10.0 a 0.11.0
    • Cython da 0.29.24 a 0.29.28
    • debugpy da 1.4.1 a 1.5.1
    • decorator da 5.1.0 a 5.1.1
    • punti di ingresso da 0.3 a 0.4
    • idna da 3.2 a 3.3
    • ipykernel da 6.12.1 a 6.15.3
    • ipython da 7.32.0 a 8.5.0
    • ipywidgets dalla versione 7.7.0 alla versione 7.7.2
    • jedi da 0.18.0 a 0.18.1
    • joblib da 1.0.1 a 1.1.0
    • jsonschema da 3.2.0 a 4.4.0
    • kiwisolver da 1.3.1 a 1.3.2
    • matplotlib da 3.4.3 a 3.5.1
    • nbclient da 0.5.3 a 0.5.13
    • nbconvert da 6.1.0 a 6.4.4
    • nbformat da 5.1.3 a 5.3.0
    • nest-asyncio da 1.5.1 a 1.5.5
    • notebook dalla versione 6.4.5 alla versione 6.4.8
    • numpy da 1.20.3 a 1.21.5
    • imballaggio da 21.0 a 21.3
    • pandas da 1.3.4 a 1.4.2
    • pandocfilters da 1.4.3 a 1.5.0
    • parso da 0.8.2 a 0.8.3
    • Cuscino da 8.4.0 a 9.0.1
    • platformdirs dalla versione 2.5.2 alla versione 2.5.4
    • tracciato da 5.9.0 a 5.6.0
    • prometheus-client da 0.11.0 a 0.13.1
    • protobuf da 4.21.5 a 3.19.4
    • pycparser da 2.20 a 2.21
    • Pygments da 2.10.0 a 2.11.2
    • pyodbc da 4.0.31 a 4.0.32
    • pyzmq da 22.2.1 a 22.3.0
    • richieste dalla versione 2.26.0 alla versione 2.27.1
    • s3transfer from 0.5.2 to 0.5.0
    • scikit-learn dalla versione 0.24.2 alla versione 1.0.2
    • scipy da 1.7.1 a 1.7.3
    • statsmodels da 0.12.2 a 0.13.2
    • terminado da 0.9.4 a 0.13.1
    • tomli da 2.0.1 a 1.2.2
    • traitlet da 5.1.0 a 5.1.1
    • urllib3 da 1.26.7 a 1.26.9
    • widgetsnbextension da 3.6.0 a 3.6.1
  • Librerie R aggiornate:
    • base da 4.1.3 a 4.2.2
    • birra da 1.0-7 a 1.0-8
    • bslib da 0.4.0 a 0.4.1
    • chiamante dalla versione 3.7.2 alla versione 3.7.3
    • chron da 2.3-57 a 2.3-58
    • cli da 3.3.0 a 3.4.1
    • cluster dalla versione 2.1.3 alla versione 2.1.4
    • segno comune da 1.8.0 a 1.8.1
    • compilatore da 4.1.3 a 4.2.2
    • cpp11 da 0.4.2 a 0.4.3
    • pastelli da 1.5.1 a 1.5.2
    • curl da 4.3.2 a 4.3.3
    • data.table da 1.14.2 a 1.14.4
    • set di dati da 4.1.3 a 4.2.2
    • desc da 1.4.1 a 1.4.2
    • devtools da 2.4.4 a 2.4.5
    • digest da 0.6.29 a 0.6.30
    • e1071 da 1.7-11 a 1.7-12
    • valutare da 0.16 a 0.18
    • fontawesome da 0.3.0 a 0.4.0
    • futuro da 1.28.0 a 1.29.0
    • future.apply dalla versione 1.9.1 alla versione 1.10.0
    • gargle da 1.2.0 a 1.2.1
    • gert da 1.8.0 a 1.9.1
    • ggplot2 da 3.3.6 a 3.4.0
    • gh da 1.3.0 a 1.3.1
    • gitcreds dalla versione 0.1.1 alla versione 0.1.2
    • grafica da 4.1.3 a 4.2.2
    • grDevices dalla versione 4.1.3 alla versione 4.2.2
    • griglia da 4.1.3 a 4.2.2
    • httpuv da 1.6.5 a 1.6.6
    • isoband da 0.2.5 a 0.2.6
    • jsonlite da 1.8.0 a 1.8.3
    • lava da 1.6.10 a 1.7.0
    • ciclo di vita da 1.0.1 a 1.0.3
    • lubridate da 1.8.0 a 1.9.0
    • markdown da 1.1 a 1.3
    • MASS da 7.3-56 a 7.3-58
    • Matrice da 1.4-1 a 1.5-1
    • metodi da 4.1.3 a 4.2.2
    • mgcv da 1,8-40 a 1,8-41
    • nlme da 3.1-157 a 3.1-160
    • nnet da 7.3-17 a 7.3-18
    • openssl dalla versione 2.0.2 alla versione 2.0.4
    • parallelo da 4.1.3 a 4.2.2
    • pkgload da 1.3.0 a 1.3.1
    • processx da 3.7.0 a 3.8.0
    • ps da 1.7.1 a 1.7.2
    • purrr da 0.3.4 a 0.3.5
    • ragg da 1.2.2 a 1.2.4
    • RcppEigen da 0.3.3.9.2 a 0.3.3.9.3
    • readr dalla versione 2.1.2 alla versione 2.1.3
    • ricette da 1.0.1 a 1.0.3
    • rlang da 1.0.5 a 1.0.6
    • rmarkdown da 2.16 a 2.18
    • rpart da 4.1.16 a 4.1.19
    • RSQLite da 2.2.16 a 2.2.18
    • brillante da 1.7.2 a 1.7.3
    • SparkR dalla versione 3.3.0 alla versione 3.3.1
    • splines dalla versione 4.1.3 alla versione 4.2.2
    • statistiche da 4.1.3 a 4.2.2
    • stats4 da 4.1.3 a 4.2.2
    • sys dalla versione 3.4 alla versione 3.4.1
    • tcltk da 4.1.3 a 4.2.2
    • testat da 3.1.4 a 3.1.5
    • tidyr da 1.2.0 a 1.2.1
    • tidyselect da 1.1.2 a 1.2.0
    • timeDate da 4021.104 a 4021.106
    • tinytex da 0,41 a 0,42
    • strumenti da 4.1.3 a 4.2.2
    • utilità dalla versione 4.1.3 alla versione 4.2.2
    • vctrs da 0.4.1 a 0.5.0
    • vroom da 1.5.7 a 1.6.0
    • xfun da 0.32 a 0.34
    • yaml da 2.3.5 a 2.3.6
    • zip da 2.2.0 a 2.2.2
  • Librerie Java aggiornate:
    • com.fasterxml.jackson.core.jackson-databind da 2.13.4 a 2.13.4.2
    • org.apache.parquet.column da 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.parquet-common da 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.parquet.encoding da 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.parquet-format-structures da 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.parquet-hadoop da 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.parquet-jackson da 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.yetus.audience-annotations da 0.5.0 a 0.13.0

Apache Spark

Databricks Runtime 12.0 include Apache Spark 3.3.1. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 11.3 LTS, nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

  • [SPARK-40844] [SC-116996][12.x][12.0][12.0.0] Ripristina "[SC-113542][SS] Capovolgi il valore predefinito della configurazione di recupero dell'offset Kafka"
  • [SPARK-40646] [SC-116061] Ripristinare "[SC-113379][SQL] Correzione della restituzione di risultati parziali nelle funzioni JSON e origine dati JSON"
  • [SPARK-41195] [SC-116305][SQL] Supporto di PIVOT/UNPIVOT con elementi figlio di join
  • [SPARK-41178] [SC-116139][SQL] Correzione della precedenza della regola del parser tra JOIN e virgola
  • [SPARK-41072] [SC-116140][SC-116044][SC-115852][SQL][SS] Aggiungere la classe STREAM_FAILED di errore a StreamingQueryException
  • [SPARK-40921] Ripristinare "[SC-115140][SC-114585][SQL] Aggiungere la clausola WHEN NOT MATCHED BY SOURCE a MERGE INTO
  • [SPARK-37980] [SC-115758] [SQL] Estendere la colonna METADATA per supportare gli indici di riga per i file Parquet
  • [SPARK-41055] [SC-115582][SQL] Rinominare _LEGACY_ERROR_TEMP_2424 in GROUP_BY_AGGREGATE
  • [SPARK-41101] [SC-115849][PYTHON][PROTOBUF] Supporto del nomeclasse messaggio per PYSPARK-PROTOBUF
  • [SPARK-40956] [SC-115867] Equivalente SQL per il comando di sovrascrittura del dataframe
  • [SPARK-41095] [SC-115659][SQL] Convertire gli operatori non risolti in errori interni
  • [SPARK-41144] [SC-115866][SQL] L'hint non risolto non deve causare errori di query
  • [SPARK-41137] [SC-115858][SQL] Rinominare LATERAL_JOIN_OF_TYPE in INVALID_LATERAL_JOIN_TYPE
  • [SPARK-40998] [SC-114754][SQL] Rinominare la classe _LEGACY_ERROR_TEMP_0040 di errore in INVALID_IDENTIFIER
  • [SPARK-41015] [SC-115130][SQL][PROTOBUF] UnitTest controllo null per il generatore di dati
  • [SPARK-40769] [SC-114923][CORE][SQL] Eseguire la migrazione degli errori di controllo dei tipi delle espressioni di aggregazione nelle classi di errore
  • [SPARK-41043] [SC-115183][SQL] Rinominare la classe _LEGACY_ERROR_TEMP_2429 di errore in NUM_COLUMNS_MISMATCH
  • [SPARK-40777] [SC-114855][SQL][PROTOBUF] Supporto dell'importazione protobuf e spostamento di classi di errore.
  • [SPARK-41019] [SC-114987][SQL] Fornire un contesto di query a failAnalysis()
  • [SPARK-41027] [SC-115131][SQL] Usare UNEXPECTED_INPUT_TYPE invece di MAP_FROM_ENTRIES_WRONG_TYPE
  • [SPARK-40476] [SC-115868][SC-111163][ML][SQL] Ridurre le dimensioni casuali di ALS
  • [SPARK-41134] [SC-115851][SQL] Migliorare il messaggio di errore degli errori interni
  • [SPARK-37980] Ripristinare " [SQL] Estendere la colonna METADATA per supportare gli indici di riga per i file Parquet
  • [SPARK-41109] [SC-115788][SQL] Rinominare la classe di errore _LEGACY_ERROR_TEMP_1216 in INVALID_LIKE_PATTERN
  • [SPARK-40984] [SC-115844][CORE][SQL] Usare NON_FOLDABLE_INPUT invece di FRAME_LESS_OFFSET_WITHOUT_FOLDABLE
  • [SPARK-41029] [SC-115828][SQL] Ottimizzare l'uso del costruttore di GenericArrayData per Scala 2.13
  • [SPARK-40697] [SC-113648][SQL] Aggiungere la spaziatura interna dei caratteri in lettura per coprire i file di dati esterni
  • [SPARK-40978] [SC-114574][SQL] Eseguire la migrazione failAnalysis() di un contesto in classi di errore
  • [SPARK-40663] [SC-114586][SQL] Eseguire la migrazione degli errori di esecuzione nelle classi di errore: _LEGACY_ERROR_TEMP_2251-2275
  • [SPARK-38959] [SC-115672][SC-112707][SQL] DS V2: Supportare il filtro dei gruppi di runtime nei comandi a livello di riga
  • [SPARK-40372] [SC-115668][SQL] Eseguire la migrazione degli errori dei controlli di tipo matrice nelle classi di errore
  • [SPARK-41038] [SC-115371][SQL] Rinominare MULTI_VALUE_SUBQUERY_ERROR in SCALAR_SUBQUERY_TOO_MANY_ROWS
  • [SPARK-40965] [SC-114443][SQL] Rinominare la classe _LEGACY_ERROR_TEMP_1208 di errore in FIELD_NOT_FOUND
  • [SPARK-40748] [SC-114696][SQL] Eseguire la migrazione degli errori di controllo dei tipi di condizioni nelle classi di errore
  • [SPARK-40371] [SC-114557][SQL] Eseguire la migrazione degli errori di controllo dei tipi di NthValue e NTile nelle classi di errore
  • [SPARK-41092] [SC-115547][SQL] Non usare l'identificatore per trovare le corrispondenze tra le unità intervallo
  • [SPARK-41009] [SC-115360][SQL] Rinominare la classe _LEGACY_ERROR_TEMP_1070 di errore in LOCATION_ALREADY_EXISTS
  • [SPARK-37980] [SQL] Estendere la colonna METADATA per supportare gli indici di riga per i file Parquet
  • [SPARK-40967] [SC-114448][SQL] Eseguire la migrazione failAnalysis() alle classi di errore
  • [SPARK-34265] [SC-115486][SC-113788][PYTHON][SQL] Instrumentare funzioni definite dall'utente Python usando le metriche SQL
  • [SPARK-41012] [SC-114873][SQL] Rinominare _LEGACY_ERROR_TEMP_1022 in ORDER_BY_POS_OUT_OF_RANGE
  • [SPARK-41042] [SC-115142][SQL] Rinominare PARSE_CHAR_MISSING_LENGTH in DATATYPE_MISSING_SIZE
  • [SPARK-40752] [SC-114442][SQL] Eseguire la migrazione degli errori di controllo dei tipi di espressioni non riuscite nelle classi di errore
  • [SPARK-37945] [SC-115534][SQL][CORE] Usare classi di errore negli errori di esecuzione delle operazioni aritmetiche
  • [SPARK-40374] [SC-114705][SQL] Eseguire la migrazione degli errori di controllo dei tipi dei creatori nelle classi di errore
  • [SPARK-41056] [SC-115354][R] Correzione del nuovo comportamento di R_LIBS_SITE introdotto in R 4.2
  • [SPARK-41041] [SC-115357][SQL] Integrazione _LEGACY_ERROR_TEMP_1279 in TABLE_OR_VIEW_ALREADY_EXISTS
  • [SPARK-40663] [SC-114852][SQL] Eseguire la migrazione degli errori di esecuzione nelle classi di errore: _LEGACY_ERROR_TEMP_2201-2225
  • [SPARK-41020] [SC-114984][SQL] Rinominare la classe _LEGACY_ERROR_TEMP_1019 di errore in STAR_GROUP_BY_POS
  • [SPARK-41035] [SC-115233][SQL] Non applicare patch agli elementi figlio piegabili delle funzioni di aggregazione in RewriteDistinctAggregates
  • [SPARK-39778] [SC-114353][SQL] Migliorare le classi di errore e i messaggi
  • [SPARK-40798] [SC-113782][SQL] Modificare la partizione deve verificare il valore seguire storeAssignmentPolicy
  • [SPARK-40810] [SC-113533][SQL] Usare SparkIllegalArgumentException anziché IllegalArgumentException in CreateDatabaseCommand & AlterDatabaseSetLocationCommand
  • [SPARK-40921] [SC-115140][SC-114585][SQL] Aggiungere la clausola WHEN NOT MATCHED BY SOURCE a MERGE INTO
  • [SPARK-40360] [SC-114965] eccezioni ALREADY_EXISTS e NOT_FOUND
  • [SPARK-41007] [SC-115085][SQL] Aggiungere un serializzatore mancante per java.math.BigInteger
  • [SPARK-40751] [SC-114254][SQL] Eseguire la migrazione degli errori di controllo dei tipi di funzioni di ordine elevato nelle classi di errore
  • [SPARK-40248] [SC-114704][SQL] Usare un numero maggiore di bit per compilare il filtro Bloom
  • [SPARK-41040] [SC-115145][SS] Correzione dell'errore di query di streaming self-union quando si usa readStream.table
  • [SPARK-32380] [SC-114966][SQL] Correzione dell'accesso alla tabella HBase tramite Hive da Spark
  • [SPARK-40749] [SC-114860][SQL] Eseguire la migrazione degli errori di controllo dei tipi dei generatori nelle classi di errore
  • [SPARK-40925] [SC-114445][SQL][SS][WARMFIX][12.x] Correzione dell'operatore con stato in ritardo...
  • [SPARK-40654] [SC-112783] Rimuovere le righe di log temporanee
  • [SPARK-40742] [SC-114913][SC-112646][CORE][SQL] Correzione degli avvisi di compilazione Java correlati al tipo generico
  • [SPARK-40657] [SC-113642][Cherry-pick] Aggiungere il supporto per le classi Java in Protob...
  • [SPARK-40898] [SC-113932][SQL] Errori di mancata corrispondenza tra virgolette dei nomi delle funzioni nel tipo di dati
  • [SPARK-40760] [SC-113750][SQL] Eseguire la migrazione degli errori di controllo dei tipi delle espressioni di intervallo nelle classi di errore
  • [SPARK-36114] [SC-113771][SQL] Supportare sottoquery con predicati di non uguaglianza correlati
  • [SPARK-40856] [SC-113738][SQL] Aggiornare il modello di errore di WRONG_NUM_PARAMS
  • [SPARK-40759] [SC-114251][SQL] Eseguire la migrazione degli errori di controllo dei tipi dell'intervallo di tempo nelle classi di errore
  • [SPARK-40750] [SC-113812][SQL] Eseguire la migrazione degli errori di controllo dei tipi delle espressioni matematiche nelle classi di errore
  • [SPARK-40756] [SC-113749][SQL] Eseguire la migrazione degli errori di controllo dei tipi delle espressioni stringa nelle classi di errore
  • [SPARK-40768] [SC-113640][SQL] Eseguire la migrazione degli errori di controllo dei tipi di bloom_filter_agg() nelle classi di errore
  • [SPARK-40369] [SC-113402][CORE][SQL] Eseguire la migrazione degli errori di controllo del tipo delle chiamate tramite reflection sulle classi di errore
  • [SPARK-39445] [SQL] Rimuovere la finestra se windowExpressions è vuoto nell'eliminazione delle colonne
  • [SPARK-40761] [SC-113245][SQL] Eseguire la migrazione degli errori di controllo dei tipi delle espressioni percentili nelle classi di errore
  • [SPARK-40361] [SC-112789][SQL] Eseguire la migrazione degli errori di controllo dei tipi aritmetici nelle classi di errore
  • [SPARK-40714] [SC-112576][SQL] Togliere PartitionAlreadyExistsException
  • [SPARK-40702] [SC-112437][SQL] Correggere le specifiche di partizione in PartitionsAlreadyExistException
  • [SPARK-40358] [SC-112631][SQL] Eseguire la migrazione degli errori di controllo dei tipi di raccolta nelle classi di errore
  • [SPARK-40910] [SC-114259][SQL] Sostituire UnsupportedOperationException con SparkUnsupportedOperationException
  • [SPARK-39876] [SC-112429][SQL] Aggiungere UNPIVOT alla sintassi SQL
  • [SPARK-39783] [SC-113389][SQL] Quote qualifiedName per correggere i backtick per i candidati di colonna nei messaggi di errore
  • [SPARK-40663] [SC-112520][SQL] Eseguire la migrazione degli errori di esecuzione nelle classi di errore: _LEGACY_ERROR_TEMP_2026-2282
  • [SPARK-40975] [SC-114555][SQL] Rinominare la classe _LEGACY_ERROR_TEMP_0021 di errore in UNSUPPORTED_TYPED_LITERAL
  • [SPARK-37935] [SC-114472][SQL] Eliminare campi di sottoclassi di errore separati
  • [SPARK-40944] [SC-114530][SQL] Vincolo di ordinamento rilassante per le opzioni di colonna CREATE TABLE
  • [SPARK-40815] [SC-114528][SQL] Aggiungere DelegateSymlinkTextInputFormat un bug alla soluzione alternativa SymlinkTextInputSplit
  • [SPARK-40933] [SC-114441][SQL] Reimplement df.stat. {cov, corr} con funzioni sql predefinite
  • [SPARK-40932] [SC-114439][CORE] Correzione dei messaggi di problema per allGather sottoposto a override
  • [SPARK-39312] [SQL] Usare parquet native Nel predicato per nel push del filtro
  • [SPARK-40862] [SC-114352][SQL] Supportare sottoquery non aggregate in RewriteCorrelatedScalarSubquery
  • [SPARK-40963] [SC-114446][SQL] Impostare i valori Nullable correttamente nel progetto creato da ExtractGenerator
  • [SPARK-40663] [SC-112295][SQL] Eseguire la migrazione degli errori di esecuzione nelle classi di errore: _LEGACY_ERROR_TEMP_2000-2024
  • [SPARK-40892] [SC-114347][SQL][SS] Allentare il requisito della regola di window_time: consentire più chiamate window_time
  • [SPARK-40540] [SC-111639][SQL] Eseguire la migrazione degli errori di compilazione nelle classi di errore: _LEGACY_ERROR_TEMP_1100-1347
  • [SPARK-40924] [SC-114258][SQL] Correzione per Unhex quando l'input ha un numero dispari di simboli
  • [SPARK-40821] [SC-113754][SQL][CORE][PYTHON][SS] Introdurre window_time funzione per estrarre l'ora dell'evento dalla colonna della finestra
  • [SPARK-40800] [SC-113772][SQL] Espressioni sempre inline in OptimizeOneRowRelationSubquery
  • [SPARK-40900] [SC-114006][SQL] Riesemplement frequentItems con operazioni del dataframe
  • [SPARK-40735] [SC-114022][SC-112657] Richiamare costantemente bash con /usr/bin/env bash negli script per rendere il codice più portabile
  • [SPARK-40773] [SC-113091][SQL] Refactoring checkCorrelationsInSubquery
  • [SPARK-40615] [SC-113400][SQL] Controllare i tipi di dati non supportati durante la correlazione delle sottoquery
  • [SPARK-40660] [SC-112293][CORE][SQL] Passare a XORShiftRandom per distribuire gli elementi
  • [SPARK-40540] [SC-113926][SC-111331][SQL] Eseguire la migrazione degli errori di compilazione nelle classi di errore
  • [SPARK-40551] [SC-113135][SQL] DataSource V2: Aggiungere API per operazioni a livello di riga basate su delta
  • [SPARK-39391] [SC-110676][CORE] Riutilizzare le classi partitioner
  • [SPARK-40368] [SC-113396][SQL] Eseguire la migrazione degli errori di controllo del tipo di filtro Bloom nelle classi di errore
  • [SPARK-39146] [SC-111814][CORE][SQL] Introdurre singleton locale per ObjectMapper che può essere riutilizzato
  • [SPARK-40357] [SC-113786][SC-111352][SQL] Eseguire la migrazione degli errori di controllo del tipo di finestra nelle classi di errore
  • [SPARK-40874] [SC-113756][PYTHON] Correzione delle trasmissioni nelle funzioni definite dall'utente Python quando la crittografia è abilitata
  • [SPARK-40359] [SC-113770][SC-111146][SQL] La migrazione del controllo dei tipi non riesce nelle espressioni CSV/JSON alle classi di errore
  • [SPARK-40880] [SC-113764][SQL] Riesemplement summary con operazioni del dataframe
  • [SPARK-40877] [SC-113763][SQL] Riesemplement crosstab con operazioni del dataframe
  • [SPARK-40382] [SC-113098][SQL] Raggruppare espressioni di aggregazione distinte per elementi figlio semanticamente equivalenti in RewriteDistinctAggregates
  • [SPARK-40826] [SC-113532][SS] Aggiungere un controllo del file di ridenominazione del checkpoint aggiuntivo
  • [SPARK-40829] [SC-113426][SQL] STORED AS serde nella vista CREATE TABLE LIKE non funziona
  • [SPARK-40844] [SC-113542][SS] Capovolgere il valore predefinito della configurazione di recupero dell'offset Kafka
  • [SPARK-40488] [SC-113568][SC-111160] Non eseguire il wrapping delle eccezioni generate quando la scrittura dell'origine dati ha esito negativo
  • [SPARK-40560] [SC-113631][SC-111335][SQL] Rinominare message in messageTemplate nel STANDARD formato degli errori
  • [SPARK-40618] [SC-113096][SQL] Correzione di un bug nella regola MergeScalarSubqueries con sottoquery annidate usando il rilevamento dei riferimenti
  • [SPARK-40530] [SC-113528][SC-111332][SQL] Aggiungere API per sviluppatori correlate agli errori
  • [SPARK-40806] [SC-113250][SQL] Correzione di errori di digitatura: CREATE TABLE -> REPLACE TABLE
  • [SPARK-40646] [SC-113379][SQL] Correzione della restituzione di risultati parziali nelle funzioni JSON e origine dati JSON
  • [SPARK-40654] [Cherry-pick][SC-112783][SQL] Supporto protobuf per Spark da...
  • [SPARK-40753] [SC-113539][SQL] Correzione di un bug nel test case per l'operazione della directory del catalogo
  • [SPARK-40765] [SC-113056][SQL] Ottimizzare l'operazione fs ridondante nel CommandUtils#calculateSingleLocationSize#getPathSize metodo
  • [SPARK-40114] [ES-479282][R][11.X] Supporto di Arrow 9.0.0 con SparkR
  • [SPARK-40479] [SC-110935][SQL] Eseguire la migrazione di un errore imprevisto del tipo di input a una classe di errore
  • [SPARK-40473] [SC-113388][SC-111141][SQL] Eseguire la migrazione degli errori di analisi nelle classi di errore
  • [SPARK-39853] [SC-111867][CORE] Supporto del profilo delle risorse delle attività a livello di fase per il cluster autonomo quando l'allocazione dinamica è disabilitata (porta di backup da PR-47157)
  • [SPARK-40407] [SC-111161][SQL] Correggere la potenziale asimmetria dei dati causata da df.repartition
  • [SPARK-40425] [SC-110840][SQL] DROP TABLE non deve eseguire la ricerca di tabelle
  • [SPARK-40703] [SC-113242][SQL] Introdurre shuffle in SinglePartition per migliorare il parallelismo
  • [SPARK-40640] [SC-113138][CORE] SparkHadoopUtil per impostare l'origine delle opzioni di configurazione hadoop/hive
  • [SPARK-39062] [11.x][CORE] Aggiungere il supporto per la pianificazione delle risorse a livello di fase per il cluster autonomo
  • [SPARK-33861] [SC-109877]Ripristinare "[SQL] Semplificare l'utilizzo condizionale nel predicato"
  • [SPARK-40667] [SC-113136][SQL] Eseguire il refactoring delle opzioni dell'origine dati del file
  • [SPARK-40370] [SC-110677][SQL] Impossibile eseguire la migrazione del controllo dei tipi nelle classi di errore in CAST
  • [SPARK-40611] [SC-113105][SQL] Migliorare le prestazioni di setInterval e getInterval per UnsafeRow
  • [SPARK-40733] [SC-113126][SQL] Rendere il contenuto di SERDEPROPERTIES nel risultato di ShowCreateTableAsSerdeCommand avere un ordine fisso
  • [SPARK-40585] [SC-112180][SQL] Supportare identificatori tra virgolette doppie
  • [SPARK-40772] [SC-112992][SQL] Migliorare spark.sql.adaptive.skewJoin.skewedPartitionFactor per supportare Double i valori
  • [SPARK-40565] [SC-112417][SQL] Non eseguire il push di filtri non deterministici nelle origini file V2
  • [SPARK-8731] [SC-112784] Beeline non funziona con l'opzione -e all'avvio in background
  • [SPARK-35242] [SC-111398][SQL] Supporto della modifica del database predefinito del catalogo di sessioni
  • [SPARK-40426] [SC-110672][SQL] Restituire una mappa da SparkThrowable.getMessageParameters
  • [SPARK-40494] [SC-112655][SC-111025][CORE][SQL][ML][MLLIB] Ottimizzare le prestazioni del modello di keys.zipWithIndex.toMap codice
  • [SPARK-40521] [SC-112430][SQL] Return exists partitions in from Hive's create partitions exists only exists partitions in PartitionsAlreadyExistException from Hive's create partitions
  • [SPARK-40705] [SC-112567][SQL] Gestire il caso dell'uso di una matrice modificabile durante la conversione di Row in JSON per Scala 2.13
  • [SPARK-39895] [SC-112590][SQL][PYTHON] Supportare l'eliminazione di più colonne
  • [SPARK-40607] [SC-112296][CORE][SQL][MLLIB][SS] Rimuovere le operazioni di interpolazione di stringhe ridondanti
  • [SPARK-40420] [SC-112604][SC-110569][SQL] Ordinare i parametri dei messaggi di errore in base ai nomi nei formati JSON
  • [SPARK-40403] [SC-110564][SQL] Calcolare le dimensioni delle matrici non sicure usando longs per evitare dimensioni negative nel messaggio di errore
  • [SPARK-40482] [SC-110831][SQL] Regredire SPARK-24544 Print actual failure cause when look up function failed
  • [SPARK-40400] [SC-112555][SC-110397][SQL] Passare i parametri del messaggio di errore alle eccezioni come mappe
  • [SPARK-40628] [SC-112414][SQL] Non eseguire il push di una condizione semi/anti join complessa a sinistra tramite il progetto
  • [SPARK-40562] [SC-111455][SQL] Aggiungere spark.sql.legacy.groupingIdWithAppendedUserGroupBy
  • [SPARK-40501] [SC-111333][SQL] Aggiungere PushProjectionThroughLimit per Optimizer
  • [SPARK-39200] [SC-111244][CORE] Rendere l'archiviazione di fallback readFully nel contenuto
  • [SPARK-38717] [SC-111241][SQL] Gestire il comportamento di conservazione delle specifiche del bucket di Hive
  • [SPARK-40385] [SC-111123][SQL] Correzione del percorso interpretato per il costruttore dell'oggetto complementare
  • [SPARK-40216] [SC-112413][SQL] Estrarre un metodo comune ParquetUtils.prepareWrite per deduplicare il codice in ParquetFileFormat e ParquetWrite
  • [SPARK-40636] [SC-112160][CORE] Correzione di un log di shuffles errato in BlockManagerDecommissioner
  • [SPARK-40617] [SC-112009] Correzione della race condition nella gestione delle voci stageTCMP di ExecutorMetricsPoller
  • [SPARK-40618] [SC-112046][SQL] Correzione di un bug nella regola MergeScalarSubqueries con sottoquery annidate
  • [SPARK-40612] [SC-111933][CORE] Correzione dell'entità usata per il rinnovo del token di delega in gestori risorse non YARN
  • [SPARK-40595] [SC-111662][SQL] Migliorare il messaggio di errore per le relazioni CTE inutilizzate
  • [SPARK-40314] [SC-111879][SQL][PYTHON] Aggiungere associazioni scala e Python per inline e inline_outer
  • [SPARK-40416] [SC-110945][SQL] Spostare i messaggi di errore checkAnalysis dell'espressione sottoquery per usare il nuovo framework di errore
  • [SPARK-40318] [SC-111865][SC-109986][SQL] try_avg() deve generare le eccezioni dal relativo elemento figlio
  • [SPARK-40509] [SC-111644][SS][PYTHON] Aggiungere un esempio per applyInPandasWithState
  • [SPARK-40310] [SC-111329][SC-109842][SQL] try_sum() deve generare le eccezioni dal relativo elemento figlio
  • [SPARK-40016] [SQL] Rimuovere tryEval non necessario nell'implementazione di try_sum()
  • [SPARK-40527] [SC-111224][SQL] Mantenere i nomi dei campi struct o le chiavi di mapping in CreateStruct
  • [SPARK-38098] [SC-111178][PYTHON] Aggiunta del supporto per ArrayType di StructType annidato alla conversione basata su freccia
  • [SPARK-40324] [SC-111359][SC-110293][SQL] Fornire il contesto di query in AnalysisException
  • [SPARK-40492] [SC-111324][SS] Eseguire la manutenzione prima di scaricare StateStore in streaming
  • [SPARK-40487] [SC-111124][SQL] Impostare defaultJoin in BroadcastNestedLoopJoinExec in esecuzione in parallelo
  • [SPARK-40474] [SC-111273][SQL] Correggere il comportamento di inferenza e analisi dei dati dello schema CSV sulle colonne con date e timestamp misti
  • [SPARK-40508] [SC-111066][SQL] Considerare il partizionamento sconosciuto come UnknownPartitioning
  • [SPARK-40496] [SC-111234][SC-111013][SQL] Correggere le configurazioni per controllare "enableDateTimeParsingFallback"
  • [SPARK-40435] [SC-111214][SS][PYTHON] Aggiungere gruppi di test per applyInPandasWithState in PySpark
  • [SPARK-40434] [SC-111125][SS][PYTHON] Implementare applyInPandasWithState in PySpark

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 12.0.

Ambiente di sistema

  • Sistema operativo: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.64.0.19-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.2.2
  • Delta Lake: 2.2.0

Librerie Python installate

Library Versione Library Versione Library Versione
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 asttoken 2.0.5
attrs 21.4.0 backcall 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 black 22.3.0 bleach 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
click 8.0.4 cryptography 3.4.8 cycler 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
decorator 5.1.1 defusedxml 0.7.1 distlib 0.3.6
entrypoints 0.4 executing 0.8.3 facet-overview 1.0.0
fastjsonschema 2.16.2 filelock 3.8.0 fonttools 4.25.0
idna 3.3 ipykernel 6.15.3 ipython 8.5.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 jedi 0.18.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.1.0
jsonschema 4.4.0 jupyter-client 6.1.12 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.2
MarkupSafe 2.0.1 matplotlib 3.5.1 matplotlib-inline 0.1.2
mistune 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.3.0 nest-asyncio 1.5.5
notebook 6.4.8 numpy 1.21.5 packaging 21.3
pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.9.0 patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Pillow 9.0.1 pip 21.2.4
platformdirs 2.5.4 plotly 5.6.0 prometheus-client 0.13.1
prompt-toolkit 3.0.20 protobuf 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 7.0.0 pycparser 2.21 Pygments 2.11.2
PyGObject 3.36.0 pyodbc 4.0.32 pyparsing 3.0.4
pyrsistent 0.18.0 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.3.0 requests 2.27.1 requests-unixsocket 0.2.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
six 1.16.0 soupsieve 2.3.1 ssh-import-id 5.10
stack-data 0.2.0 statsmodels 0.13.2 tenacity 8.0.1
terminado 0.13.1 testpath 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornado 6.1
traitlets 5.1.1 typing_extensions 4.1.1 unattended-upgrades 0.1
urllib3 1.26.9 virtualenv 20.8.0 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.37.0 widgetsnbextension 3.6.1

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2022-11-11.

Library Versione Library Versione Library Versione
freccia 10.0.0 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.4 bit64 4.0.5 blob 1.2.3
boot 1.3-28 brew 1.0-8 brio 1.1.3
Scopa 1.0.1 bslib 0.4.1 cachem 1.0.6
callr 3.7.3 caret 6.0-93 cellranger 1.1.0
chron 2.3-58 class 7.3-20 cli 3.4.1
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-18 colorspace 2.0-3 commonmark 1.8.1
compilatore 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 credentials 1.3.2 curl 4.3.3
data.table 1.14.4 datasets 4.2.2 DBI 1.1.3
dbplyr 2.2.1 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.30 downlit 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
puntini di sospensione 0.3.2 evaluate 0,18 fansi 1.0.3
farver 2.1.1 fastmap 1.1.0 fontawesome 0.4.0
forcats 0.5.2 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.29.0
future.apply 1.10.0 gargle 1.2.1 generics 0.1.3
gert 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 globals 0.16.1
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.0 grafica 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0.9 hms 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 Iteratori 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 knitr 1,40
Etichettatura 0.4.2 later 1.3.0 Lattice 0.20-45
Java 1.7.0 lifecycle 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 markdown 1.3
MASS 7.3-58 Matrice 1.5-1 memoise 2.0.1
methods 4.2.2 mgcv 1.8-41 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.9
munsell 0.5.0 nlme 3.1-160 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 parallel 4.2.2
parallelly 1.32.1 Concetto fondamentale 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 praise 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Avanzamento 1.2.2
progressr 0.11.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.1 ricette 1.0.3
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.2.18 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.2 Scalabilità 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 Forma 1.4.6
shiny 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.1 spaziale 7.3-11 Spline 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.8 stringr 1.4.1
Sopravvivenza 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 textshaping 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.1.1 timeDate 4021.106
tinytex 0,42 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 UTF8 1.2.2
utils 4.2.2 uuid 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 vroom 1.6.0 waldo 0.4.0
whisker 0.4 withr 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 zip 2.2.2

Librerie Java e Scala installate (versione del cluster Scala 2.12)

ID gruppo ID artefatto Versione
antlr antlr 2.7.7
com.amazonaws amazon-distribuisci-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-consultas 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.mdfsoftware kryo-shaded 4.0.2
com.mdfsoftware minlog 1.3.0
com.fasterxml compagno di classe 1.3.4
com.fasterxml.jackson.core annotazioni jackson 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeina caffeina 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guaiava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocità univocità-parser 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.sdk.netlib arpack 2.2.1
dev.sdk.netlib blas 2.2.1
dev.sdk.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.5.2
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx agente di raccolta 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine sottaceto 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow formato freccia 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow freccia-vettore 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curatore-cliente 2.13.0
org.apache.curator curatore-framework 2.13.0
org.apache.curator ricette curatori 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shim 1.7.6
org.apache.parquet parquet-column 1.12.3-databricks-0001
org.apache.parquet parquet-common 1.12.3-databricks-0001
org.apache.parquet codifica parquet 1.12.3-databricks-0001
org.apache.parquet strutture parquet-format-structures 1.12.3-databricks-0001
org.apache.parquet parquet-hadoop 1.12.3-databricks-0001
org.apache.parquet parquet-jackson 1.12.3-databricks-0001
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus annotazioni del gruppo di destinatari 0.13.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core maglia-comune 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap Spessori 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark inutilizzato 1.0.0
org.threeten treten-extra 1.5.0
org.cortanaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1