Databricks Runtime 16.0

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 16.0 obsługiwanym przez platformę Apache Spark 3.5.0.

Usługa Databricks wydała tę wersję w listopadzie 2024 r.

Zmiany zachowań

• Zmiana powodująca niezgodność: zestaw JDK 17 jest teraz domyślny
• Zmiana powodująca niezgodność: Hostowana aplikacja RStudio jest zakończona
• Zmiana powodująca niezgodność: usuwanie obsługi zmiany bytetypów , shortint i na long szersze typy
• Poprawne analizowanie wzorców wyrażeń regularnych z negacją w zagnieżdżonym grupowaniu znaków
• Ulepszanie wykrywania zduplikowanych dopasowań w usłudze Delta Lake MERGE
• Nie można już zastąpić metody instalacji biblioteki klastra
• Domyślny limit czasu dwóch godzin instalacji biblioteki w zakresie klastra
• Instalowanie bibliotek z systemu plików DBFS i ustawianie conf spark.databricks.driver.dbfsLibraryInstallationAllowed platformy Spark jest wyłączone
• Funkcje addArtifact() są teraz spójne w różnych typach obliczeniowych

Zmiana powodująca niezgodność: zestaw JDK 17 jest teraz domyślny

W środowisku Databricks Runtime 16.0 lub nowszym domyślna wersja zestawu JDK jest przełączana z zestawu JDK 8 do zestawu JDK 17. Ta zmiana jest wprowadzana z powodu planowanego wycofania i zakończenia wsparcia dla zestawu JDK 8. Ma to wpływ na następujące kwestie:

• Kod Java uruchomiony w obliczeniach usługi Azure Databricks musi być zgodny z językiem Java 17.
• Kod języka Scala uruchomiony w notesach lub obliczeniach usługi Azure Databricks musi być zgodny z językiem Java 17.
• Biblioteki Java i Scala zainstalowane na obliczeniach muszą być zgodne z językiem Java 17.
• Wersje klienta magazynu metadanych Apache Hive poniżej wersji 2.x. Ustawienie konfiguracji spark.sql.hive.metastore.version platformy Spark na wersję niższą niż 2.x spowoduje problemy ze zgodnością z językiem Java 17 i błędami połączenia z magazynem metadanych Hive. Usługa Databricks zaleca uaktualnienie programu Hive do wersji nowszej niż 2.0.0.

Jeśli chcesz przywrócić środowisko Java 8, dodaj następujące elementy do zmiennych środowiskowych platformy Spark podczas konfigurowania obliczeń usługi Azure Databricks:

JNAME=zulu8-ca-amd64

Jeśli używasz wystąpień usługi ARM, użyj następujących elementów:

JNAME=zulu8-ca-arm64

Aby dowiedzieć się więcej na temat określania wersji zestawu JDK za pomocą obliczeń usługi Azure Databricks, zobacz Tworzenie klastra korzystającego z zestawu JDK 17.

Aby uzyskać pomoc dotyczącą migrowania kodu z środowiska Java 8, zobacz następujące przewodniki:

• Przejście z języka Java 8 do środowiska Java 11
• Migrowanie z zestawu JDK 8 do nowszych wydań zestawu JDK

Zmiana powodująca niezgodność: Hostowana aplikacja RStudio jest zakończona

W tej wersji program RStudio Server hostowany w usłudze Databricks jest niedostępny w dowolnym obszarze roboczym usługi Azure Databricks z uruchomionym środowiskiem Databricks Runtime 16.0 lub nowszym. Aby dowiedzieć się więcej i zapoznać się z listą alternatyw dla programu RStudio, zobacz Temat Hostowane wycofanie programu RStudio Server.

Zmiana powodująca niezgodność: usuwanie obsługi zmiany bytetypów , shortint i na long szersze typy

W środowisku Databricks Runtime 15.4.3 lub nowszym następujące zmiany typu danych nie mogą być już stosowane do tabel z włączoną funkcją rozszerzania typu:

• byte short, inti long do decimal.
• byte, shorti int do double.

Ta zmiana jest wprowadzana w celu zapewnienia spójnego zachowania w tabelach Delta i Iceberg. Aby dowiedzieć się więcej na temat rozszerzania typów, zobacz Rozszerzanie typu.

Poprawne analizowanie wzorców wyrażeń regularnych z negacją w zagnieżdżonym grupowaniu znaków

Ta wersja zawiera zmianę w celu obsługi poprawnego analizowania wzorców wyrażeń regularnych z negacją w zagnieżdżonym grupowaniu znaków. Na przykład [^[abc]] zostanie przeanalizowany jako "dowolny znak, który nie jest jednym z "abc".

Ponadto zachowanie aplikacji Photon było niespójne z platformą Spark dla klas znaków zagnieżdżonych. Wzorce wyrażeń regularnych zawierające zagnieżdżone klasy znaków nie będą już używać funkcji Photon i zamiast tego będą używać platformy Spark. Zagnieżdżona klasa znaków to dowolny wzorzec zawierający nawiasy kwadratowe w nawiasach kwadratowych, takich jak [[a-c][1-3]].

Ulepszanie wykrywania zduplikowanych dopasowań w usłudze Delta Lake MERGE

W środowisku Databricks Runtime 15.4 LTS i poniżej operacje kończą się niepowodzeniem, MERGE jeśli więcej niż jeden wiersz w tabeli źródłowej pasuje do tego samego wiersza w tabeli docelowej na MERGE podstawie warunku określonego ON w klauzuli . W środowisku Databricks Runtime 16.0 lub nowszym MERGE uwzględnia również warunki określone w klauzuli WHEN MATCHED . Zobacz operacje Upsert w tabeli usługi Delta Lake przy użyciu scalania.

Nie można już zastąpić metody instalacji biblioteki klastra

Konfiguracje platformy spark.databricks.libraries.enableSparkPyPISpark , spark.databricks.libraries.enableMavenResolutioni spark.databricks.libraries.enableCRANResolutionnow teraz są domyślne i nie można ich zastąpić true .

Domyślny limit czasu dwóch godzin instalacji biblioteki w zakresie klastra

W środowisku Databricks Runtime 16.0 lub nowszym instalacja biblioteki o zakresie klastra ma domyślny limit czasu dwóch godzin. Instalacje bibliotek, które trwa dłużej niż ten limit czasu, zakończą się niepowodzeniem i instalacja zostanie zakończona. Podczas konfigurowania klastra można zmienić limit czasu przy użyciu konfiguracji spark.databricks.driver.clusterLibraryInstallationTimeoutSecplatformy Spark.

Instalowanie bibliotek z systemu plików DBFS i ustawianie conf spark.databricks.driver.dbfsLibraryInstallationAllowed platformy Spark jest wyłączone

W środowisku Databricks Runtime 16.0 lub nowszym instalowanie bibliotek z systemu plików DBFS jest w pełni wyłączone. Ta zmiana jest wprowadzana w celu zwiększenia bezpieczeństwa bibliotek w obszarze roboczym usługi Databricks. Ponadto w środowisku Databricks Runtime 16.0 lub nowszym nie można już używać konfiguracji spark.databricks.driver.dbfsLibraryInstallationAllowedplatformy Spark.

Funkcje addArtifact() są teraz spójne w różnych typach obliczeniowych

W tej wersji archiwum jest automatycznie rozpakowane, gdy używasz addArtifact(archive = True) polecenia , aby dodać zależność do współużytkowanych lub bezserwerowych zasobów obliczeniowych usługi Azure Databricks. Ta zmiana powoduje, że zachowanie "addArtifact(archive = True) dla tych typów obliczeniowych jest spójne z obliczeniami pojedynczego użytkownika, które już obsługuje automatyczne rozpakowywanie archiwów.

Nowe funkcje i ulepszenia

• Bardziej niezawodne ponowne ładowanie zmodyfikowanych modułów języka Python z ulepszeniami autoreload
• Obsługa avro dla schematu cyklicznego
• funkcje to_avro i from_avro
• Rozszerzona obsługa rejestru schematów platformy Confluent dla avro
• Wymuszanie ponownego tworzenia tabel przy użyciu klastrowania cieczy
• Interfejsy API delty dla języków Python i Scala obsługują teraz kolumny tożsamości
• Szczegółowa kontrola dostępu w obliczeniach pojedynczego użytkownika jest ogólnie dostępna
• Tworzenie płynnych tabel klastrowanych podczas zapisów przesyłanych strumieniowo
• Obsługa klauzuli OPTIMIZE FULL
• Obsługa specyfikacji opcji WITH w instrukcji INSERT i table-reference
• Nowe funkcje SQL
• Włączanie automatycznej ewolucji schematu podczas scalania danych z tabelą delty

Bardziej niezawodne ponowne ładowanie zmodyfikowanych modułów języka Python z ulepszeniami autoreload

W środowisku Databricks Runtime 16.0 lub nowszym aktualizacje autoreload rozszerzenia zwiększają bezpieczeństwo i niezawodność ponownego ładowania zmodyfikowanych modułów języka Python zaimportowanych z plików obszaru roboczego. Dzięki tym zmianom , autoreloadjeśli to możliwe, ponownie załaduje tylko część modułu, który zmienił się zamiast całego modułu. Ponadto usługa Azure Databricks automatycznie sugeruje użycie autoreload rozszerzenia, jeśli moduł zmienił się od czasu ostatniego importu. Zobacz Autoreload for Python modules (Autoreload dla modułów języka Python).

Obsługa avro dla schematu cyklicznego

Teraz możesz użyć recursiveFieldMaxDepth opcji z funkcją from_avro i avro źródłem danych. Ta opcja ustawia maksymalną głębokość rekursji schematu w źródle danych Avro. Zobacz Odczytywanie i zapisywanie danych avro przesyłanych strumieniowo.

funkcje to_avro i from_avro

Funkcje to_avro i from_avro umożliwiają konwersję typów SQL na dane binarne Avro i z powrotem.

Rozszerzona obsługa rejestru schematów platformy Confluent dla avro

Usługa Azure Databricks obsługuje teraz odwołanie do schematu Avro z rejestrem schematów platformy Confluent. Zobacz Uwierzytelnianie w zewnętrznym rejestrze schematów confluent.

Wymuszanie ponownego tworzenia tabel przy użyciu klastrowania cieczy

W środowisku Databricks Runtime 16.0 lub nowszym można użyć OPTIMIZE FULL składni, aby wymusić ponowne rejestrowanie wszystkich rekordów w tabeli z włączonym klastrowaniem płynnym. Zobacz Wymuszanie ponownego tworzenia wszystkich rekordów.

Interfejsy API delty dla języków Python i Scala obsługują teraz kolumny tożsamości

Teraz możesz używać interfejsów API delty dla języków Python i Scala do tworzenia tabel z kolumnami tożsamości. Zobacz Używanie kolumn tożsamości w usłudze Delta Lake.

Szczegółowa kontrola dostępu w obliczeniach pojedynczego użytkownika jest ogólnie dostępna

W środowisku Databricks Runtime 16.0 lub nowszym szczegółowa kontrola dostępu w obliczeniach pojedynczego użytkownika jest ogólnie dostępna. W obszarach roboczych z włączoną obsługą obliczeń bezserwerowych, jeśli zapytanie jest uruchamiane na obsługiwanych obliczeniach, takich jak obliczenia pojedynczego użytkownika, a zapytanie uzyskuje dostęp do dowolnego z następujących obiektów, zasób obliczeniowy przekazuje zapytanie do bezserwerowego środowiska obliczeniowego w celu uruchomienia filtrowania danych:

• Widoki zdefiniowane w tabelach, na których użytkownik nie ma SELECT uprawnień.
• Widoki dynamiczne.
• Tabele z zastosowanymi filtrami wierszy lub maskami kolumn.
• Zmaterializowane widoki i tabele przesyłania strumieniowego.

Tworzenie płynnych tabel klastrowanych podczas zapisów przesyłanych strumieniowo

Teraz możesz użyć clusterBy polecenia , aby włączyć klastrowanie liquid podczas tworzenia nowych tabel za pomocą zapisów przesyłania strumieniowego ze strukturą. Zobacz Włączanie klastrowania liquid.

Obsługa klauzuli OPTIMIZE FULL

Środowisko Databricks Runtime 16.0 obsługuje klauzulę OPTIMIZE FULL . Ta klauzula optymalizuje wszystkie rekordy w tabeli, która korzysta z klastrowania cieczy, w tym danych, które mogły wcześniej zostać klastrowane.

Obsługa specyfikacji opcji WITH w instrukcji INSERT i table-reference

Środowisko Databricks Runtime 16.0 obsługuje specyfikację opcji odwołań do tabel i nazw INSERT tabel instrukcji, która może służyć do kontrolowania zachowania źródeł danych.

Nowe funkcje SQL

Następujące funkcje SQL są dodawane w środowisku Databricks Runtime 16.0:

• try_url_decode

  Ta funkcja jest wersją url_decode odporną na błędy. Ta funkcja zwraca NULL wartość , jeśli dane wejściowe nie są prawidłowym ciągiem zakodowanym w adresie URL.

• zeroifnull

  Jeśli wyrażenie zeroifnull() wejściowe funkcji to NULL, funkcja zwraca wartość 0. W przeciwnym razie zwracana jest wartość wyrażenia wejściowego.

• nullifzero

  Zwraca NULL wartość , jeśli dane wejściowe mają wartość 0 lub jego dane wejściowe, jeśli nie ma wartości 0. Jeśli wyrażenie nullifzero() wejściowe funkcji wynosi 0, funkcja zwraca wartość NULL. Jeśli wyrażenie wejściowe nie ma wartości 0, zwracana jest wartość wyrażenia wejściowego

Włączanie automatycznej ewolucji schematu podczas scalania danych z tabelą delty

W tej wersji dodano obsługę withSchemaEvolution() składowej DeltaMergeBuilder klasy. Służy withSchemaEvolution() do włączania automatycznej ewolucji schematu podczas MERGE operacji. Na przykład mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.

Inne zmiany

Usługa SparkR jest teraz przestarzała

W środowisku Databricks Runtime 16.0 lub nowszym usługa SparkR w usłudze Databricks jest przestarzała w ramach przygotowania do jego wycofania w nadchodzącej wersji platformy Spark 4. Zobacz wątek Platformy Apache Spark Przestarzały sparkR.

Zamiast tego usługa Databricks zaleca używanie interfejsu sparklyr .

Środowisko Databricks Runtime 16.0 nie jest obsługiwane z pvc

Środowisko Databricks Runtime 16.0 nie jest obsługiwane przez prywatną chmurę wirtualną usługi Databricks (PVC). Musisz użyć środowiska Databricks Runtime 15.4 lub nowszego ze wszystkimi wersjami PVC.

Poprawki błędów

Moduł automatycznego ładowania ratuje teraz typy rekordów Avro z pustymi schematami

Podczas ładowania pliku Avro do tabeli delty przy użyciu modułu automatycznego ładowania typy w pliku, które mają pusty schemat, record są teraz dodawane do uratowanej kolumny danych. Ponieważ nie można pozyskiwać pustych złożonych typów danych do tabeli delty, rozwiązuje to problem z ładowaniem niektórych plików Avro. Aby dowiedzieć się więcej na temat uratowanych danych, zobacz Co to jest uratowana kolumna danych?.

Poprawka błędu podczas zapisywania sygnatur czasowych ze strefami czasowymi zawierającymi drugie przesunięcie.

W tej wersji naprawiono usterkę wpływającą na znaczniki czasu ze strefami czasowymi zawierającymi drugie przesunięcie. Ta usterka powoduje pominięcie sekund podczas zapisywania w formacie JSON, XML lub CSV, co prowadzi do nieprawidłowych wartości znacznika czasu.

Aby powrócić do poprzedniego zachowania, użyj następującej opcji podczas zapisywania w jednym z formatów, których dotyczy problem: .option("yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]").

Uaktualnienia biblioteki

• Uaktualnione biblioteki języka Python:
  • azure-core z wersji 1.30.2 do 1.31.0
  • azure-storage-blob z wersji 12.19.1 do 12.23.0
  • azure-storage-file-datalake z wersji 12.14.0 do 12.17.0
  • od 23.3.0 do 24.4.2
  • migacz z wersji 1.4 do 1.7.0
  • boto3 z 1.34.39 do 1.34.69
  • botocore z wersji 1.34.39 do 1.34.69
  • certifi od 2023.7.22 do 2024.6.2
  • cffi z 1.15.1 do 1.16.0
  • kliknij z wersji 8.0.4 do 8.1.7
  • comm od 0.1.2 do 0.2.1
  • konturowy z 1.0.5 do 1.2.0
  • Kryptografia z wersji 41.0.3 do 42.0.5
  • Cython od 0.29.32 do 3.0.11
  • databricks-sdk z wersji 0.20.0 do 0.30.0
  • dbus-python z wersji 1.2.18 do 1.3.2
  • filelock z wersji 3.13.4 do 3.15.4
  • fonttools z 4.25.0 do 4.51.0
  • GitPython z wersji 3.1.43 do 3.1.37
  • google-api-core z wersji 2.18.0 do 2.20.0
  • google-auth z wersji 2.31.0 do 2.35.0
  • google-cloud-storage z wersji 2.17.0 do 2.18.2
  • google-crc32c z 1.5.0 do 1.6.0
  • google-resumable-media z 2.7.1 do 2.7.2
  • googleapis-common-protos z 1.63.2 do 1.65.0
  • httplib2 z 0.20.2 do 0.20.4
  • idna z 3.4 do 3.7
  • ipykernel z 6.25.1 do 6.28.0
  • ipython z 8.15.0 do 8.25.0
  • jedi z wersji 0.18.1 do 0.19.1
  • jmespath z 0.10.0 do 1.0.1
  • joblib z wersji 1.2.0 do 1.4.2
  • jupyter_client z wersji 7.4.9 do 8.6.0
  • jupyter_core z wersji 5.3.0 do 5.7.2
  • launchpadlib z wersji 1.10.16 do 1.11.0
  • lazr.restfulclient z wersji 0.14.4 do 0.14.6
  • matplotlib z wersji 3.7.2 do 3.8.4
  • mlflow-skinny z 2.11.4 do 2.15.1
  • more-itertools z 8.10.0 do 10.3.0
  • mypy-extensions from 0.4.3 to 1.0.0
  • nest-asyncio z wersji 1.5.6 do 1.6.0
  • numpy z wersji 1.23.5 do 1.26.4
  • oauthlib z wersji 3.2.0 do 3.2.2
  • opakowania z 23.2 do 24.1
  • patsy z 0.5.3 do 0.5.6
  • z 23.2.1 do 24.2
  • wykres z 5.9.0 do 5.22.0
  • prompt-toolkit z wersji 3.0.36 do 3.0.43
  • pyarrow z 14.0.1 do 15.0.2
  • pydantic z 1.10.6 do 2.8.2
  • PyGObject z wersji 3.42.1 do 3.48.2
  • PyJWT z wersji 2.3.0 do 2.7.0
  • pyodbc z wersji 4.0.38 do 5.0.1
  • python-dateutil z wersji 2.8.2 do 2.9.0.post0
  • python-lsp-jsonrpc z wersji 1.1.1 do 1.1.2
  • pytz od 2022.7 do 2024.1
  • PyYAML z 6.0 do 6.0.1
  • pyzmq z 23.2.0 do 25.1.2
  • żądania z wersji 2.31.0 do 2.32.2
  • scikit-learn z wersji 1.3.0 do 1.4.2
  • scipy z 1.11.1 do 1.13.1
  • od 0.12.2 do 0.13.2
  • setuptools z 68.0.0 do 74.0.0
  • smmap z 5.0.1 do 5.0.0
  • sqlparse z 0.5.0 do 0.5.1
  • statsmodels z 0.14.0 do 0.14.2
  • tornado z 6.3.2 do 6.4.1
  • cechy od 5.7.1 do 5.14.3
  • typing_extensions z wersji 4.10.0 do 4.11.0
  • ujson z wersji 5.4.0 do 5.10.0
  • virtualenv z wersji 20.24.2 do 20.26.2
  • od 0.38.4 do 0.43.0
  • zipp z 3.11.0 do 3.17.0
• Uaktualnione biblioteki języka R:
  • strzałka z 14.0.0.2 do 16.1.0
  • Backports z wersji 1.4.1 do 1.5.0
  • od 4.3.2 do 4.4.0
  • bity z zakresu od 1.0 do 1.0-8
  • rozruch z wersji 1.3-28 do 1.3-30
  • brio od 1.1.4 do 1.1.5
  • miotła od 1.0.5 do 1.0.6
  • bslib z 0.6.1 do 0.8.0
  • pamięć podręczna z wersji 1.0.8 do 1.1.0
  • callr od 3.7.3 do 3.7.6
  • interfejs wiersza polecenia z wersji 3.6.2 do 3.6.3
  • zegar od 0.7.0 do 0.7.1
  • klaster z wersji 2.1.4 do 2.1.6
  • codetools od 0.2-19 do 0.2-20
  • przestrzeń kolorów z zakresu od 2.1 do 2.1-1
  • kompilator z wersji 4.3.2 do 4.4.0
  • kredka z 1.5.2 do 1.5.3
  • curl z 5.2.0 do 5.2.1
  • data.table z wersji 1.15.0 do 1.15.4
  • zestawy danych z wersji 4.3.2 do 4.4.0
  • DBI z wersji 1.2.1 do 1.2.3
  • dbplyr z wersji 2.4.0 do 2.5.0
  • skrót z 0.6.34 do 0.6.36
  • spadek z 0.4.3 do 0.4.4
  • ocena z zakresu od 0,23 do 0.24.0
  • farver od 2.1.1 do 2.1.2
  • fastmap z wersji 1.1.1 do 1.2.0
  • obce od 0,8-85 do 0,8-86
  • fs z 1.6.3 do 1.6.4
  • przyszłość z wersji 1.33.1 do 1.34.0
  • future.apply z wersji 1.11.1 do 1.11.2
  • gert z 2.0.1 do 2.1.0
  • ggplot2 z wersji 3.4.4 do 3.5.1
  • gh z 1.4.0 do 1.4.1
  • globals from 0.16.2 to 0.16.3 (globals from 0.16.2 to 0.16.3)
  • grafika z wersji 4.3.2 do 4.4.0
  • grDevices z wersji 4.3.2 do 4.4.0
  • siatka z 4.3.2 do 4.4.0
  • gt od 0.10.1 do 0.11.0
  • z wersji 0.3.4 do 0.3.5
  • hardhat z 1.3.1 do 1.4.0
  • highr z 0.10 do 0.11
  • htmltools z 0.5.7 do 0.5.8.1
  • httpuv z wersji 1.6.14 do 1.6.15
  • httr2 z 1.0.0 do 1.0.2
  • ipred z 0.9-14 do 0.9-15
  • KernSmooth z 2.23-21 do 2.23-22
  • knitr z 1.45 do 1.48
  • lattice z 0.21-8 do 0.22-5
  • lawa z 1.7.3 do 1.8.0
  • markdown od 1.12 do 1.13
  • MASA z 7.3-60 do 7.3-60.0.1
  • Macierz z 1.5-4.1 do 1.6-5
  • metody z wersji 4.3.2 do 4.4.0
  • mgcv z 1.8-42 do 1.9-1
  • mlflow z 2.10.0 do 2.14.1
  • munsell z 0.5.0 do 0.5.1
  • nlme z 3.1-163 do 3.1-165
  • openssl z 2.1.1 do 2.2.0
  • równoległe z wersji 4.3.2 do 4.4.0
  • równolegle z wersji 1.36.0 do 1.38.0
  • pkgbuild z 1.4.3 do 1.4.4
  • pkgdown z 2.0.7 do 2.1.0
  • pkgload z 1.3.4 do 1.4.0
  • processx z wersji 3.8.3 do 3.8.4
  • prodlim od 2023.08.28 do 2024.06.25
  • obietnice z 1.2.1 do 1.3.0
  • ps od 1.7.6 do 1.7.7
  • ragg z 1.2.7 do 1.3.2
  • Program Rcpp z wersji 1.0.12 do 1.0.13
  • RcppEigen z 0.3.3.9.4 do 0.3.4.0.0
  • reactR z 0.5.0 do 0.6.0
  • przepisy od 1.0.9 do 1.1.0
  • zdalne z wersji 2.4.2.1 do 2.5.0
  • reprex z 2.1.0 do 2.1.1
  • rlang z wersji 1.1.3 do 1.1.4
  • rmarkdown z 2.25 do 2.27
  • roxygen2 z 7.3.1 do 7.3.2
  • rpart z 4.1.21 do 4.1.23
  • RSQLite z wersji 2.3.5 do 2.3.7
  • rstudioapi z 0.15.0 do 0.16.0
  • rvest z 1.0.3 do 1.0.4
  • sygnatury dostępu współdzielonego z wersji 0.4.8 do 0.4.9
  • kształt z wersji 1.4.6 do 1.4.6.1
  • błyszczące od 1.8.0 do 1.9.1
  • sparklyr z 1.8.4 do 1.8.6
  • przestrzenne od 7.3-15 do 7.3-17
  • linie od 4.3.2 do 4.4.0
  • statystyki z 4.3.2 do 4.4.0
  • stats4 z 4.3.2 do 4.4.0
  • stringi z wersji 1.8.3 do 1.8.4
  • przetrwanie z 3,5-5 do 3,6-4
  • Swagger z wersji 3.33.1 do 5.17.14.1
  • systemfonts z 1.0.5 do 1.1.0
  • tcltk z wersji 4.3.2 do 4.4.0
  • testthat z 3.2.1 do 3.2.1.1
  • textshaping z 0.3.7 do 0.4.0
  • tidyselect z wersji 1.2.0 do 1.2.1
  • tinytex z 0.49 do 0.52
  • narzędzia z wersji 4.3.2 do 4.4.0
  • usethis z 2.2.2 do 3.0.0
  • Narzędzia z wersji 4.3.2 do 4.4.0
  • uuid z 1.2-0 do 1.2-1
  • Wersja 8 z wersji 4.4.1 do 4.4.2
  • withr z 3.0.0 do 3.0.1
  • xfun z 0.41 do 0.46
  • xopen from 1.0.0 to 1.0.1
  • yaml z wersji 2.3.8 do 2.3.10
• Uaktualnione biblioteki Java:
  • com.amazonaws.aws-java-sdk-autoscaling z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-cloudformation z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-cloudfront od 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-cloudhsm od 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-cloudsearch z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-cloudtrail od 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-cloudwatch z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics from 1.12.610 to 1.12.638
  • com.amazonaws.aws-java-sdk-codedeploy z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-cognitoidentity od 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-cognitosync z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-config z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-core z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-datapipeline od 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-directconnect z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-directory z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-dynamodb z 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-ec2 z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-ecs z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-efs z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-elasticache z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-elasticbeanstalk z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-elasticloadbalancing z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-elastictranscoder z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-emr z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-glacier od 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-glue z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-iam od 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-importexport z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-kinesis od 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-kms od 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-lambda z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-logs z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-machinelearning from 1.12.610 to 1.12.638
  • com.amazonaws.aws-java-sdk-opsworks z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-rds z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-redshift z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-route53 z 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-s3 z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-ses z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-simpledb z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-simpleworkflow z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-sns z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-sqs z 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-ssm z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-storagegateway od 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-sts z wersji 1.12.610 do 1.12.638
  • com.amazonaws.aws-java-sdk-support from 1.12.610 to 1.12.638
  • com.amazonaws.aws-java-sdk-workspaces z zakresu od 1.12.610 do 1.12.638
  • com.amazonaws.jmespath-java od 1.12.610 do 1.12.638
  • com.google.protobuf.protobuf-java z wersji 2.6.1 do 3.25.1
  • io.aircompressor od 0,25 do 0,27
  • io.delta.delta-sharing-client_2.12 z wersji 1.1.3 do 1.2.0
  • io.netty.netty-all from 4.1.96.Final do 4.1.108.Final
  • io.netty.netty-buffer z wersji 4.1.96.Final do wersji 4.1.108.Final
  • io.netty.netty-codec z wersji 4.1.96.Final do 4.1.108.Final
  • io.netty.netty-codec-http from 4.1.96.Final do 4.1.108.Final
  • io.netty.netty-codec-http2 z wersji 4.1.96.Final do 4.1.108.Final
  • io.netty.netty-codec-skarpetki z wersji 4.1.96.Final do 4.1.108.Final
  • io.netty.netty-common from 4.1.96.Final do 4.1.108.Final
  • io.netty.netty-handler from 4.1.96.Final to 4.1.108.Final
  • io.netty.netty-handler-proxy z wersji 4.1.96.Final do wersji 4.1.108.Final
  • io.netty.netty-resolver z wersji 4.1.96.Final do 4.1.108.Final
  • io.netty.netty-transport z wersji 4.1.96.Final do wersji 4.1.108.Final
  • io.netty.netty-transport-classes-epoll from 4.1.96.Final to 4.1.1.108.Final
  • io.netty.netty-transport-classes-kqueue from 4.1.96.Final to 4.1.1.108.Final
  • io.netty.netty-transport-native-epoll from 4.1.96.Final-linux-x86_64 to 4.1.108.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue from 4.1.96.Final-osx-x86_64 to 4.1.108.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common from 4.1.96.Final to 4.1.1.108.Final
  • org.apache.ivy.ivy z wersji 2.5.1 do 2.5.2
  • org.apache.zookeeper.zookeeper od 3.6.3 do 3.9.2
  • org.apache.zookeeper.zookeeper-jute od 3.6.3 do 3.9.2
  • org.rocksdb.rocksdbjni z wersji 8.11.4 do 9.2.1
  • org.scalactic.scalactic_2.12 z wersji 3.2.15 do 3.2.16
  • org.scalatest.scalatest-zgodny z wersją 3.2.15 do 3.2.16
  • org.scalatest.scalatest-core_2.12 z wersji 3.2.15 do 3.2.16
  • org.scalatest.scalatest-diagrams_2.12 z wersji 3.2.15 do 3.2.16
  • org.scalatest.scalatest-featurespec_2.12 z wersji 3.2.15 do 3.2.16
  • org.scalatest.scalatest-flatspec_2.12 z wersji 3.2.15 do 3.2.16
  • org.scalatest.scalatest-freespec_2.12 z wersji 3.2.15 do 3.2.16
  • org.scalatest.scalatest-funspec_2.12 z wersji 3.2.15 do 3.2.16
  • org.scalatest.scalatest-funsuite_2.12 z wersji 3.2.15 do 3.2.16
  • org.scalatest.scalatest-matchers-core_2.12 z 3.2.15 do 3.2.16
  • org.scalatest.scalatest-mustmatchers_2.12 z wersji 3.2.15 do 3.2.16
  • org.scalatest.scalatest-propspec_2.12 z wersji 3.2.15 do 3.2.16
  • org.scalatest.scalatest-refspec_2.12 z wersji 3.2.15 do 3.2.16
  • org.scalatest.scalatest-shouldmatchers_2.12 z wersji 3.2.15 do 3.2.16
  • org.scalatest.scalatest-wordspec_2.12 z wersji 3.2.15 do 3.2.16
  • org.scalatest.scalatest_2.12 z wersji 3.2.15 do 3.2.16

Apache Spark

Środowisko Databricks Runtime 16.0 obejmuje platformę Apache Spark 3.5.0. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 15.4 LTS, a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

• [SPARK-49093] [DBRRM-1371] Przywróć element "[SC-172958][SQL] GROUP BY with MapType nes...
• [SPARK-49898] [DBRRM-1282][SC-178410] Poprawiono dokumentację i domyślną flagę rejestrowania metryk zadań dziennika zdarzeń z platformy SPARK-42204
• [SPARK-49743] [ES-1260022][ZACHOWANIE-157][SC-177475][SQL] OptimizeCsvJsonExpr nie należy zmieniać pól schematu podczas oczyszczania pól GetArrayStructFields
• [SPARK-49816] [SC-177896][SQL] Należy zaktualizować tylko out-going-ref-count dla odwołań zewnętrznych relacji CTE
• [SPARK-48939] [SC-177022][SC-172766][AVRO] Obsługa odczytywania pliku Avro za pomocą cyklicznej dokumentacji schematu
• [SPARK-49688] [SC-177468][ES-1242349][CONNECT] Naprawianie wyścigu danych między przerwaniami i wykonaniem planu
• [SPARK-49771] [SC-177466][PYTHON] Poprawianie błędu UDF scalar iter biblioteki Pandas, gdy wiersze wyjściowe przekraczają wiersze wejściowe
• [SPARK-48866] [SC-170772][SQL] Napraw wskazówki dotyczące prawidłowego zestawu znaków w komunikacie o błędzie INVALID_PARAMETER_VALUE. ZESTAW ZNAKÓW
• [SPARK-48195] [FIXFORWARD][SC-177267][CORE] Zapisywanie i ponowne używanie RDD/Emisja utworzona przez sparkPlan
• [SPARK-49585] [CONNECT] Zastępowanie mapowania wykonań w sessionholder zestawem operationID
• [SPARK-49211] [SC-174257][SQL] Wykaz wersji 2 może również obsługiwać wbudowane źródła danych
• [SPARK-49684] Zminimalizowanie okresu istnienia blokady przywracania sesji
• [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPARK-48291] Struktura dziennika ze strukturą po stronie języka Java
• [SPARK-48857] [SC-170661][SQL] Ograniczanie zestawów znaków w woluminach CSVOptions
• [SPARK-49152] [SC-173690][SQL] V2SessionCatalog powinien używać polecenia V2Command
• [SPARK-42846] [SC-176588][SQL] Usuwanie warunku błędu _LEGACY_ERROR_TEMP_2011
• [SPARK-48195] [SC-177267][CORE] Zapisywanie i ponowne używanie RDD/Emisja utworzona przez sparkPlan
• [SPARK-49630] [SC-177379][SS] Dodawanie opcji spłaszczania w celu przetwarzania typów kolekcji za pomocą czytnika źródła danych stanu
• [SPARK-49699] [SC-177154][SS] Wyłączanie funkcji PruneFilters dla obciążeń przesyłanych strumieniowo
• [SPARK-48781] [SC-175282][SQL] Dodawanie interfejsów API wykazu na potrzeby ładowania procedur składowanych
• [SPARK-49667] [SC-177068][SQL] Nie zezwalaj CS_AI sortowania za pomocą wyrażeń korzystających z funkcji StringSearch
• [SPARK-49737] [SC-177207][SQL] Wyłączanie zasobnika dla kolumn sortowania w typach złożonych
• [SPARK-48712] [SC-169794][SQL] Ulepszenie wydajności dla kodowania z pustymi wartościami lub zestawem znaków UTF-8
• [SPARK-49038] [SC-173933][SQL] Usługa SQLMetric powinna zgłosić wartość nieprzetworzona w zdarzeniu aktualizacji akumulatorów
• [SPARK-48541] [SC-169066][CORE] Dodawanie nowego kodu zakończenia dla funkcji wykonawczych zabitych przez taskReaper
• [SPARK-48774] [SC-170138][SQL] Korzystanie z usługi SparkSession w usłudze SQLImplicits
• [SPARK-49719] [SC-177139][SQL] Utwórz UUID i SHUFFLE zaakceptuj liczbę całkowitą seed
• [SPARK-49713] [SC-177135][PYTHON][CONNECT] Make function accept number arguments (Ustaw funkcję count_min_sketch na akceptowanie argumentów liczbowych)
• [SPARK-47601] [SC-162499][GRAPHX] Graphx: migrowanie dzienników ze zmiennymi do struktury rejestrowania strukturalnego
• [SPARK-49738] [SC-177219][SQL] Endswith bug fix
• [SPARK-48623] [SC-170822][CORE] Migracje rejestrowania strukturalnego [Część 3]
• [SPARK-49677] [SC-177148][SS] Upewnij się, że pliki dziennika zmian są zapisywane podczas zatwierdzania, a flaga forceSnapshot została również zresetowana
• [SPARK-49684] [SC-177040][CONNECT] Usuwanie globalnych blokad z menedżerów sesji i wykonywania
• [SPARK-48302] [SC-168814][PYTHON] Zachowywanie wartości null w kolumnach mapy w tabelach PyArrow
• [SPARK-48601] [SC-169025][SQL] Podaj bardziej przyjazny dla użytkownika komunikat o błędzie podczas ustawiania wartości null dla opcji JDBC
• [SPARK-48635] [SC-169263][SQL] Przypisywanie klas do błędów typu sprzężenia i błędu sprzężenia jako
• [SPARK-49673] [SC-177032][CONNECT] Zwiększ CONNECT_GRPC_ARROW_MAX_BATCH_SIZE do 0,7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
• [SPARK-49693] [SC-177071][PYTHON][CONNECT] Uściślij reprezentację ciągu timedelta
• [SPARK-49687] [SC-176901][SQL] Opóźnij sortowanie w validateAndMaybeEvolveStateSchema
• [SPARK-49718] [SC-177112][PS] Przełączanie Scatter wykresu na przykładowe dane
• [SPARK-48472] [SC-169044][SQL] Włączanie wyrażeń odzwierciedlanych za pomocą ciągów sortowania
• [SPARK-48484] [SC-167484][SQL] Poprawka: W wersji 2Write użyj tego samego identyfikatora TaskAttemptId dla różnych prób zadań
• [SPARK-48341] [SC-166560][CONNECT] Zezwalaj wtyczkom na używanie narzędzia QueryTest w testach
• [SPARK-42252] [SC-168723][CORE] Dodawanie spark.shuffle.localDisk.file.output.buffer i oznaczanie jako przestarzałe spark.shuffle.unsafe.file.output.buffer
• [SPARK-48314] [SC-166565][SS] Nie podwajaj plików pamięci podręcznej dla elementu FileStreamSource przy użyciu elementu Trigger.AvailableNow
• [SPARK-49567] [SC-176241][PYTHON] Użyj zamiast classic z vanilla bazy kodu PySpark
• [SPARK-48374] [SC-167596][PYTHON] Obsługa dodatkowych typów kolumn tabeli PyArrow
• [SPARK-48300] [SC-166481][SQL] Obsługa programu Codegen dla programu from_xml
• [SPARK-49412] [SC-177059][PS] Obliczanie wszystkich metryk wykresu box w jednym zadaniu
• [SPARK-49692] [SC-177031][PYTHON][CONNECT] Uściślij reprezentację ciągu literału daty i daty/godziny
• [SPARK-49392] [ES-1130351][SC-176705][SQL] Przechwyć błędy, gdy nie można zapisać w zewnętrznym źródle danych
• [SPARK-48306] [SC-166241][SQL] Ulepszanie funkcji UDT w komunikacie o błędzie
• [SPARK-44924] [SC-166379][SS] Dodawanie konfiguracji dla plików buforowanych FileStreamSource
• [SPARK-48176] [SC-165644][SQL] Dostosowywanie nazwy warunku błędu FIELD_ALREADY_EXISTS
• [SPARK-49691] [SC-176988][PYTHON][CONNECT] Funkcja substring powinna akceptować nazwy kolumn
• [SPARK-49502] [SC-176077][CORE] Unikaj serwera NPE na platformie SparkEnv.get.shuffleManager.unregisterShuffle
• [SPARK-49244] [SC-176703][SQL] Dalsze ulepszenia wyjątków dla analizatora/interpretera
• [SPARK-48355] [SC-176684][SQL] Obsługa instrukcji CASE
• [SPARK-49355] [SC-175121][SQL] levenshtein należy sprawdzić, collation czy wartości wszystkich typów parametrów są takie same
• [SPARK-49640] [SC-176953][PS] Stosowanie próbkowania zbiorników w SampledPlotBase
• [SPARK-49678] [SC-176857][CORE] Obsługa spark.test.master w programie SparkSubmitArguments
• [SPARK-49680] [SC-176856][PYTHON] Ogranicz Sphinx równoległość kompilacji do 4 domyślnie
• [SPARK-49396] Przywróć "[SC-176030][SQL] Modyfikowanie sprawdzania wartości null dla wyrażenia CaseWhen"
• [SPARK-48419] [SC-167443][SQL] Propagacja składana zastępuje zwijaną kolumnę shoul...
• [SPARK-49556] [SC-176757][SQL] Dodawanie składni potoku SQL dla operatora SELECT
• [SPARK-49438] [SC-175237][SQL] Popraw ładną nazwę FromAvro wyrażenia i ToAvro
• [SPARK-49659] [SC-1229924][SQL] Dodawanie miłego błędu użytkownika dla podzapytania skalarnego wewnątrz klauzuli VALUES
• [SPARK-49646] [SC-176778][SQL] poprawka dekorrelacji podzapytania dla operacji union/set, gdy parentOuterReferences zawiera odwołania nieuwzroczone w zebranychChildOuterReferences
• [SPARK-49354] [SC-175034][SQL] split_part należy sprawdzić, collation czy wartości wszystkich typów parametrów są takie same
• [SPARK-49478] [SC-175914][CONNECT] Obsługa metryk null w programie ConnectProgressExecutionListener
• [SPARK-48358] [SC-176374][SQL] Obsługa instrukcji REPEAT
• [SPARK-49183] [SC-173680][SQL] Element V2SessionCatalog.createTable powinien uwzględniać PROP_IS_MANAGED_LOCATION
• [SPARK-49611] [SC-176791][SQL] Wprowadź program TVF collations() i usuń SHOW COLLATIONS polecenie
• [SPARK-49261] [SC-176589][SQL] Nie zamieniaj literałów w wyrażeniach agregacji na wyrażenia grupowane według
• [SPARK-49099] [SC-173229][SQL] CatalogManager.setCurrentNamespace powinien uwzględniać niestandardowy wykaz sesji
• [SPARK-49594] [SC-176569][SS] Dodawanie sprawdzania, czy kolumnyFamilies zostały dodane lub usunięte w celu zapisania pliku StateSchemaV3
• [SPARK-49578] [SC-176385][SQL] Usuń sugestię konfiguracji ANSI w CAST_INVALID_INPUT i CAST_OVERFLOW
• [SPARK-48882] [SC-174256][SS] Przypisywanie nazw do klas błędów związanych z trybem danych wyjściowych przesyłania strumieniowego
• [SPARK-49155] [SC-176506][SQL][SS] Konstruowanie konstrukcji przy użyciu bardziej odpowiedniego typu parametru GenericArrayData
• [SPARK-49519] [SC-176388][SQL] Opcje scalania tabeli i relacji podczas konstruowania elementu FileScanBuilder
• [SPARK-49591] [SC-176587][SQL] Dodawanie kolumny Typ logiczny do pliku readme wariantu
• [SPARK-49596] [SC-176423][SQL] Zwiększanie wydajności FormatString
• [SPARK-49525] [SC-176044][SS][CONNECT] Drobne ulepszenie dziennika w odbiorniku odbiornika odbiornika zapytań przesyłania strumieniowego po stronie serwera
• [SPARK-49583] [SC-176272][SQL] Definiowanie warunku SECONDS_FRACTION podrzędnego błędu dla nieprawidłowego wzorca ułamkowego w sekundach
• [SPARK-49536] [SC-176242] Obsługa błędu podczas pobierania wstępnego rekordu źródła danych przesyłania strumieniowego języka Python
• [SPARK-49443] [SC-176273][SQL][PYTHON] Implementowanie wyrażenia to_variant_object i drukowanie wyrażeń schema_of_variant dla obiektów wariantu
• [SPARK-49544] [SASP-3990][SC-176557][CONNECT] Zastąp coarse-locking w sparkConnectExecutionManager elementem ConcurrentMap
• [SPARK-49548] [SASP-3990][SC-176556][CONNECT] Zastąp coarse-locking w sparkConnectSessionManager elementem ConcurrentMap
• [SPARK-49551] [SC-176218][SS] Ulepszanie dziennika bazy danych RocksDB na potrzeby ponownego odtwarzaniaChangelog
• [SPARK-49595] [SC-176396][CONNECT][SQL] Poprawka DataFrame.unpivot/melt w kliencie Platformy Spark Connect Scala
• [SPARK-49006] [SC-176162] Implementowanie przeczyszczania dla plików OperatorStateMetadataV2 i StateSchemaV3
• [SPARK-49600] [SC-176426][PYTHON] Usuń Python 3.6 and olderlogikę powiązaną z try_simplify_traceback
• [SPARK-49303] [SC-176013][SS] Implementowanie czasu wygaśnięcia dla wartościState w transformWithStateInPandas API
• [SPARK-49191] [SC-176243][SS] Dodano obsługę odczytywania zmiennych stanu mapy transformWithState z czytnikiem źródła danych stanu
• [SPARK-49593] [SC-176371][SS] Zgłaszanie wyjątku bazy danych RocksDB do elementu wywołującego w bazie danych w przypadku wystąpienia błędu
• [SPARK-49334] [SC-174803][SQL] str_to_map należy sprawdzić, collation czy wartości wszystkich typów parametrów są takie same
• [SPARK-42204] [SC-176126][CORE] Dodawanie opcji wyłączania nadmiarowego rejestrowania wewnętrznych akumulatorów TaskMetrics w dziennikach zdarzeń
• [SPARK-49575] [SC-176256][SS] Dodawanie rejestrowania dla zwolnienia blokady tylko wtedy, gdy acquiredThreadInfo nie ma wartości null
• [SPARK-49539] [SC-176250][SS] Aktualizowanie wewnętrznych rodzin kolumn początkowych identyfikatora innego
• [SPARK-49205] [SC-173853][SQL] KeyGroupedPartitioning powinna dziedziczyć element HashPartitioningLike
• [SPARK-49396] [SC-176030][SQL] Modyfikowanie sprawdzania wartości null dla wyrażenia CaseWhen
• [SPARK-49476] [SC-175700][SQL] Naprawianie wartości null funkcji base64
• [SPARK-47262] [SC-174829][SQL] Przypisywanie nazw do warunków błędów konwersji parquet
• [SPARK-47247] [SC-158349][SQL] Używaj mniejszego rozmiaru docelowego podczas łączenia partycji z eksplodowaniem sprzężeń
• [SPARK-49501] [SC-176166][SQL] Naprawianie podwójnego ucieczki lokalizacji tabeli
• [SPARK-49083] [SC-173214][CONNECT] Zezwalaj from_xml i from_json na natywną pracę ze schematami json
• [SPARK-49043] [SC-174673][SQL] Naprawiono zinterpretowaną grupę ścieżki kodu według na mapie zawierającej ciągi sortowania
• [SPARK-48986] [SC-172265][CONNECT][SQL] Dodawanie reprezentacji pośredniej w węźle kolumny
• [SPARK-49326] [SC-176016][SS] Klasyfikowanie klasy error dla błędu funkcji użytkownika ujścia foreach
• [SPARK-48348] [SC-175950][SPARK-48376][SQL] Wprowadzenie LEAVE i ITERATE instrukcje
• [SPARK-49523] [SC-175949][CONNECT] Zwiększ maksymalny czas oczekiwania, aż serwer połączenia pojawi się na potrzeby testowania
• [SPARK-49000] [ZACHOWANIE-105][ES-1194747][SQL] Napraw "select count(distinct 1) from t", gdzie t jest pusta tabela, rozwijając węzeł RewriteDistinctAggregates — DBR w wersji 16.x
• [SPARK-49311] [SC-175038][SQL] Umożliwia rzutowanie dużych wartości "interwału sekundy" na dziesiętne
• [SPARK-49200] [SC-173699][SQL] Naprawianie wyjątku porządkowania innego niż kodgen typu null
• [SPARK-49467] [SC-176051][SS] Dodawanie obsługi stanu czytnika źródła danych i stanu listy
• [SPARK-47307] [SC-170891][SQL] Dodawanie konfiguracji do opcjonalnych fragmentów ciągów base64
• [SPARK-49391] [SC-176032][PS] Wykres skrzynkowy wybiera wartości odstające w odległości od ogrodzeń
• [SPARK-49445] [SC-175845][Interfejs użytkownika] Obsługa wyświetlania etykietki narzędzia na pasku postępu interfejsu użytkownika
• [SPARK-49451] [SC-175702] Zezwalaj na zduplikowane klucze w parse_json.
• [SPARK-49275] [SC-175701][SQL] Naprawianie wartości null zwracanego typu wyrażenia xpath
• [SPARK-49021] [SC-175578][SS] Dodano obsługę odczytywania zmiennych stanu wartości transformWithState za pomocą czytnika źródła danych stanu
• [SPARK-49474] [ZACHOWANIE-143][SC-169253][SC-175933][SS] Klasyfikowanie klasy Error dla błędu funkcji użytkownika FlatMapGroupsWithState
• [SPARK-49408] [SC-175932][SQL] Use IndexedSeq in ProjectingInternalRow
• [SPARK-49509] [SC-175853][CORE] Użyj Platform.allocateDirectBuffer zamiast ByteBuffer.allocateDirect
• [SPARK-49382] [SC-175013][PS] Tworzenie wykresu ramki poprawnie renderuje fliers/outliers
• [SPARK-49002] [SC-172846][SQL] Spójna obsługa nieprawidłowych lokalizacji w MAGAZYNIE/SCHEMA/TABLE/PARTITION/DIRECTORY
• [SPARK-49480] [SC-175699][CORE] Napraw wyjątek NullPointerException z SparkThrowableHelper.isInternalError
• [SPARK-49477] [SC-175828][PYTHON] Ulepszanie komunikatu o błędzie nieprawidłowego typu zwracanego biblioteki pandas udf
• [SPARK-48693] [SC-169492][SQL] Upraszczanie i ujednolicanie ciągów wywołania i funkcji StaticInvoke
• [SPARK-49441] [SC-175716][ML] StringIndexer sortuj tablice w funkcjach wykonawczych
• [SPARK-49347] [SC-175004][R] Przestarzałe środowisko SparkR
• [SPARK-49357] [SC-175227][CONNECT][PYTHON] Pionowo obcinanie głęboko zagnieżdżonego komunikatu protobuf
• [SPARK-41982] [SC-120604][SQL] Partycje typu ciąg nie powinny być traktowane jako typy liczbowe
• [SPARK-48776] [SC-170452][ZACHOWANIE-72] Naprawianie formatowania znacznika czasu dla formatu json, xml i csv
• [SPARK-49223] [SC-174800][ML] Uproszczenie funkcji StringIndexer.countByValue za pomocą wbudowanych funkcji
• [SPARK-49016] Przywróć zachowanie "[SC-174663][SQL] Przywróć zachowanie, które jest wyświetlane z nieprzetworzonych plików CSV, są niedozwolone, gdy dołącz tylko uszkodzoną kolumnę rekordu i przypisz nazwę do _LEGACY_ERROR_TEMP_1285"
• [SPARK-49041] [SC-172392][PYTHON][CONNECT] Zgłaszanie prawidłowego błędu w dropDuplicates przypadku wystąpienia błędu subset
• [SPARK-49050] [SC-175235] Włączanie operatora deleteIfExists w usłudze TWS z rodzinami kolumn wirtualnych
• [SPARK-49216] [SC-173919][CORE]Poprawka nieutwiona w kontekście komunikatu dziennika z jawną konstrukcją LogEntry, gdy ograniczenie szyfrowania ze strukturą jest wyłączone
• [SPARK-49252] [SC-175596][CORE] MakeTaskSetExcludeList and HeathTracker independent
• [SPARK-49352] [SC-174971][SQL] Unikaj nadmiarowego przekształcania tablicy dla identycznego wyrażenia
• [SPARK-42307] [SC-173863][SQL] Przypisywanie nazwy błędu _LEGACY_ERROR_TEMP_2232
• [SPARK-49197] [SC-173732][CORE] Redact output in module (Redact output in module) (Redact Spark Command output in launcher
• [SPARK-48913] [SC-173934][SQL] Implementowanie wcięciaXMLStreamWriter
• [SPARK-49306] [SC-175363][PYTHON][SQL] Tworzenie aliasów funkcji SQL dla "zeroifnull" i "nullifzero"
• [SPARK-48344] [SQL] Wykonywanie skryptów SQL (w tym Spark Connect)
• [SPARK-49402] [SC-175122][PYTHON] Naprawianie integracji narzędzia Binder w dokumentacji programu PySpark
• [SPARK-49017] [SC-174664][SQL] Instrukcja Insert kończy się niepowodzeniem, gdy jest używanych wiele parametrów
• [SPARK-49318] [SC-174733][SQL] Wywłaszcza błąd niskiego priorytetu na LCA do końca analizy sprawdzania w celu poprawy środowiska błędów
• [SPARK-49016] [SC-174663][SQL] Przywracanie zachowania zapytań z nieprzetworzonych plików CSV jest niedozwolone tylko wtedy, gdy uwzględnij uszkodzoną kolumnę rekordu i przypisz nazwę do _LEGACY_ERROR_TEMP_1285
• [SPARK-49387] [SC-175124][PYTHON] Poprawiono wskazówkę typu dla elementu accuracy i percentile_approxapprox_percentile
• [SPARK-49131] [SC-174666][SS] TransformWithState powinien poprawnie ustawić niejawne klucze grupowania nawet z opóźnianymi iteratorami
• [SPARK-49301] [SC-174795][SS] Dane ze strzałki fragmentu przekazane do procesu roboczego języka Python
• [SPARK-49039] [SC-174651][Interfejs użytkownika] Pole wyboru Resetuj, gdy metryki funkcji wykonawczej są ładowane na karcie Etapy
• [SPARK-48428] [SC-169806][SQL]: Fix IllegalStateException in NestedColumnAliasing
• [SPARK-49353] [SC-174830][SQL] Aktualizowanie dokumentów związanych z UTF-32 kodowaniem/dekodowaniem
• [SPARK-48613] [SC-170966][SQL] SPJ: Obsługa automatycznego mieszania po jednej stronie i mniejszej liczby kluczy sprzężenia niż klucze partycji
• [SPARK-47473] [SC-160450][ZACHOWANIE-127][SQL] Rozwiązano problem z poprawnością konwertowania sygnatur czasowych postgres INFINITY
• [SPARK-49142] [SC-173658][CONNECT][PYTHON] Postępuj zgodnie z instrukcjami, aby przywrócić wartość proto do kosztu wydajności ciągu
• [SPARK-49300] [SC-175008][CORE] Rozwiązano problem z wyciekiem tokenu delegowania usługi Hadoop, gdy tokenRenewalInterval nie został ustawiony.
• [SPARK-49367] [SC-175012][PS] Równoległe obliczanie KDE dla wielu kolumn (zaplecze kreślące)
• [SPARK-49365] [SC-175011][PS] Uproszczenie agregacji zasobnika w wykresie hist
• [SPARK-49372] [SC-175003][SS] Upewnij się, że opcja latestSnapshot jest ustawiona na wartość brak w pobliżu, aby uniknąć późniejszego użycia
• [SPARK-49341] [SC-174785] Usuń connector/docker na rzecz Apache Spark Operator
• [SPARK-49344] [SC-174894][PS] Obsługa json_normalize interfejsu API biblioteki Pandas na platformie Spark
• [SPARK-49306] [SC-174794][SQL] Tworzenie nowych funkcji SQL "zeroifnull" i "nullifzero"
• [SPARK-48796] [SC-174668][SS] Ładowanie identyfikatora rodziny kolumn z bazy danych RocksDBCheckpointMetadata dla programu VCF podczas ponownego uruchamiania
• [SPARK-49342] [SC-174899][SQL] Wprowadź argument TO_AVRO SQL "jsonFormatSchema" opcjonalny
• [SPARK-48628] [SC-174695][CORE] Dodawanie metryk pamięci sterty szczytu zadań
• [SPARK-47407] [SC-159379][ZACHOWANIE-126][SQL] Obsługa mapowania java.sql.Types.NULL na wartość NullType
• [SPARK-48628] [SC-173407][CORE] Dodawanie metryk pamięci sterty szczytu zadań
• [SPARK-49166] [SC-173987][SQL] Obsługa przesunięcia w skorelowanym podzapytaniu
• [SPARK-49269] [SC-174676][SQL] Chętnie oceń listę VALUES() w narzędziu AstBuilder
• [SPARK-49281] [SC-174782][SQL] Optimze parquet binary getBytes with getBytesUnsafe (Optimze parquet binary getBytesUnsafe) w celu uniknięcia kosztów kopiowania
• [SPARK-49113] [SC-174734] Nie potwierdzaj błędów tłumaczenia — dyskretnie połykanie wyjątku
• [SPARK-49098] [SC-173253][SQL] Dodawanie opcji zapisu dla funkcji INSERT
• [SPARK-48638] [SC-174694][OBSERWUJ][CONNECT] Poprawiono dokumentację dotyczącą elementu ExecutionInfo
• [SPARK-49250] [ES-1222826][SQL] Poprawianie komunikatu o błędzie dla zagnieżdżonego nierozwiązanego systemuWindowExpression w narzędziu CheckAnalysis
• [SPARK-48755] [SC-174258][SS][PYTHON] transformWithState pyspark podstawowa implementacja i obsługa valueState
• [SPARK-48966] [SC-174329][SQL] Ulepszanie komunikatu o błędzie z nieprawidłowym nierozwiązanym odwołaniem do kolumny w wywołaniu UDTF
• [SPARK-46590] [SC-154115][SQL] Rozwiązano problem: łączenie nie powiodło się z nieoczekiwanymi liczbami partycji
• [SPARK-49235] [SC-174159][SQL] Refaktoryzacja reguły ResolveInlineTables, aby nie przechodziła przez całe drzewo
• [SPARK-49060] [SC-173107][CONNECT] Czyszczenie reguł mima dla kontroli zgodności binarnej programu SQL-Connect
• [SPARK-48762] [SC-172525][SQL] Wprowadzenie do interfejsu API clusterBy DataFrameWriter dla języka Python
• [SPARK-49207] [SC-173852][SQL] Naprawianie mapowania wielkości liter jeden do wielu w elemecie SplitPart i StringSplitSQL
• [SPARK-49204] [SC-173850][SQL] Naprawianie obsługi par zastępczych w parametrach StringInstr i StringLocate
• [SPARK-36680] [SC-170640][SQL] Obsługuje dynamiczne opcje tabeli dla usługi Spark SQL
• [SPARK-49204] [SC-173849][SQL] Naprawianie obsługi par zastępczych w indeksie SubstringIndex
• [SPARK-49204] [SC-173848][SQL] Naprawianie obsługi par zastępczych w elemecie StringTrim
• [SPARK-48967] [SC-173993]Naprawiono test SparkConfigOwnershipSuite dla OPTIMIZE_INSERT_INTO_VALUES_PARSER
• [SPARK-49204] [SC-173851][SQL] Naprawianie obsługi par zastępczych w elemecie StringReplace
• [SPARK-48967] [SC-173993][SQL][16.x] Zwiększ wydajność i zużycie pamięci w ciągu "INSERT INTO ... Instrukcje VALUES
• [SPARK-49099] Przywróć element "[SC-173229][SQL] CatalogManager.setCurrent...
• [SPARK-48347] [SC-173812][SQL] Obsługa instrukcji WHILE
• [SPARK-49128] [SC-173344][CORE] Obsługa niestandardowego tytułu interfejsu użytkownika serwera historii
• [SPARK-49146] [SC-173825][SS] Przenoszenie błędów asercji związanych z brakiem limitu w zapytaniach przesyłanych strumieniowo w trybie dołączania do platformy błędów
• [SPARK-45787] [SC-172197][SQL] Obsługa kolumn Catalog.listColumns dla kolumn klastrowania
• [SPARK-49099] [SC-173229][SQL] CatalogManager.setCurrentNamespace powinien uwzględniać niestandardowy wykaz sesji
• [SPARK-49138] [SC-173483][SQL] Naprawianie funkcji CollationTypeCasts kilku wyrażeń
• [SPARK-49163] [SC-173666][SQL] Próba utworzenia tabeli na podstawie uszkodzonych wyników danych partycji parquet powinna zwrócić błąd napotykany przez użytkownika
• [SPARK-49201] [SC-173793][PS][PYTHON][CONNECT] Ponowne wdrożenie hist wykresu przy użyciu usługi Spark SQL
• [SPARK-49188] [SC-173682][SQL] Błąd wewnętrzny concat_ws wywoływany na tablicy tablic ciągów
• [SPARK-49137] [SC-173677][SQL] Jeśli warunek logiczny w elemecie if statement jest nieprawidłowy, należy zgłosić wyjątek
• [SPARK-49193] [SC-173672][SQL] Zwiększanie wydajności elementu RowSetUtils.toColumnBasedSet
• [SPARK-49078] [SC-173078][SQL] Obsługa wyświetlania składni kolumn w tabeli w wersji 2
• [SPARK-49141] [SC-173388][SQL] Oznaczanie wariantu jako niezgodnego typu danych hive
• [SPARK-49059] [Cherry-Pick][15.x][SC-172528][CONNECT] Przechodzenie SessionHolder.forTesting(...) do pakietu testowego
• [SPARK-49111] [SC-173661][SQL] Przenieś zProjectAndFilter do obiektu towarzyszącego elementu DataSourceV2Strategy
• [SPARK-49185] [SC-173688][PS][PYTHON][CONNECT] Ponowne wdrożenie kde wykresu przy użyciu usługi Spark SQL
• [SPARK-49178] [SC-173673][SQL] Optymalizowanie wydajności Row#getSeq w celu dopasowania do wydajności podczas korzystania z platformy Spark 3.5 z językiem Scala 2.12
• [SPARK-49093] [SC-172958][SQL] GROUP BY z zagnieżdżonym typem maptype wewnątrz typu złożonego
• [SPARK-49142] [SC-173469][CONNECT][PYTHON] Niższy poziom dziennika klienta programu Spark Connect do debugowania
• [SPARK-48761] [SC-172048][SQL] Wprowadzenie do interfejsu API clusterBy DataFrameWriter dla języka Scala
• [SPARK-48346] [SC-173083][SQL] Obsługa instrukcji IF ELSE w skryptach SQL
• [SPARK-48338] [SC-173112][SQL] Ulepszanie wyjątków zgłaszanych z analizatora/interpretera
• [SPARK-48658] [SC-169474][SQL] Kodowanie/dekodowanie funkcji zgłasza błędy kodowania zamiast mojibake dla nienadajnych znaków
• [SPARK-49071] [SC-172954][SQL] Usuń cechę ArraySortLike
• [SPARK-49107] Przywróć "Przywróć "[SC-173103][SQL] ROUTINE_ALREADY_EXISTS obsługuje element RoutineType""
• [SPARK-49070] [SC-172907][SS][SQL] TransformWithStateExec.initialState jest niepoprawnie przepisany w celu utworzenia nieprawidłowego planu zapytania
• [SPARK-49114] [SC-173217] Podkategoryzowanie nie może załadować błędów magazynu stanów
• [SPARK-49107] Przywracanie "[SC-173103][SQL] ROUTINE_ALREADY_EXISTS obsługuje element RoutineType"
• [SPARK-49048] [SC-173223][SS] Dodano obsługę odczytywania odpowiednich metadanych operatora przy podanym identyfikatorze partii
• [SPARK-49094] [SC-173049][SQL] Rozwiązano problem z brakiem działania elementu ignoreCorruptFiles w przypadku rozszerzenia hive orc z wyłączoną funkcją mergeSchema
• [SPARK-49108] [SC-173102][PRZYKŁAD] Przykład dodawania submit_pi.sh interfejsu API REST
• [SPARK-49107] [SC-173103][SQL] ROUTINE_ALREADY_EXISTS obsługuje element RoutineType
• [SPARK-48997] [SC-172484][SS] Implementowanie pojedynczych zwolnień na potrzeby błędów wątków obsługi puli wątków konserwacji
• [SPARK-49063] [SC-173094][SQL] Poprawka między elementami ScalarSubqueries
• [SPARK-45891] [SC-172305][SQL][PYTHON][VARIANT] Dodawanie obsługi typów interwałów w specyfikacji wariantu
• [SPARK-49074] [ZACHOWANIE-110][SC-172815][SQL] Naprawianie wariantu za pomocą polecenia df.cache()
• [SPARK-49003] [SC-172613][SQL] Poprawiono interpretowane skróty ścieżki kodu, które mają być uwzględniane podczas sortowania
• [SPARK-48740] [SC-172430][SQL] Wczesne przechwytywanie błędu specyfikacji brakującego okna
• [SPARK-48999] [SC-172245][SS] Dzielenie pythonStreamingDataSourceSimpleSuite
• [SPARK-49031] [SC-172602] Implementowanie walidacji dla operatora TransformWithStateExec przy użyciu operatorStateMetadataV2
• [SPARK-49053] [SC-172494][PYTHON][ML] Tworzenie funkcji pomocnika zapisywania/ładowania modelu akceptuje sesję platformy Spark
• [SPARK-49032] [Backport][15.x][SS] Dodawanie ścieżki schematu we wpisie tabeli metadanych, weryfikowanie oczekiwanej wersji i dodawanie testu powiązanego z metadanymi operatora dla formatu metadanych operatora w wersji 2
• [SPARK-49034] [SC-172306][CORE] Obsługa zamiany po stronie sparkProperties serwera w interfejsie API przesyłania REST
• [SPARK-48931] [SC-171895][SS] Zmniejszenie kosztów interfejsu API listy sklepów w chmurze dla zadania konserwacji magazynu stanów
• [SPARK-48849] [SC-172068][SS]Tworzenie operatora OperatorStateMetadataV2 dla operatora TransformWithStateExec
• [SPARK-49013] [SC-172322] Zmiana klucza w sortowaniuMapa dla typów map i tablic w scala
• [SPARK-48414] [SC-171884][PYTHON] Naprawianie zmian powodujących niezgodność w języku Python fromJson
• [SPARK-48910] [SC-171001][SQL] Użyj funkcji HashSet/HashMap, aby uniknąć wyszukiwania liniowego w funkcji PreprocesTableCreation
• [SPARK-49007] [SC-172204][CORE] Ulepszanie MasterPage obsługi tytułu niestandardowego
• [SPARK-49009] [SC-172263][SQL][PYTHON] Ustaw interfejsy API i funkcje kolumn na wyliczenie
• [SPARK-49033] [SC-172303][CORE] Obsługa zamiany po stronie environmentVariables serwera w interfejsie API przesyłania REST
• [SPARK-48363] [SC-166470][SQL] Czyszczenie niektórych nadmiarowych kodów w programie from_xml
• [SPARK-46743] [SC-170867][SQL][ZACHOWANIE-84] Usterka count after ScalarSubqery jest składana, jeśli ma pustą relację
• [SPARK-49040] [SC-172351][SQL] Poprawka dokumentu sql-ref-syntax-aux-exec-imm.md
• [SPARK-48998] [SC-172212][ML] Algorytmy metadanych zapisują/ładują model za pomocą platformy SparkSession
• [SPARK-48959] [SC-171708][SQL] NoSuchNamespaceException Rozszerzanie NoSuchDatabaseException w celu przywrócenia obsługi wyjątków
• [SPARK-48996] [SC-172130][SQL][PYTHON] Zezwalaj na na nagie literały i i lub kolumny
• [SPARK-48990] [SC-171936] Obserwowanie pliku #101759 — poprawka testowa
• [SPARK-48338] [SC-171912][SQL] Sprawdzanie deklaracji zmiennych
• [SPARK-48990] [SC-171936][SQL] Słowa kluczowe składni JĘZYKA SQL związane ze zmienną ujednoliconą
• [SPARK-48988] [SC-171915][ML] Utwórz DefaultParamsReader/Writer metadane dojścia za pomocą sesji platformy Spark
• [SPARK-48974] [SC-171978][SQL][SS][ML][MLLIB] Użyj SparkSession.implicits zamiast SQLContext.implicits
• [SPARK-48760] [SC-170870][SQL] Poprawka CatalogV2Util.applyClusterByChanges
• [SPARK-48928] [SC-171956] Ostrzeżenie dziennika dotyczące wywoływania funkcji .unpersist() w lokalnie punktowanych rdD
• [SPARK-48760] [SC-170139][SQL] Wprowadź ALTER TABLE ... Składnia CLUSTER BY SQL w celu zmiany kolumn klastrowania
• [SPARK-48844] Przywróć "[SC-170669][SQL] UŻYJ INVALID_EMPTY_LOCATION zamiast UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY, gdy ścieżka jest pusta"
• [SPARK-48833] [SC-171914][SQL][VARIANT] Wariant pomocy technicznej w programie InMemoryTableScan
• [SPARK-48975] [SC-171894][PROTOBUF] Usuń niepotrzebną ScalaReflectionLock definicję z protobuf
• [SPARK-48970] [SC-171800][PYTHON][ML] Unikaj używania elementu SparkSession.getActiveSession w czytniku/zapisie uczenia maszynowego spark
• [SPARK-48844] [SC-170669][SQL] UŻYJ INVALID_EMPTY_LOCATION zamiast UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY, gdy ścieżka jest pusta
• [SPARK-48714] [SC-170136] Naprawianie niepowodzeń testów df.mergeInto w PySpark i UC
• [SPARK-48957] [SC-171797][SS] Zwracanie klasy błędów sklasyfikowanych w podklasie obciążenia magazynu stanów dla dostawcy hdfs i rocksdb
• [SPARK-48891] [Backport][15x][SC-171677][SS] Refaktoryzacja StateSchemaCompatibilityChecker w celu ujednolicenia wszystkich formatów schematu stanu
• [SPARK-48972] [SC-171795][PYTHON] Ujednolicenie obsługi ciągów literału w funkcjach
• [SPARK-48388] [SC-171337][SQL] Naprawiono zachowanie instrukcji SET dla skryptów SQL
• [SPARK-48743] [SC-170552][SQL][SS] ScalanieSessionIterator powinno lepiej obsługiwać, gdy funkcja getStruct zwraca wartość null
• [SPARK-48623] [15.x][SC-171322][CORE] Migrowanie dzienników fileAppender do rejestrowania strukturalnego
• [SPARK-36680] [DBRRM-1123] Przywracanie "[SC-170640][SQL] Obsługuje dynamiczne opcje tabeli dla usługi Spark SQL"
• [SPARK-48841] [SC-170868][ZACHOWANIE-83][SQL] Dołącz collationName do sql()Collate
• [SPARK-48941] [SC-171703][PYTHON][ML] Zastępowanie wywołania interfejsu API odczytu/zapisu RDD za pomocą interfejsu API odczytu/zapisu ramki danych
• [SPARK-48938] [SC-171577][PYTHON] Ulepszanie komunikatów o błędach podczas rejestrowania funkcji UDF języka Python
• [SPARK-48350] [SC-171040][SQL] Wprowadzenie wyjątków niestandardowych dla skryptów SQL
• [SPARK-48907] [SC-171158][SQL] Naprawianie wartości explicitTypes w pliku COLLATION_MISMATCH.EXPLICIT
• [SPARK-48945] [SC-171658][PYTHON] Upraszczanie funkcji wyrażeń regularnych za pomocą polecenia lit
• [SPARK-48944] [SC-171576][CONNECT] Ujednolicenie obsługi schematu w formacie JSON w programie Connect Server
• [SPARK-48836] [SC-171569] Integrowanie schematu SQL ze schematem/metadanymi stanu
• [SPARK-48946] [SC-171504][SQL] NpE w metodzie redact, gdy sesja ma wartość null
• [SPARK-48921] [SC-171412][SQL] Kodery ScalaUDF w podzapytaniu powinny zostać rozwiązane dla elementu MergeInto
• [SPARK-45155] [SC-171048][CONNECT] Dodawanie dokumentów interfejsu API dla maszyny JVM/Scala Client programu Spark Connect
• [SPARK-48900] [SC-171319] Dodaj reason pole dla i cancelJobGroupcancelJobsWithTag
• [SPARK-48865] [SC-171154][SQL] Dodawanie funkcji try_url_decode
• [SPARK-48851] [SC-170767][SQL] Zmienianie wartości z SCHEMA_NOT_FOUNDnamespace na catalog.namespace
• [SPARK-48510] [SC-170893][2/2] Obsługa interfejsu API UDAF toColumn w programie Spark Connect
• [SPARK-45190] [SC-171055][SPARK-48897][PYTHON][CONNECT] Tworzenie from_xml schematu StructType obsługi
• [SPARK-48930] [SC-171304][CORE] Redact by including pattern (Redact by including awsAccessKeyId pattern)accesskey
• [SPARK-48909] [SC-171080][ML][MLLIB] Używa platformy SparkSession na platformie SparkContext podczas pisania metadanych
• [SPARK-48883] [SC-171133][ML][R] Zastępowanie wywołania interfejsu API odczytu/zapisu RDD za pomocą interfejsu API odczytu/zapisu ramki danych
• [SPARK-48924] [SC-171313][PS] Dodawanie funkcji pomocniczej podobnej do biblioteki pandas make_interval
• [SPARK-48884] [SC-171051][PYTHON] Usuń nieużywaną funkcję pomocnika PythonSQLUtils.makeInterval
• [SPARK-48817] [SC-170636][SQL] Chętne wykonywanie wielu poleceń unii razem
• [SPARK-48896] [SC-171079][ML][MLLIB] Unikaj ponownego dzielenia podczas zapisywania metadanych
• [SPARK-48892] [SC-171127][ML] Unikaj odczytywania parametrów w poszczególnych wierszach Tokenizer
• [SPARK-48927] [SC-171227][CORE] Pokaż liczbę buforowanych RDD w StoragePage
• [SPARK-48886] [15.x][Backport][SC-171039][SS] Dodawanie informacji o wersji w celu zmiany dziennika wersji 2 w celu ułatwienia ewolucji
• [SPARK-48903] [SC-171136][SS] Poprawne ustawianie ostatniej wersji migawki bazy danych RocksDB podczas zdalnego ładowania
• [SPARK-48742] [SC-170538][SS] Rodzina kolumn wirtualnych dla bazy danych RocksDB
• [SPARK-48726] [15.x][SC-170753][SS] Utwórz format pliku StateSchemaV3 i zapisz go dla operatora TransformWithStateExec
• [SPARK-48794] [SC-170882][CONNECT][15.x] obsługa df.mergeInto dla platformy Spark Connect (Scala i Python)
• [SPARK-48714] [SC-170136][PYTHON] Implementowanie DataFrame.mergeInto w narzędziu PySpark
• [SPARK-48772] [SC-170642][SS][SQL] Tryb czytnika zestawienia zmian źródła danych stanu
• [SPARK-48666] [SC-170887][SQL] Nie wypychaj filtru, jeśli zawiera on pliki PythonUDFs
• [SPARK-48845] [SC-170889][SQL] GenericUDF przechwytuje wyjątki od elementów podrzędnych
• [SPARK-48880] [SC-170974][CORE] Unikaj zgłaszania wyjątku NullPointerException, jeśli nie można zainicjować wtyczki sterownika
• [SPARK-48888] [Backport][15x][SC-170973][SS] Usuwanie tworzenia migawki na podstawie rozmiaru operacji dziennika zmian
• [SPARK-48871] [SC-170876] Napraw weryfikację INVALID_NON_DETERMINISTIC_EXPRESSIONS w...
• [SPARK-48883] [SC-170894][ML][R] Zastępowanie wywołania interfejsu API odczytu/zapisu RDD za pomocą interfejsu API odczytu/zapisu ramki danych
• [SPARK-36680] [SC-170640][SQL] Obsługuje dynamiczne opcje tabeli dla usługi Spark SQL
• [SPARK-48804] [SC-170558][SQL] Dodaj klasyIsLoadable i OutputCommitter.isAssignableFrom sprawdź konfiguracje klas zatwierdzania danych wyjściowych
• [SPARK-46738] [SC-170791][PYTHON] Ponowne dodawanie grupy testów doctestów
• [SPARK-48858] [SC-170756][PYTHON] Usuń przestarzałe setDaemon wywołanie Thread metody w pliku log_communication.py
• [SPARK-48639] [SC-169801][CONNECT][PYTHON] Dodawanie źródła do funkcji RelationCommon
• [SPARK-48863] [SC-170770][ES-1133940][SQL] Naprawiono wyjątek ClassCastException podczas analizowania kodu JSON za pomocą włączonej opcji "spark.sql.json.enablePartialResults"
• [SPARK-48343] [SC-170450][SQL] Wprowadzenie interpretera skryptów SQL
• [SPARK-48529] [SC-170755][SQL] Wprowadzenie etykiet w skryptach SQL
• [SPARK-45292] Przywróć "[SC-151609][SQL][HIVE] Usuń Guava z klas udostępnionych z IsolatedClientLoader"
• [SPARK-48037] [SC-165330][CORE][3.5] Poprawka funkcji SortShuffleWriter nie ma powiązanych metryk zapisu, co powoduje potencjalnie niedokładne dane
• [SPARK-48720] [SC-170551][SQL] Wyrównaj polecenie ALTER TABLE ... UNSET TBLPROPERTIES ... w wersji 1 i 2
• [SPARK-48485] [SC-167825][CONNECT][SS] Obsługa przerwaniaTag i przerwaniaWszystkie w zapytaniach przesyłania strumieniowego
• [SPARK-45292] [SC-151609][SQL][HIVE] Usuń Guava z klas udostępnionych z elementu IsolatedClientLoader
• [SPARK-48668] [SC-169815][SQL] Obsługa ALTER NAMESPACE ... UNSET PROPERTIES in v2 (UNSET PROPERTIES in v2)
• [SPARK-47914] [SC-165313][SQL] Nie wyświetlaj parametru splits w zakresie
• [SPARK-48807] [SC-170643][SQL] Obsługa danych binarnych dla źródła danych CSV
• [SPARK-48220] [SC-167592][PYTHON][15.X] Zezwalaj na przekazywanie tabeli PyArrow w celu utworzenia elementuDataFrame()
• [SPARK-48545] [SC-169543][SQL] Tworzenie funkcji to_avro i from_avro SQL w celu dopasowania ich do odpowiedników ramek danych
• [SPARK-47577] [SC-168875][SPARK-47579] Poprawianie mylącego użycia klucza dziennika TASK_ID

Obsługa sterowników ODBC/JDBC usługi Databricks

Usługa Databricks obsługuje sterowniki ODBC/JDBC wydane w ciągu ostatnich 2 lat. Pobierz ostatnio wydane sterowniki i uaktualnij (pobierz plik ODBC, pobierz plik JDBC).

Środowisko systemu

• System operacyjny: Ubuntu 24.04.1 LTS
• Java: Zulu17.50+19-CA
• Scala: 2.12.18
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.2.1

Zainstalowane biblioteki języka Python

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki CRAN posit Menedżer pakietów.

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)