Databricks Runtime 15.3

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 15.3 obsługiwanym przez platformę Apache Spark 3.5.0.

Usługa Databricks wydała tę wersję w czerwcu 2024 r.

Nowe funkcje i ulepszenia

Źródła danych PySpark obsługują teraz odczytywanie i zapisywanie strumienia

PySpark DataSources, które umożliwiają odczytywanie z niestandardowych źródeł danych i zapisywanie w niestandardowych ujściach danych, teraz obsługują odczytywanie i zapisywanie strumienia. Zobacz Niestandardowe źródła danych PySpark.

Wyłączanie mapowania column za pomocą funkcji upuszczania

Możesz teraz użyć DROP FEATURE, aby wyłączyć mapowanie column w Delta tables i obniżyć protokół table. Zobacz Wyłącz mapowanie column.

Składnia typów wariantów i funkcje w publicznej wersji zapoznawczej

Natywna obsługa platformy Apache Spark do pracy z danymi częściowo ustrukturyzowanymi, ponieważ VARIANT typ jest teraz dostępny w ramkach danych platformy Spark i w języku SQL. Zobacz Zapytanie dotyczące danych wariantów.

Obsługa typu wariantu dla usługi Delta Lake w publicznej wersji zapoznawczej

Teraz możesz użyć VARIANT do przechowywania pół-ustrukturyzowanych danych w tables wspieranych rozwiązaniem Delta Lake. Zobacz Obsługa wariantów w usłudze Delta Lake.

Obsługa różnych trybów ewolucji schema w views

CREATE VIEW i ALTER VIEW teraz umożliwiają set tryb powiązania schema, poprawiając sposób, w jaki views obsługuje zmiany w obiektach bazowych schema. Ta funkcja umożliwia views tolerować lub dostosowywać się do schema zmian w obiektach bazowych. Rozwiązuje on zmiany w zapytaniu schema wynikające z modyfikacji definicji obiektów.

observe() Obsługa metod dodanych do klienta Spark Connect Scala

Klient Spark Connect Scala obsługuje Dataset.observe() teraz metody . Obsługa tych metod umożliwia zdefiniowanie metryk do obserwowania na Dataset obiekcie przy użyciu ds.observe("name", metrics...) metod lub ds.observe(observationObject, metrics...) .

Ulepszone opóźnienie ponownego uruchamiania strumienia dla modułu ładującego automatycznego

Ta wersja zawiera zmianę, która poprawia opóźnienie ponownego uruchamiania strumienia dla automatycznego modułu ładującego. To ulepszenie jest implementowane przez asynchroniczne ładowanie stanu przez magazyn stanów Bazy danych RocksDB. Dzięki tej zmianie powinna zostać wyświetlona poprawa czasu rozpoczęcia strumieni z dużymi stanami, na przykład strumieni z dużą liczbą już pozyskanych plików.

Zwracanie ramki danych jako elementu pyarrow.Table

Aby obsługiwać pisanie ramki danych bezpośrednio do obiektu Apache Arrow pyarrow.Table , ta wersja zawiera DataFrame.toArrow() funkcję . Aby dowiedzieć się więcej o korzystaniu ze strzałki w PySpark, zobacz Apache Arrow in PySpark (Strzałka w PySpark).

Poprawa wydajności niektórych funkcji window

Ta wersja zawiera zmianę, która poprawia wydajność niektórych funkcji platformy Spark window, w szczególności funkcji, które nie zawierają klauzuli ORDER BY ani parametru window_frame. W takich przypadkach system może ponownie napisać zapytanie, aby uruchomić je przy użyciu funkcji agregującej. Ta zmiana umożliwia szybsze uruchamianie zapytania przy użyciu częściowej agregacji i unikanie obciążenia związanego z uruchamianiem funkcji window. Parametr konfiguracyjny Spark spark.databricks.optimizer.replaceWindowsWithAggregates.enabled kontroluje tę optymalizację i domyślnie jest ustawiony na set do true. Aby wyłączyć tę optymalizację, setspark.databricks.optimizer.replaceWindowsWithAggregates.enabledfalse.

try_mod Dodano obsługę funkcji

W tej wersji dodano obsługę funkcji PySpark try_mod() . Ta funkcja obsługuje obliczenia zgodne ze standardem ANSI SQL pozostałej liczby całkowitej z dzielenia dwóch liczb values. Jeśli argument dzielnika wynosi 0, try_mod() funkcja zwraca wartość null zamiast zgłaszać wyjątek. Można użyć try_mod() funkcji zamiast mod lub %, która zgłasza wyjątek, jeśli argument dzielnika to 0, a usługa ANSI SQL jest włączona.

Obsługa opcjonalnego parametru zakresu w parametrze list_secrets()

Ta wersja pozwala limit przypisać wyniki funkcji list_secrets()table do określonego zakresu.

Poprawki błędów

WriteIntoDeltaCommand metryki w interfejsie użytkownika platformy Spark są teraz wyświetlane poprawnie

Ta wersja zawiera poprawkę metryk wyświetlanych na karcie SQL interfejsu użytkownika platformy Spark dla węzła Execute WriteIntoDeltaCommand . Wcześniej metryki wyświetlane dla tego węzła były zerowe.

groupby() Funkcja w interfejsie API biblioteki Pandas zignorowała as_index=False argument

Ta wersja zawiera poprawkę problemu groupby() z funkcją w interfejsie API biblioteki Pandas na platformie Spark. Przed wprowadzeniem tej poprawki ramka danych wynikająca z zastosowania groupby() z ponownym etykietowaniem zagregowanego columns i argumentu as_index=False nie zawierała kluczy grup.

Błąd parsowania dla wielu funkcji window odwołujących się do wyników innych funkcji

W tej wersji rozwiązano problem, który może wystąpić, gdy zapytanie platformy Spark ma wiele kolejnych funkcji window, where funkcje window odwołują się do danych wyjściowych z innych funkcji window. W rzadkich przypadkach system może porzucić jedno z odwołań, co prowadzi do błędów podczas oceniania zapytania. Spowoduje to naprawienie tych odwołań w celu zapewnienia oceny zapytań. Ta zmiana jest kontrolowana przez parametr konfiguracji Spark spark.databricks.optimizer.collapseWindows.projectReferences, który domyślnie jest ustawiony na set do true. Aby wyłączyć tę zmianę, setspark.databricks.optimizer.collapseWindows.projectReferences na false.

Uaktualnienia biblioteki

• Uaktualnione biblioteki języka Python:
  • filelock z wersji 3.13.1 do 3.13.4
• Uaktualnione biblioteki języka R:
• Uaktualnione biblioteki Java:
  • org.rocksdb.rocksdbjni z wersji 8.3.2 do 8.11.4

Apache Spark

Środowisko Databricks Runtime 15.3 obejmuje platformę Apache Spark 3.5.0. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 15.2, a także następujące dodatkowe poprawki i ulepszenia platformy Spark:

• [SPARK-48211] [DBRRM-1041][15.x][15.3] Przywróć "[SC-165552][SQL] DB2: Odczyt smallINT jako Sho...
• [SPARK-47904] [DBRRM-1040][BEHAVE-33][SC-163409] Cofnij SPARK-47904: Zachowaj wielkość liter w Avro schema podczas używania EnableStableIdentifiersForUnionType
• [SPARK-48288] [SC-166141] Dodawanie typu danych źródłowych dla wyrażenia rzutowego łącznika
• [SPARK-48175] [SC-166341][SQL][PYTHON] Przechowywanie informacji sortowania w metadanych, a nie w typie SER/DE
• [SPARK-48172] [SC-166078][SQL] Rozwiązywanie problemów z ucieczką w narzędziu JDBCDialects
• [SPARK-48186] [SC-165544][SQL] Dodano obsługę elementu AbstractMapType
• [SPARK-48031] [SC-166523] Dziedzictwo poprzedników views do SCHEMA BINDING
• [SPARK-48369] [SC-166566][SQL][PYTHON][CONNECT] Dodawanie funkcji timestamp_add
• [SPARK-48330] [SC-166458][SS][PYTHON] Rozwiązano problem z przekroczeniem limitu czasu źródła danych przesyłania strumieniowego języka Python dla dużego interwału wyzwalacza
• [SPARK-48369] Przywróć "[SC-166494][SQL][PYTHON][CONNECT] Dodaj funkcję timestamp_add"
• [SPARK-48336] [SC-166495][PS][CONNECT] Implementowanie ps.sql w programie Spark Connect
• [SPARK-48369] [SC-166494][SQL][PYTHON][CONNECT] Dodawanie funkcji timestamp_add
• [SPARK-47354] [SC-165546][SQL] Dodawanie obsługi sortowania dla wyrażeń wariantów
• [SPARK-48161] [SC-165325][SQL] Poprawka przywróconego żądania ściągnięcia — dodawanie obsługi sortowania dla wyrażeń JSON
• [SPARK-48031] [SC-166391] Przeanalizuj konfigurację viewSchemaMode, dodaj obsługę SHOW CREATE TABLE
• [SPARK-48268] [SC-166217][CORE] Dodawanie konfiguracji dla elementu SparkContext.setCheckpointDir
• [SPARK-48312] [ES-1076198][SQL] Zwiększanie wydajności alias.removeNonInheritableMetadata
• [SPARK-48294] [SC-166205][SQL] Obsługa małych liter w zagnieżdżonym typieMissingElementTypeError
• [SPARK-47254] [SC-158847][SQL] Przypisywanie nazw do klas błędów _LEGACY_ERROR_TEMP_325[1–9]
• [SPARK-47255] [SC-158749][SQL] Przypisywanie nazw do klas błędów _LEGACY_ERROR_TEMP_323[6–7] i _LEGACY_ERROR_TEMP_324[7–9]
• [SPARK-48310] [SC-166239][PYTHON][CONNECT] Właściwości buforowane muszą zwracać kopie
• [SPARK-48308] [SC-166152][Core] Ujednolicenie pobierania schema danych bez partitioncolumns w usłudze FileSourceStrategy
• [SPARK-48301] [SC-166143][SQL] Zmień nazwę CREATE_FUNC_WITH_IF_NOT_EXISTS_AND_REPLACE na CREATE_ROUTINE_WITH_IF_NOT_EXISTS_AND_REPLACE
• [SPARK-48287] [SC-166139][PS][CONNECT] Stosowanie metody builtin timestamp_diff
• [SPARK-47607] [SC-166129] Dodawanie dokumentacji dotyczącej struktury rejestrowania strukturalnego
• [SPARK-48297] [SC-166136][SQL] Naprawianie klauzuli TRANSFORM regresji za pomocą znaku/varchar
• [SPARK-47045] [SC-156808][SQL] Zastąp IllegalArgumentException element SparkIllegalArgumentException w sql/api
• [SPARK-46991] [SC-156399][SQL] Zastąp IllegalArgumentException element SparkIllegalArgumentException w catalyst
• [SPARK-48031] [SC-165805][SQL] Widok pomocy technicznej schema ewolucji
• [SPARK-48276] [SC-166116][PYTHON][CONNECT] Dodaj brakującą __repr__ metodę dla polecenia SQLExpression
• [SPARK-48278] [SC-166071][PYTHON][CONNECT] Uściślij reprezentację ciągu Cast
• [SPARK-48272] [SC-166069][SQL][PYTHON][CONNECT] Dodawanie funkcji timestamp_diff
• [SPARK-47798] [SC-162492][SQL] Udoskonalenie komunikatu o błędach związanych z odczytem liczb dziesiętnych values
• [SPARK-47158] [SC-158078][SQL] Przypisz odpowiednią nazwę i sqlState do _LEGACY_ERROR_TEMP_(2134|2231)
• [SPARK-48218] [SC-166082][CORE] Obiekt TransportClientFactory.createClient może powodować wyjątek FetchFailedException
• [SPARK-48277] [SC-166066] Ulepszanie komunikatu o błędzie dla errorClassesJsonReader.getErrorMessage
• [SPARK-47545] [SC-165444][CONNECT] Obsługa zestawu danych observe dla klienta Scala
• [SPARK-48954] [SC-171672][SQL] Dodawanie try_mod funkcji
• [SPARK-43258] [SC-158151][SQL] Przypisywanie nazw do _LEGACY_ERROR_TEMP_202 błędu[3,5]
• [SPARK-48267] [SC-165903][SS] Test regresji e2e z platformą SPARK-47305
• [SPARK-48263] [SC-165925] Obsługa funkcji sortowania dla ciągów innych niż UTF8_BINARY
• [SPARK-48260] [SC-165883][SQL] Wyłączanie koordynacji zatwierdzania danych wyjściowych w jednym teście parquetIOSuite
• [SPARK-47834] [SC-165645][SQL][CONNECT] Oznaczanie przestarzałych funkcji za pomocą @deprecated polecenia w SQLImplicits
• [SPARK-48011] [SC-164061][Core] Zapisz nazwę LogKey jako wartość, aby uniknąć generowania nowych wystąpień ciągów
• [SPARK-48074] [SC-164647][Core] Zwiększanie czytelności dzienników JSON
• [SPARK-44953] [SC-165866][CORE] Rejestrowanie ostrzeżenia po włączeniu śledzenia mieszania wzdłuż innego obsługiwanego mechanizmu da
• [SPARK-48266] [SC-165897][CONNECT] Przenoszenie obiektu org.apache.spark.sql.connect.dsl pakietu do katalogu testowego
• [SPARK-47847] [SC-165651][CORE] Oznaczanie jako przestarzałe spark.network.remoteReadNioBufferConversion
• [SPARK-48171] [SC-165178][CORE] Czyszczenie użycia przestarzałych konstruktorów o.rocksdb.Logger
• [SPARK-48235] [SC-165669][SQL] Bezpośrednie przekazywanie join zamiast wszystkich argumentów getBroadcastBuildSide i getShuffleHashJoinBuildSide
• [SPARK-48224] [SC-165648][SQL] Nie zezwalaj mapy na bycie typem wariantu
• [SPARK-48248] [SC-165791][PYTHON] Naprawa zagnieżdżonej tablicy tak, aby uwzględniała starsze konfiks inferArrayTypeFromFirstElement
• [SPARK-47409] [SC-165568][SQL] Dodano obsługę sortowania dla typu StringTrim funkcji/wyrażeń (dla UTF8_BINARY i LCASE)
• [SPARK-48143] [ES-1095638][SQL] Używanie uproszczonych wyjątków dla przepływu sterowania między univocityParser i FailureSafeParser
• [SPARK-48146] [SC-165668][SQL] Naprawianie funkcji agregującej w asercji podrzędnej wyrażeń
• [SPARK-48161] Przywróć obsługę sortowania "[SC-165325][SQL] Dodawanie obsługi sortowania dla wyrażeń JSON"
• [SPARK-47963] [CORE] Umożliwianie zewnętrznego ekosystemu platformy Spark korzystanie z mechanizmów rejestrowania strukturalnego
• [SPARK-48180] [SC-165632][SQL] Popraw błąd w wywołaniu UDTF, gdy zapomniano nawiasów wokół wielu wyrażeń PARTITION/ORDER BY w argumencie TABLE
• [SPARK-48002] [SC-164132][PYTHON][SS] Dodawanie testu dla obserwowanych metryk w elemencie PySpark StreamingQueryListener
• [SPARK-47421] [SC-165548][SQL] Dodawanie obsługi sortowania dla wyrażeń adresów URL
• [SPARK-48161] [SC-165325][SQL] Dodawanie obsługi sortowania dla wyrażeń JSON
• [SPARK-47359] [SC-164328][SQL] Obsługa funkcji TRANSLATE do pracy z ciągami sortowania
• [SPARK-47365] [SC-165643][PYTHON] Dodawanie metody toArrow() DataFrame do programu PySpark
• [SPARK-48228] [SC-165649][PYTHON][CONNECT] Implementowanie brakującej walidacji funkcji w aplikacji ApplyInXXX
• [SPARK-47986] [SC-165549][CONNECT][PYTHON] Nie można utworzyć nowej sesji, gdy sesja domyślna jest zamknięta przez serwer
• [SPARK-47963] Przywróć "[CORE] Czy zewnętrzny ekosystem platformy Spark może używać mechanizmów rejestrowania strukturalnego "
• [SPARK-47963] [CORE] Umożliwianie zewnętrznego ekosystemu platformy Spark korzystanie z mechanizmów rejestrowania strukturalnego
• [SPARK-48208] [SC-165547][SS] Pomiń dostarczanie metryk użycia pamięci z bazy danych RocksDB, jeśli jest włączone ograniczone użycie pamięci
• [SPARK-47566] [SC-164314][SQL] Obsługa funkcji SubstringIndex do pracy z ciągami sortowania
• [SPARK-47589] [SC-162127][SQL]Hive-Thriftserver: Migrowanie logError ze zmiennymi do struktury rejestrowania strukturalnego
• [SPARK-48205] [SC-165501][PYTHON] Remove prywatny modyfikator [sql] dla źródeł danych w języku Python
• [SPARK-48173] [SC-165181][SQL] Funkcja CheckAnalysis powinna wyświetlić cały plan zapytania
• [SPARK-48197] [SC-165520][SQL] Unikaj błędu potwierdzenia dla nieprawidłowej funkcji lambda
• [SPARK-47318] [SC-162573][CORE] Dodaje rundę HKDF do wyprowadzania kluczy AuthEngine w celu przestrzegania standardowych praktyk KEX
• [SPARK-48184] [SC-165335][PYTHON][CONNECT] Zawsze set inicjuj Dataframe.sample po stronie klienta
• [SPARK-48128] [SC-165004][SQL] W przypadku wyrażenia BitwiseCount/bit_count napraw błąd składni kodu dla danych wejściowych typu logicznego
• [SPARK-48147] [SC-165144][SS][CONNECT] Remove nasłuchiwacze po stronie klienta przy usunięciu lokalnej sesji Spark
• [SPARK-48045] [SC-165299][PYTHON] Grupowanie interfejsu API biblioteki Pandas z etykietą wielokrotnego sugerowania ignoruje as_index=False
• [SPARK-48191] [SC-165323][SQL] Obsługa kodowania i dekodowania ciągów UTF-32
• [SPARK-45352] [SC-137627][SQL] Eliminowanie składalnych partycji window
• [SPARK-47297] [SC-165179][SQL] Dodawanie obsługi sortowania dla wyrażeń formatu
• [SPARK-47267] [SC-165170][SQL] Dodano obsługę sortowania dla wyrażeń skrótów
• [SPARK-47965] [SC-163822][CORE] Unikaj orNull w TypedConfigBuilder i OptionalConfigEntry
• [SPARK-48166] [SQL] Unikaj używania błędu BadRecordException jako błędu dostępnego dla użytkownika w narzędziu VariantExpressionEvalUtils
• [SPARK-48105] [SC-165132][SS] Naprawianie stanu wyścigu między zwalnianiem magazynu stanów i migawek
• [SPARK-47922] [SC-163997][SQL] Implementowanie wyrażenia try_parse_json
• [SPARK-47719] [SC-161909][SQL] Zmień spark.sql.legacy.timeParse...
• [SPARK-48035] [SC-165136][SQL] Poprawka try_add/try_multiply jest semantyczna równa dodawaniu/mnożenia
• [SPARK-48107] [SC-164878][PYTHON] Wykluczanie testów z dystrybucji języka Python
• [SPARK-46894] [SC-164447][PYTHON] Przenoszenie warunków błędu PySpark do autonomicznego pliku JSON
• [SPARK-47583] [SC-163825][CORE] Podstawowa baza danych SQL: Migrowanie błędu logError ze zmiennymi do struktury rejestrowania strukturalnego
• [SPARK-48064] Cofnij “[SC-164697][SQL] Update komunikaty o błędach dla klas błędów związanych z procedurami”
• [SPARK-48048] [SC-164846][CONNECT][SS] Dodano obsługę odbiornika po stronie klienta dla języka Scala
• [SPARK-48064] [SC-164697][SQL] Update komunikaty o błędach dla klas błędów związanych z rutynami
• [SPARK-48056] [SC-164715][CONNECT][PYTHON] Wykonaj ponownie plan, jeśli zostanie zgłoszony błąd SESSION_NOT_FOUND i nie odebrano częściowej odpowiedzi
• [SPARK-48124] [SC-165009][CORE] Wyłączanie rejestrowania strukturalnego dla opcji Connect-Repl domyślnie
• [SPARK-47922] Przywróć "[SC-163997][SQL] Implementowanie wyrażenia try_parse_json"
• [SPARK-48065] [SC-164817][SQL] SPJ: allowJoinKeysSubsetOfPartitionKeys jest zbyt rygorystyczny
• [SPARK-48114] [SC-164956][CORE] Wstępnie skompiluj wyrażeń regularnych szablonu, aby uniknąć niepotrzebnej pracy
• [SPARK-48067] [SC-164773][SQL] Poprawka wariantu domyślnego columns
• [SPARK-47922] [SC-163997][SQL] Implementowanie wyrażenia try_parse_json
• [SPARK-48075] [SC-164709] [SS] Dodawanie sprawdzania typów dla funkcji avro PySpark
• [SPARK-47793] [SC-164324][SS][PYTHON] Implementowanie elementu SimpleDataSourceStreamReader dla źródła danych przesyłania strumieniowego języka Python
• [SPARK-48081] [SC-164719] Naprawiono wyjątek ClassCastException w NTile.checkInputDataTypes(), gdy argument jest nieskładalny lub nieprawidłowy typ
• [SPARK-48102] [SC-164853][SS] Śledzenie czasu trwania uzyskiwania metryk źródła/ujścia podczas raportowania postępu zapytań przesyłanych strumieniowo
• [SPARK-47671] [SC-164854][Core] Włączanie rejestrowania strukturalnego w pliku log4j2.properties.template i update dokumentacji
• [SPARK-47904] [SC-163409][SQL] Zachowaj przypadek w schema Avro podczas korzystania z enableStableIdentifiersForUnionType
• [SPARK-48058] [SC-164695][SPARK-43727][PYTHON][CONNECT] UserDefinedFunction.returnType Analizowanie ciągu DDL
• [SPARK-46922] [SC-156102][CORE][SQL] Nie opakowuj błędów środowiska uruchomieniowego, które napotyka użytkownik
• [SPARK-48047] [SC-164576][SQL] Zmniejsz wykorzystanie pamięci pustych tagów TreeNode
• [SPARK-47934] [SC-164648] [CORE] Upewnij się, że końcowe ukośniki w HistoryServer przekierowaniach adresów URL
• [SPARK-47921] [SC-163826][CONNECT] Naprawiono tworzenie elementu ExecuteJobTag w elemecie ExecuteHolder
• [SPARK-48014] [SC-164150][SQL] Zmień błąd makeFromJava w pliku EvaluatePython na błąd napotykany przez użytkownika
• [SPARK-47903] [SC-163424][PYTHON] Dodano obsługę pozostałych typów skalarnych w bibliotece wariantów PySpark
• [SPARK-48068] [SC-164579][PYTHON] mypy powinien mieć --python-executable parametr
• [SPARK-47846] [SC-163074][SQL] Dodano obsługę typu wariantu w wyrażeniu from_json
• [SPARK-48050] [SC-164322][SS] Rejestrowanie planu logicznego podczas uruchamiania zapytania
• [SPARK-47810] [SC-163076][SQL] Zastąp wyrażenie równoważne <=> w warunku join
• [SPARK-47741] [SC-164290] Dodano obsługę przepełnienia stosu w analizatorze
• [SPARK-48053] [SC-164309][PYTHON][CONNECT] Element SparkSession.createDataFrame powinien ostrzegać przed nieobsługiwanymi opcjami
• [SPARK-47939] [SC-164171][SQL] Zaimplementuj nową regułę analizatora, aby przenieść parametryzowanąquery wewnątrz funkcji ExplainCommand i DescribeQueryCommand
• [SPARK-48063] [SC-164432][CORE] Włącz spark.stage.ignoreDecommissionFetchFailure domyślnie
• [SPARK-48016] [SC-164280][SQL] Naprawiono usterkę w funkcji try_divide, gdy w przypadku liczby dziesiętnej
• [SPARK-48033] [SC-164291][SQL] Naprawianie wyrażeń RuntimeReplaceable używanych w columns domyślnych
• [SPARK-48010] [SC-164051][SQL][ES-1109148] Unikaj powtarzających się wywołań narzędzia conf.resolver w pliku resolveExpression
• [SPARK-48003] [SC-164323][SQL] Dodawanie obsługi sortowania dla agregacji szkiców hll
• [SPARK-47994] [SC-164175][SQL] Naprawiono usterkę z błędem CASE WHEN column filter push down in SQLServer
• [SPARK-47984] [SC-163837][ML][SQL] Zmień MetricsAggregate/V2Aggregator#serialize/deserialize na wywołanie SparkSerDeUtils#serialize/deserialize
• [SPARK-48042] [SC-164202][SQL] Użyj formatera znaczników czasu z timezone na poziomie klasy zamiast tworzenia kopii na poziomie metod
• [SPARK-47596] [SPARK-47600][SPARK-47604][SPARK-47804] Migracje dzienników strukturalnych
• [SPARK-47594] [SPARK-47590][SPARK-47588][SPARK-47584] Migracje dzienników strukturalnych
• [SPARK-47567] [SC-164172][SQL] Obsługa funkcji LOCATE do pracy z ciągami sortowania
• [SPARK-47764] [SC-163820][CORE][SQL] Czyszczenie zależności mieszania na podstawie funkcji ShuffleCleanupMode
• [SPARK-48039] [SC-164174][PYTHON][CONNECT] Update klasa błędów dla group.apply
• [SPARK-47414] [SC-163831][SQL] Obsługa sortowania małych liter dla wyrażeń regexp
• [SPARK-47418] [SC-163818][SQL] Dodawanie ręcznie opracowanych implementacji dla funkcji obsługujących unicode: zawiera, zaczyna się od, kończy się na i optimize UTF8_BINARY_LCASE
• [SPARK-47580] [SC-163834][SQL] Katalizator SQL: eliminowanie nienazwanych zmiennych w dziennikach błędów
• [SPARK-47351] [SC-164008][SQL] Dodano obsługę sortowania dla wyrażeń ciągu StringToMap & Mask
• [SPARK-47292] [SC-164151][SS] safeMapToJValue powinno uwzględniać typ null values
• [SPARK-47476] [SC-164014][SQL] Obsługa funkcji REPLACE do pracy z ciągami sortowania
• [SPARK-47408] [SC-164104][SQL] Naprawianie funkcji mathExpressions używających parametru StringType
• [SPARK-47350] [SC-164006][SQL] Dodano obsługę sortowania dla wyrażenia ciągu SplitPart
• [SPARK-47692] [SC-163819][SQL] Naprawianie domyślnego znaczenia stringtype w niejawnych rzutach
• [SPARK-47094] [SC-161957][SQL] SPJ: dynamicznie ponownie zrównoważa liczbę zasobników, gdy nie są równe
• [SPARK-48001] [SC-164000][CORE] Remove nieużywane private implicit def arrayToArrayWritable z SparkContext
• [SPARK-47986] [SC-163999][CONNECT][PYTHON] Nie można utworzyć nowej sesji, gdy sesja domyślna jest zamknięta przez serwer
• [SPARK-48019] [SC-164121] Naprawianie nieprawidłowego zachowania w kolumnie ColumnVector/ColumnarArray przy użyciu słownika i wartości null
• [SPARK-47743] [SPARK-47592][SPARK-47589][SPARK-47581][SPARK-47586][SPARK-47593][SPARK-47595][SPARK-47587][SPARK-47603] Migracje dzienników strukturalnych
• [SPARK-47999] [SC-163998][SS] Ulepszanie rejestrowania wokół tworzenia migawek i dodawania/usuwania wpisów z mapy pamięci podręcznej stanu w systemie plików HDFS wspieranego dostawcy magazynu stanów
• [SPARK-47417] [SC-162872][SQL] Obsługa sortowania: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences
• [SPARK-47712] [SC-161871][CONNECT] Zezwalaj na łączenie wtyczek w celu tworzenia i przetwarzania zestawów danych
• [SPARK-47411] [SC-163351][SQL] Obsługa funkcji StringInstr i FindInSet do pracy z ciągami sortowania
• [SPARK-47360] [SC-163014][SQL] Obsługa sortowania: Nakładka, FormatString, Length, BitLength, OctetLength, SoundEx, Luhncheck
• [SPARK-47413] [SC-163323][SQL] — dodawanie obsługi podciągów/lewej/prawej do sortowania
• [SPARK-47983] [SC-163835][SQL] Obniż poziom spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabled do wewnętrznej
• [SPARK-47964] [SC-163816][PYTHON][CONNECT] Ukrywanie obiektów SQLContext i HiveContext w narzędziu pyspark-connect
• [SPARK-47985] [SC-163841][PYTHON] Upraszczanie funkcji za pomocą polecenia lit
• [SPARK-47633] [SC-163453][SQL] Uwzględnij dane wyjściowe planu po prawej stronie, LateralJoin#allAttributes aby uzyskać bardziej spójną kanonizację
• [SPARK-47909] Przywróć klasę "[PYTHON][CONNECT] Nadrzędna ramka danych f...
• [SPARK-47767] [SC-163096][SQL] Pokaż wartość offset w takeOrderedAndProjectExec
• [SPARK-47822] [SC-162968][SQL] Uniemożliwianie skrótów wyrażeń skrótu przy użyciu skrótu typu danych wariantu
• [SPARK-47490] [SC-160494][SS] Naprawiono użycie konstruktora rejestratora bazy danych RocksDB, aby uniknąć ostrzeżenia o wycofaniu
• [SPARK-47417] Przywróć obsługę sortowania "[SC-162872][SQL] Obsługa sortowania: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences"
• [SPARK-47352] [SC-163460][SQL] Poprawka rozpoznawania sortowania Upper, Lower, InitCap
• [SPARK-47909] [PYTHON][CONNECT] Nadrzędna klasa ramki danych dla platformy Spark Connect i klasycznej platformy Spark
• [SPARK-47417] [SC-162872][SQL] Obsługa sortowania: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences

Obsługa sterowników ODBC/JDBC usługi Databricks

Usługa Databricks obsługuje sterowniki ODBC/JDBC wydane w ciągu ostatnich 2 lat. Pobierz ostatnio wydane sterowniki i uaktualnij (pobierz plik ODBC, pobierz plik JDBC).

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 15.3.

Środowisko systemu

• System operacyjny: Ubuntu 22.04.4 LTS
• Java: Zulu 8.78.0.19-CA-linux64
• Scala: 2.12.18
• Python: 3.11.0
• R: 4.3.2
• Delta Lake: 3.2.0

Zainstalowane biblioteki języka Python

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki CRAN posit Menedżer pakietów.

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)