Databricks Runtime 13.1 (サポート期間終了)

次のリリース ノートには、Apache Spark 3.4.0 で稼働する Databricks Runtime 13.1 に関する情報が記載されています。

Databricks は、2023 年 5 月にこのバージョンをリリースしました。

新機能と機能強化

• JDK 17 のクラスター サポート (パブリック プレビュー)
• ストリーミング テーブルのデータを追加、変更、または削除する
• SQL を使用して Kafka を読み取る
• 新しい SQL 組み込み関数
• クラスター スコープの Python ライブラリに対する Unity Catalog のサポート
• Unity Catalog での最適化された書き込みの既定の有効化の拡張
• 構造化ストリーミング ワークロードでのステートフル オペレーターの高度なサポート
• Unity Catalog のタグ付けはパブリック プレビュー段階です
• 構造化ストリーミングの Pub/Sub のサポート
• 構造化ストリーミングでウォーターマーク内の重複を削除する
• パーティション列が切り捨てられた Iceberg テーブルからの差分変換のサポートが拡張されました
• Delta Lake での列マッピングを使用したストリーム スキーマの変更
• START VERSION の削除
• Python で使用できる新しい H3 式

JDK 17 のクラスター サポート (パブリック プレビュー)

Databricks は、Java Development Kit (JDK) 17 のクラスター サポートを提供するようになりました。 「Databricks SDK for Java」を参照してください。

ストリーミング テーブルのデータを追加、変更、または削除する

DML ステートメントを使用して、Delta Live Tables パイプラインによって Unity Catalog に発行されたストリーミング テーブルを変更できるようになりました。 「ストリーミング テーブル内のデータを追加、変更、または削除する」および「 ターゲット ストリーミング テーブルのデータを追加、変更、または削除する」を参照してください。 DML ステートメントを使用して、Databricks SQL で作成されたストリーミング テーブルを変更することもできます。

SQL を使って Kafka を読み取る

これで、read_kafka SQL 関数を使用して Kafka データを読み取ることができます。 SQL を使用したストリーミングは、Delta Live Tables または Databricks SQL のストリーミング テーブルでのみサポートされます。 「read_kafka テーブル値関数」を参照してください。

新しい SQL 組み込み関数

次の分析関数が追加されました:

• array_prepend(array, elem) で elem が前に付加した array を返します。
• try_aes_decrypt(expr, key [, mode [, padding]]) AES 暗号化を使用して生成されたバイナリを復号化し、エラーが発生した場合は NULL を返します。
• sql_keywords() Azure Databricks SQL キーワードのテーブルを返します。

クラスター スコープの Python ライブラリに対する Unity Catalog のサポート

Unity Catalog には、ライブラリの使用に関するいくつかの制限があります。 Databricks Runtime 13.1 以降では、ワークスペース ファイルとしてアップロードされる Python ホイール ファイルなど、クラスター スコープの Python ライブラリがサポートされています。 DBFS ファイルパスを使用して参照されるライブラリは、DBFS ルート内でも、DBFS にマウントされた外部の場所でもサポートされていません。 Python 以外のライブラリはサポートされていません。 「クラスター ライブラリ」を参照してください。

Databricks Runtime 13.0 以前では、Unity カタログ対応ワークスペースで共有アクセス モードを使用するクラスターでは、クラスター スコープのライブラリはサポートされていません。

Unity Catalog での最適化された書き込みの既定の有効化の拡張

Unity Catalog に登録されている Delta テーブルの既定の最適化された書き込みサポートは、パーティション テーブルの CTAS ステートメントと INSERT 操作を含むように拡張されました。 この動作は、SQL ウェアハウスの既定値に合わせて調整されます。 「Delta Lake on Azure Databricks の最適化された書き込み」を参照してください。

構造化ストリーミング ワークロードでのステートフル オペレーターの高度なサポート

複数のステートフル演算子を連結できるようになりました。つまり、ウィンドウ集計などの操作の出力を結合などの別のステートフル操作にフィードできます。 「ステートフル ストリーミングとは」を参照してください。

Unity Catalog のタグ付けはパブリック プレビュー段階です

シャロー クローンを使用して、既存の Unity Catalog マネージド テーブルから新しい Unity Catalog マネージド テーブルを作成できるようになりました。 「Unity Catalog テーブルのシャロー クローン」を参照してください。

構造化ストリーミングの Pub/Sub のサポート

組み込みのコネクタを使用して、構造化ストリーミングを使用して Google Pub/Sub にサブスクライブできるようになりました。 「Google Pub/Sub にサブスクライブする」を参照してください。

構造化ストリーミングでウォーターマーク内の重複を削除する

指定したウォーターマークしきい値と組み合わせて dropDuplicatesWithinWatermark を使用して、構造化ストリーミング内のレコードを重複除去できるようになりました。 「ウォーターマーク内の重複をドロップする」を参照してください。

パーティション列が切り捨てられた Iceberg テーブルからの差分変換のサポートが拡張されました

int、long、string 型の切り詰められた列にパーティションが定義されている Iceberg テーブルで、CLONE および CONVERT TO DELTA を使用できるようになりました。 decimal 型の切り捨てられた列はサポートされていません。

Delta Lake での列マッピングを使用したストリーム スキーマの変更

スキーマ追跡の場所を指定して、列マッピングが有効になっている Delta テーブルからのストリーミングを有効にすることができます。 「列マッピングとスキーマの変更が伴うストリーミング」を参照してください。

START VERSION の削除

ALTER SHARE で START VERSION が非推奨になりました。

Python で使用できる新しい H3 式

h3_coverash3 式と h3_coverash3string 式が Python で使用できます。

バグ修正

Parquet failOnUnknownFields で型の不一致に関するデータが自動的に削除されなくなりました

Parquet ファイルが failOnUnknownFields オプションのみを使用して読み取られた場合、または failOnNewColumns スキーマ展開モードで自動ローダーを使用した場合、異なるデータ型を持つ列は失敗し、rescuedDataColumn を使用することをお勧めします。 Integer 型、Short 型、Byte 型のデータ型のいずれかが指定されている場合は、自動ローダーが正しく読み取られ、型が復旧されなくなりました。 Parquet ファイルでは、他の 2 つの型のいずれかが提案されます。

破壊的変更

CVE-2023-32697 に対処するために sqlite-jdbc バージョンを 3.42.0.0 にアップグレードする

sqlite-jdbc バージョンを 3.8.11.2 から 3.42.0.0 にアップグレードします。 バージョン 3.42.0.0 の API は、3.8.11.2 と完全に互換性がありません。 コードで sqlite-jdbc を使用する場合は、sqlite-jdbc 互換性レポートをチェックして詳細を確認してください。 13.1 に移行して sqlite を使用する場合は、バージョン 3.42.0.0 でメソッドと戻り値の型を確認します。

ライブラリのアップグレード

• アップグレードされた Python ライブラリ:
  • facets-overview (1.0.2 から 1.0.3 へ)
  • filelock (3.10.7 から 3.12.0 へ)
  • pyarrow (7.0.0 から 8.0.0 へ)
  • tenacity (8.0.1 から 8.1.0 へ)
• アップグレードされた R ライブラリは次のとおりです。
• アップグレードされた Java ライブラリ:
  • com.github.ben-manes.caffeine.caffeine (2.3.4 から 2.9.3 へ)
  • io.delta.delta-sharing-spark_2.12 から 0.6.8 から 0.6.4
  • net.snowflake.snowflake-jdbc (3.13.29 から 3.13.22)
  • org.checkerframework.checker-qual (3.5.0 から 3.19.0 へ)
  • org.scalactic.scalactic_2.12 (3.0.8 から 3.2.15 へ)
  • org.scalatest.scalatest_2.12 (3.0.8 から 3.2.15 へ)
  • org.xerial.sqlite-jdbc (3.8.11.2 から 3.42.0.0 へ)

Apache Spark

Databricks Runtime 13.1 には、Apache Spark 3.4.0 が含まれています。 このリリースには、Databricks Runtime 13.0 (サポート期間終了) に含まれるすべての Spark の修正プログラムおよび機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています:

• [SPARK-42719] [DBRRM-199][SC-131578] Revert “[SC-125225] `MapOutputTracker#getMap...
• [SPARK-39696] [DBRRM-166][SC-130056][CORE] Revert [SC-127830]/
• [SPARK-43331] [SC-130064][CONNECT] Spark Connect SparkSession.interruptAll を追加
• [SPARK-43332] [SC-130051][CONNECT][PYTHON] SparkConnectClient 用に ChannelBuilder を拡張できるようにする
• [SPARK-43323] [SC-129966][SQL][PYTHON] 例外を適切に処理するために Arrow を有効にして DataFrame.toPandas を修正する
• [SPARK-42940] [SC-129896][SS][CONNECT] ストリーミング クエリのセッション管理を改善する
• [SPARK-43032] [SC-125756] [CONNECT][SS] ストリーミング クエリ マネージャーの追加
• [SPARK-16484][SQL] DataSketches HllSketch のサポートを追加
• [SPARK-43260] [SC-129281][PYTHON] Spark SQL pandas 矢印の種類のエラーをエラー クラスに移行する。
• [SPARK-41766] [SC-129964][CORE] Executor 登録前に送信された使用停止要求を処理する
• [SPARK-43307] [SC-129971][PYTHON] PandasUDF 値エラーをエラー クラスに移行する
• [SPARK-43206] [SC-129903] [SS] [CONNECT] StreamingQuery exception() にスタック トレースが含まれる
• [SPARK-43311] [SC-129905][SS] RocksDB ステート ストア プロバイダーのメモリ管理の機能強化の追加
• [SPARK-43237] [SC-129898][CORE] イベント ログで null 例外メッセージを処理する
• [SPARK-43320] [SC-129899][SQL][HIVE] Hive 2.3.9 API を直接呼び出す
• [SPARK-43270] [SC-129897][PYTHON] __dir__() を pyspark.sql.dataframe.DataFrame に実装して列を含める
• [SPARK-43183] 元に戻す "[SC-128938][SS] 新しいコールバックを導入"...
• [SPARK-43143] [SC-129902] [SS] [CONNECT] Scala StreamingQuery awaitTermination()
• [SPARK-43257] [SC-129675][SQL] エラー クラス _LEGACY_ERROR_TEMP_2022 を内部エラーで置き換える
• [SPARK-43198] [SC-129470][CONNECT] "クラス アンモナイトを初期化できませんでした..." の修正 フィルター使用時のエラー
• [SPARK-43165] [SC-129777][SQL] canWrite を DataTypeUtils に移動する
• [SPARK-43298] [SC-129729][PYTHON][ML] スカラー入力で predict_batch_udf がバッチ サイズ 1 で失敗する
• [SPARK-43298] [SC-129700]Revert "[PYTHON][ML] スカラー入力で predict_batch_udf がバッチ サイズ 1 で失敗する"
• [SPARK-43052] [SC-129663][CORE] イベント ログで null ファイル名でスタック トレースを処理する
• [SPARK-43183] [SC-128938][SS] StreamingQueryListener に新しいコールバック "onQueryIdle" を導入する
• [SPARK-43209] [SC-129190][CONNECT][PYTHON] 式エラーをエラー クラスに移行する
• [SPARK-42151] [SC-128754][SQL] UPDATE の割り当てをテーブル属性に合わせる
• [SPARK-43134] [SC-129468] [CONNECT] [SS] JVM クライアント StreamingQuery exception() API
• [SPARK-43298] [SC-129729][PYTHON][ML] スカラー入力で predict_batch_udf がバッチ サイズ 1 で失敗する
• [SPARK-43248] [SC-129660][SQL] パーティション統計を収集する並列でのパスの不要なシリアル化/逆シリアル化
• [SPARK-43274] [SC-129464][SPARK-43275][PYTHON][CONNECT] PySparkNotImplementedError の導入
• [SPARK-43146] [SC-128804][CONNECT][PYTHON] repr と repr_html の一括評価を実装する
• [SPARK-42953] [SC-129469][Connect][Followup] Scala クライアント UDF テストの Maven テスト ビルドを修正
• [SPARK-43144] [SC-129280] Scala Client DataStreamReader table() API
• [SPARK-43136] [SC-129358][CONNECT] groupByKey + mapGroup + coGroup 関数の追加
• [SPARK-43156] [SC-129672][SC-128532][SQL] 相関スカラー サブクエリの COUNT(*) is null バグを修正
• [SPARK-43046] [SC-129110] [SS] [Connect] 実装された Python API dropDuplicatesWithinWatermark for Spark Connect
• [SPARK-43199] [SC-129467][SQL] Make InlineCTE idempotent
• [SPARK-43293] [SC-129657][SQL] __qualified_access_only は通常の列では無視する必要がある
• [SPARK-43276] [SC-129461][CONNECT][PYTHON] Spark Connect Window のエラーをエラー クラスに移行する
• [SPARK-43174] [SC-129109][SQL] SparkSQLCLIDriver コンピューターの修正
• [SPARK-43084] [SC-128654] [SS] spark connect の applyInPandasWithState サポートを追加する
• [SPARK-43119] [SC-129040][SQL] JDBC API と TVF を使用した SQL キーワードの動的な取得のサポート
• [SPARK-43082] [SC-129112][CONNECT][PYTHON] Spark Connect で矢印が最適化された Python UDF
• [SPARK-43085] [SC-128432][SQL] マルチパート テーブル名の列の既定割り当てのサポート
• [SPARK-43226] [LC-671] ファイル定数メタデータの抽出器を定義する
• [SPARK-43210] [SC-129189][CONNECT][PYTHON] PySparkAssertionError の導入
• [SPARK-43214] [SC-129199][SQL] LocalTableScanExec/CommandResultExec のドライバー側メトリックをポストする
• [SPARK-43285] [SC-129347] JDK 17 で ReplE2ESuite が一貫して失敗する問題を修正
• [SPARK-43268] [SC-129249][SQL] メッセージで例外が作成されるときに適切なエラー クラスを使用する
• [SPARK-43142] [SC-129299] 特殊文字を持つ属性に対する DSL 式を修正する
• [SPARK-43129] [SC-128896] Spark Connect をストリーミングするための Scala コア API
• [SPARK-43233] [SC-129250] [SS] トピック パーティション、オフセット範囲、タスク ID の Kafka バッチ読み取りにログを追加する
• [SPARK-43249] [SC-129195][CONNECT] SQL コマンドの不足している統計を修正
• [SPARK-42945] [SC-129188][CONNECT] Spark Connect でのサポート PYSPARK_JVM_STACKTRACE_ENABLED
• [SPARK-43178] [SC-129197][CONNECT][PYTHON] UDF エラーを PySpark エラー フレームワークに移行する
• [SPARK-43123] [SC-128494][SQL] 内部フィールド メタデータをカタログにリークしないようにする
• [SPARK-43217] [SC-129205] findNestedField の入れ子になったマップ/配列を正しく再帰する
• [SPARK-43243] [SC-129294][PYTHON][CONNECT] Python の printSchema にレベル パラメーターを追加する
• [SPARK-43230] [SC-129191][CONNECT] DataFrameNaFunctions.fillna の単純化
• [SPARK-43088] [SC-128403][SQL] CTAS/RTAS での RequiresDistributionAndOrdering の尊重
• [SPARK-43234] [SC-129192][CONNECT][PYTHON] Conect DataFrame からエラー クラスに ValueError を移行する
• [SPARK-43212] [SC-129187][SS][PYTHON] 構造化ストリーミング エラーをエラー クラスに移行する
• [SPARK-43239] [SC-129186][PS] info() から削除 null_counts する
• [SPARK-43190] [SC-128930][SQL] ListQuery.childOutput は子出力と一致している必要がある
• [SPARK-43191] [SC-128924][CORE] Hadoop CallerContext の直接呼び出しでリフレクションを置き換える
• [SPARK-43193] [SC-129042][SS] HADOOP-12074 の回避策を削除する
• [SPARK-42657] [SC-128621][CONNECT] クライアント側 REPL クラスファイルを見つけて、成果物としてサーバーに転送するサポート
• [SPARK-43098] [SC-77059][SQL] スカラー サブクエリに group by 句がある場合の COUNT の正確性のバグを修正する
• [SPARK-43213] [SC-129062][PYTHON] バニラ PySpark に DataFrame.offset を追加
• [SPARK-42982] [SC-128400][CONNECT][PYTHON] 指定されたスキーマ ddl を考慮して createDataFrame を修正
• [SPARK-43124] [SC-129011][SQL] Dataset.show projects CommandResults locally
• [SPARK-42998] [SC-127422][CONNECT][PYTHON] Null 構造体を使用して DataFrame.collect を修正する
• [SPARK-41498] [SC-125343]Revert "Union を介してメタデータを伝達"
• [SPARK-42960] [SC-129010] [CONNECT] [SS] Python でストリーミング クエリ用の await_termination() と exception() API を追加する
• [SPARK-42552] [SC-128824][SQL] antlr パーサーの 2 段階解析戦略を修正する
• [SPARK-43207] [SC-128937][CONNECT] リテラル式から値を抽出するヘルパー関数を追加する
• [SPARK-43186] [SC-128841][SQL][HIVE] FileSinkDesc の回避策を削除する
• [SPARK-43107] [SC-128533][SQL] ブロードキャスト結合ストリーム側で適用される結合内の結合バケットを結合する
• [SPARK-43195] [SC-128922][CORE] HadoopFSUtils で不要なシリアル化可能ラッパーを削除する
• [SPARK-43137] [SC-128828][SQL] 位置が折りたたみ可能で正の場合は ArrayInsert を改善する。
• [SPARK-37829] [SC-128827][SQL] Dataframe.joinWith outer-join は、一致しない行の null 値を返す必要がある
• [SPARK-43042] [SC-128602] [SS] [接続] DataStreamReader の table() API サポートを追加する
• [SPARK-43153] [SC-128753][CONNECT] データフレームがローカルの場合に Spark の実行をスキップする
• [SPARK-43064] [SC-128496][SQL] Spark SQL CLI の [SQL] タブに表示するステートメントは 1 回だけ
• [SPARK-43126] [SC-128447][SQL] 2 つの Hive UDF 式をステートフルとしてマークする
• [SPARK-43111] [SC-128750][PS][CONNECT][PYTHON] 入れ子になった if ステートメントを単一の if ステートメントにマージする
• [SPARK-43113] [SC-128749][SQL] バインドされた条件のコードを生成するときにストリーム側変数を評価する
• [SPARK-42895] [SC-127258][CONNECT] 停止した Spark セッションのエラー メッセージを改善する
• [SPARK-42884] [SC-126662][CONNECT] アンモナイト REPL 統合の追加
• [SPARK-43168] [SC-128674][SQL] Datatype クラスから PhysicalDataType メソッドを取得する
• [SPARK-43121] [SC-128455][SQL] 'HiveInspectors で手動コピーの代わりに BytesWritable.copyBytes を使用する
• [SPARK-42916] [SC-128389][SQL] JDBCTableCatalog が Char/Varchar メタを読み取り側に保持する
• [SPARK-43050] [SC-128550][SQL] グループ化関数を置き換えて集計式を構築する
• [SPARK-43095] [SC-128549][SQL] バッチに対して戦略の冪等が壊れた場合に回避する: Infer Filters
• [SPARK-43130] [SC-128597][SQL] InternalType を PhysicalDataType に移動する
• [SPARK-43105] [SC-128456][CONNECT] プロト メッセージのバイトと文字列の省略
• [SPARK-43099] [SC-128596][SQL] UDF を FunctionRegistry に登録するときに、getCanonicalName の代わりに getName を使用してビルダー クラス名を取得する
• [SPARK-42994] [SC-128586][ML][CONNECT] PyTorch ディストリビューターがローカル モードをサポート
• [SPARK-42859] 元に戻す "[SC-127935][CONNECT][PS] Spark Connect での pandas API の基本的なサポート"
• [SPARK-43021] [SC-128472][SQL] AQE を使用すると CoalesceBucketsInJoin が機能しない
• [SPARK-43125] [SC-128477][CONNECT] Connect サーバーが Null メッセージで例外を処理できない問題を修正する
• [SPARK-43147] [SC-128594] ローカル チェック用の flake8 リントを修正
• [SPARK-43031] [SC-128360] [SS] [接続] ストリーミングの単体テストと doctest を有効にする
• [SPARK-43039] [LC-67] ファイル source_metadata 列のユーザー設定フィールドをサポートします。
• [SPARK-43120] [SC-128407][SS] RocksDB 状態ストアのピン留めされたブロック メモリ使用量の追跡のサポートを追加
• [SPARK-43110] [SC-128381][SQL] asIntegral を PhysicalDataType に移動する
• [SPARK-43118] [SC-128398][SS] KafkaMicroBatchStream で UninterruptibleThread の不要なアサートを削除する
• [SPARK-43055] [SC-128331][CONNECT][PYTHON] 重複する入れ子になったフィールド名をサポート
• [SPARK-42437] [SC-128339][PYTHON][CONNECT] PySpark catalog.cacheTable ではストレージ レベルを指定できるようにする
• [SPARK-42985] [SC-128332][CONNECT][PYTHON] SQL 構成を尊重するように createDataFrame を修正
• [SPARK-39696] [SC-127830][CORE] TaskMetrics.externalAccums へのアクセスでのデータ競合を修正する
• [SPARK-43103] [SC-128335][SQL] 整数を PhysicalDataType に移動
• [SPARK-42741] [SC-125547][SQL] リテラルが null の場合、バイナリ比較でキャストのラップを解除しない
• [SPARK-43057] [SC-127948][CONNECT][PYTHON] Spark Connect 列エラーをエラー クラスに移行する
• [SPARK-42859] [SC-127935][CONNECT][PS] Spark Connect での pandas API の Basic サポート
• [SPARK-43013] [SC-127773][PYTHON] ValueError を DataFrame から PySparkValueError に移行します。
• [SPARK-43089] [SC-128051][CONNECT] UI でデバッグ文字列を編集する
• [SPARK-43028] [SC-128070][SQL] エラー クラス SQL_CONF_NOT_FOUND を追加
• [SPARK-42999] [SC-127842][Connect] Dataset#foreach, foreachPartition
• [SPARK-43066] [SC-127937][SQL] JavaDatasetSuite で dropDuplicates のテストを追加する
• [SPARK-43075] [SC-127939][CONNECT] がインストールされていない場合は gRPC を grpcio に変更します。
• [SPARK-42953] [SC-127809][Connect] 型指定されたフィルター、マップ、flatMap、mapPartitions
• [SPARK-42597] [SC-125506][SQL] タイムスタンプ型への日付型のラップ解除をサポート
• [SPARK-42931] [SC-127933][SS] dropDuplicatesWithinWatermark を導入
• [SPARK-43073] [SC-127943][CONNECT] プロト データ型定数の追加
• [SPARK-43077] [SC-128050][SQL] UNRECOGNIZED_SQL_TYPE のエラー メッセージを改善する
• [SPARK-42951] [SC-128030][SS][Connect] DataStreamReader APIs
• [SPARK-43049] [SC-127846][SQL] Oracle JDBC の StringType に VARCHAR(255) の代わりに CLOB を使用する
• [SPARK-43018] [SC-127762][SQL] タイムスタンプ リテラルを含む INSERT コマンドのバグを修正する
• [SPARK-42855] [SC-127722][SQL] TableOutputResolver でランタイム null チェックを使用する
• [SPARK-43030] [SC-127847][SQL] メタデータ列とのリレーションシップを重複除去する
• [SPARK-42993] [SC-127829][ML][CONNECT] PyTorch ディストリビューターを Spark Connect と互換性のあるものにする
• [SPARK-43058] [SC-128072][SQL] 数値と小数部を PhysicalDataType に移動する
• [SPARK-43056] [SC-127946][SS] RocksDB 状態ストアのコミットは、一時停止されている場合にのみバックグラウンド処理を続行する必要がある
• [SPARK-43059] [SC-127947][CONNECT][PYTHON] DataFrame から TypeError を移行する(Reader|Writer) をエラー クラスに変換する
• [SPARK-43071] [SC-128018][SQL] INSERT ソース関係の ORDER BY、LIMIT、OFFSET で SELECT DEFAULT をサポート
• [SPARK-43061] [SC-127956][CORE][SQL] SQL 演算子の実行に PartitionEvaluator を導入する
• [SPARK-43067] [SC-127938][SS] Kafka コネクタのエラー クラス リソース ファイルの場所を修正する
• [SPARK-43019] [SC-127844][SQL] 順序を PhysicalDataType に移動する
• [SPARK-43010] [SC-127759][PYTHON] 列エラーをエラー クラスに移行する
• [SPARK-42840] [SC-127782][SQL] _LEGACY_ERROR_TEMP_2004 エラーを内部エラーに変更する
• [SPARK-43041] [SC-127765][SQL] コネクタ API の互換性のために例外のコンストラクターを復元する
• [SPARK-42939] [SC-127761][SS][CONNECT] Spark Connect 用コア ストリーミング Python API
• [SPARK-42844] [SC-127766][SQL] エラー クラス _LEGACY_ERROR_TEMP_2008 を INVALID_URL に更新する
• [SPARK-42316] [SC-127720][SQL] _LEGACY_ERROR_TEMP_2044 に名前を割り当てる
• [SPARK-42995] [SC-127723][CONNECT][PYTHON] Spark Connect DataFrame エラーをエラー クラスに移行する
• [SPARK-42983] [SC-127717][CONNECT][PYTHON] createDataFrame を修正して 0-dim numpy 配列を適切に処理する
• [SPARK-42955] [SC-127476][SQL] SparkThrowable の classifyException と wrap AnalysisException をスキップする
• [SPARK-42949] [SC-127255][SQL] NAAJ のコードを簡略化する
• [SPARK-43011] [SC-127577][SQL] array_insert は 0 インデックスで失敗します。
• [SPARK-42974] [SC-127487][CORE] Utils.createTempDir を復元して、ShutdownHookManager を使用して JavaUtils.createTempDir メソッドをクリーン アップします。
• [SPARK-42964] [SC-127585][SQL] PosgresDialect '42P07' はテーブルが既に存在することも意味する
• [SPARK-42978] [SC-127351][SQL] Derby&PG: RENAME では schema-Name で new-table-Name を修飾できない
• [SPARK-37980] [SC-127668][SQL] テストで可能であれば、_metadata 経由で row_index にアクセスする
• [SPARK-42655] [SC-127591][SQL] あいまいな列参照エラーが正しくない
• [SPARK-43009] [SC-127596][SQL] Any 定数でパラメーター化された sql()
• [SPARK-43026] [SC-127590][SQL] 非交換テーブル キャッシュで AQE を適用する
• [SPARK-42963] [SC-127576][SQL] SparkSessionExtensions を拡張してルールを AQE クエリ ステージ オプティマイザーに注入する
• [SPARK-42918] [SC-127357] FileSourceStrategy でのメタデータ属性の処理を一般化する
• [SPARK-42806] [SC-127452][SPARK-42811][CONNECT] Catalog サポートの追加
• [SPARK-42997] [SC-127535][SQL] TableOutputResolver は、配列とマップのエラー メッセージで正しい列パスを使用する必要がある
• [SPARK-43006] [SC-127486][PYSPARK] StorageLevel eq() の入力ミスを修正
• [SPARK-43005] [SC-127485][PYSPARK] pyspark/pandas/config.py の入力ミスを修正
• [SPARK-43004] [SC-127457][CORE] ResourceRequest.equals() の入力ミスを修正
• [SPARK-42907] [SC-126984][CONNECT][PYTHON] Avro 関数の実装
• [SPARK-42979] [SC-127272][SQL] リテラル コンストラクターをキーワードとして定義する
• [SPARK-42946] [SC-127252][SQL] 変数置換によって入れ子になった機密データを編集する
• [SPARK-42952] [SC-127260][SQL] アナライザー ルール ProprocessTableCreation と DataSourceAnalysis のパラメーターを簡略化する
• [SPARK-42683] [LC-75] 競合するメタデータ列の名前を自動的に変更する
• [SPARK-42853] [SC-126101][FollowUp] 競合の修正
• [SPARK-42929] [SC-126748][CONNECT] mapInPandas/ mapInArrow で "is_barrier" をサポートする
• [SPARK-42968] [SC-127271][SS] DSv2 ソース/シンク用 StreamingWrite API の一部としてコミット コーディネーターをスキップするオプションを追加
• [SPARK-42954] [SC-127261][PYTHON][CONNECT] PySpark と Spark Connect Python クライアントに YearMonthIntervalType を追加
• [SPARK-41359] [SC-127256][SQL] UnsafeRow で DataType の代わりに を PhysicalDataType 使用する
• [SPARK-42873] [SC-127262][SQL] Spark SQL 型をキーワードとして定義する
• [SPARK-42808] [SC-126302][CORE] 毎回 availableProcessors を取得しないようにする MapOutputTrackerMaster#getStatistics
• [SPARK-42937] [SC-126880][SQL] PlanSubqueries が InSubqueryExec#shouldBroadcast を true に設定する必要がある
• [SPARK-42896] [SC-126729][SQL][PYTHON] mapInPandas / mapInArrow でバリア モード実行がサポートされるようにする
• [SPARK-42874] [SC-126442][SQL] すべての入力ファイルの分析に新しいゴールデン ファイル テスト フレームワークを有効にする
• [SPARK-42922] [SC-126850][SQL] ランダムから SecureRandom への移行
• [SPARK-42753] [SC-126369] ReusedExchange は存在しないノードを参照します
• [SPARK-40822] [SC-126274][SQL] 安定した派生列の別名
• [SPARK-42908] [SC-126856][PYTHON] SparkContext が必要だが初期化されていないときに RuntimeError を発生させる
• [SPARK-42779] [SC-126042][SQL] アドバイザリ シャッフル パーティション サイズを示す V2 書き込みを許可する
• [SPARK-42914] [SC-126727][PYTHON] に対するtransformUnregisteredFunction再利用DistributedSequenceID。
• [SPARK-42878] [SC-126882][CONNECT] DataFrameReader のテーブル API でオプションを受け入れることもできます
• [SPARK-42927] [SC-126883][CORE] o.a.spark.util.Iterators#size のアクセス スコープを private[util] に変更する
• [SPARK-42943] [SC-126879][SQL] 有効な長さに StringType に TEXT の代わりに LONGTEXT を使用する
• [SPARK-37677] [SC-126855][CORE] 解凍でファイルのアクセス許可を保持できる
• [SPARK-42891] [13.x][SC-126458][CONNECT][PYTHON] CoGrouped Map API を実装する
• [SPARK-41876] [SC-126849][CONNECT][PYTHON] DataFrame.toLocalIterator を実装する
• [SPARK-42930] [SC-126761][CORE][SQL] ProtobufSerDe に関連する実装のアクセス スコープを private[protobuf] に変更する
• [SPARK-42819] [SC-125879][SS] ストリーミングで使用される RocksDB の max_write_buffer_number と write_buffer_size の設定のサポートを追加
• [SPARK-42924] [SC-126737][SQL][CONNECT][PYTHON] パラメーター化された SQL 引数のコメントを明確にする
• [SPARK-42748] [SC-126455][CONNECT] サーバー側アーティファクト管理
• [SPARK-42816] [SC-126365][CONNECT] 最大メッセージ サイズ 128 MB をサポート
• [SPARK-42850] [SC-126109][SQL] オプティマイザーで重複するルール CombineFilters を削除する
• [SPARK-42662] [SC-126355][CONNECT][PS] Spark の既定のインデックスに pandas API のプロト メッセージを追加する
• [SPARK-42720] [SC-126136][PS][SQL] プランの代わりに分散シーケンスの既定のインデックスに式を使用する
• [SPARK-42790] [SC-126174][SQL] 除外されたメソッドを抽象化して、JDBC Docker テストのテストを改善します。
• [SPARK-42900] [SC-126473][CONNECT][PYTHON] 推論と列名を考慮して createDataFrame を修正
• [SPARK-42917] [SC-126657][SQL] DerbyDialect 用 に getUpdateColumnNullabilityQuery を修正する
• [SPARK-42684] [SC-125157][SQL] v2 カタログで列の既定値を既定で許可しない
• [SPARK-42861] [SC-126635][SQL] API ドキュメントの生成を回避するには、protected[sql] の代わりに private[sql] を使用します
• [SPARK-42920] [SC-126728][CONNECT][PYTHON] UDT を使用して UDF のテストを有効にする
• [SPARK-42791] [SC-126617][SQL] 分析用の新しいゴールデン ファイル テスト フレームワークを作成する
• [SPARK-42911] [SC-126652][PYTHON] より基本的な例外を導入する
• [SPARK-42904] [SC-126634][SQL] Char/Varchar による JDBC カタログのサポート
• [SPARK-42901] [SC-126459][CONNECT][PYTHON] file recursively imports の可能性を回避するために StorageLevel を別のファイルに移動する
• [SPARK-42894] [SC-126451][CONNECT] Spark connect jvm クライアント用に cache/persist/unpersist/storageLevel をサポートする
• [SPARK-42792] [SC-125852][SS] ストリーミング ステートフル演算子で使用される RocksDB の WRITE_FLUSH_BYTES のサポートを追加
• [SPARK-41233] [SC-126441][CONNECT][PYTHON] Spark Connect Python クライアントに array_prepend を追加する
• [SPARK-42681] [SC-125149][SQL] ALTER TABLE ADD の順序制約を緩和する|REPLACE 列記述子
• [SPARK-42889] [SC-126367][CONNECT][PYTHON] キャッシュ、永続化、非パーシスト、storageLevel を実装する
• [SPARK-42824] [SC-125985][CONNECT][PYTHON] サポートされていない JVM 属性に明確なエラー メッセージを表示する
• [SPARK-42340] [SC-126131][CONNECT][PYTHON] Grouped Map API を実装する
• [SPARK-42892] [SC-126454][SQL] 同じ種類と関連するメソッドを DataType から移動する
• [SPARK-42827] [SC-126126][CONNECT] Scala Connect クライアント用に functions#array_prepend をサポート
• [SPARK-42823] [SC-125987][SQL] spark-sql シェルでは、初期化用のマルチパート名前空間がサポートをサポート
• [SPARK-42817] [SC-125960][CORE] ApplicationMaster でシャッフル サービス名を 1 回ログに記録する
• [SPARK-42786] [SC-126438][Connect] Typed Select
• [SPARK-42800] [SC-125868][CONNECT][PYTHON][ML] ml 関数 {array_to_vector, vector_to_array} を実装
• [SPARK-42052] [SC-126439][SQL] HiveSimpleUDF 用の Codegen サポート
• [SPARK-41233] [SC-126110][SQL][PYTHON] array_prepend 関数の追加
• [SPARK-42864] [SC-126268][ML][3.4] IsotonicRegression.PointsAccumulator をプライベートにする
• [SPARK-42876] [SC-126281][SQL] DataType の physicalDataType を private にする必要がある [sql]
• [SPARK-42101] [SC-125437][SQL] AQE で InMemoryTableScanExec をサポートする
• [SPARK-41290] [SC-124030][SQL] create/replace table ステートメントの列に対して GENERATED ALWAYS AS 式をサポート
• [SPARK-42870] [SC-126220][CONNECT] toCatalystValue を connect-common に移動
• [SPARK-42247] [SC-126107][CONNECT][PYTHON] UserDefinedFunction を returnType に修正
• [SPARK-42875] [SC-126258][CONNECT][PYTHON] タイムゾーンとマップ型を適切に処理するように toPandas を修正
• [SPARK-42757] [SC-125626][CONNECT] DataFrameReader の textFile を実装する
• [SPARK-42803] [SC-126081][CORE][SQL][ML] getParameterTypes.length の代わりに getParameterCount 関数を使用する
• [SPARK-42833] [SC-126043][SQL] SparkSession で applyExtensions をリファクター
• [SPARK-41765] "[SC-123550][SQL] v1 書き込みメトリックを取り出す...
• [SPARK-42848] [SC-126105][CONNECT][PYTHON] DataFrame.registerTempTable を実装
• [SPARK-42020] [SC-126103][CONNECT][PYTHON] Spark Connect での UserDefinedType のサポート
• [SPARK-42818] [SC-125861][CONNECT][PYTHON] DataFrameReader/Writer.jdbc を実装
• [SPARK-42812] [SC-125867][CONNECT] AddArtifactsRequest protobuf メッセージに client_type を追加する
• [SPARK-42772] [SC-125860][SQL] プッシュダウンに関する JDBC オプションの既定値を true に変更する
• [SPARK-42771] [SC-125855][SQL] HiveGenericUDF をリファクター
• [SPARK-25050] [SC-123839][SQL] Avro: 複雑な共用体の作成
• [SPARK-42765] [SC-125850][CONNECT][PYTHON] pyspark.sql.connect.functions から pandas_udf インポートを有効にする
• [SPARK-42719] [SC-125225][CORE] MapOutputTracker#getMapLocation が spark.shuffle.reduceLocality.enabled を尊重する必要がある
• [SPARK-42480] [SC-125173][SQL] ドロップ パーティションのパフォーマンスを完全する
• [SPARK-42689] [SC-125195][CORE][SHUFFLE] シャッフル データが確実に格納されている場合に ShuffleDriverComponent に宣言を許可する
• [SPARK-42726] [SC-125279][CONNECT][PYTHON] DataFrame.mapInArrow を実装する
• [SPARK-41765] [SC-123550][SQL] v1 書き込みメトリックを WriteFiles にプルする
• [SPARK-41171] [SC-124191][SQL] partitionSpec が空の場合にウィンドウの制限を推論してプッシュダウンする
• [SPARK-42686] [SC-125292][CORE] TaskMemoryManager でデバッグ メッセージの書式設定を延期する
• [SPARK-42756] [SC-125443][CONNECT][PYTHON] Python クライアントでプロト リテラルを値に変換するヘルパー関数
• [SPARK-42793] [SC-125627][CONNECT] connect モジュールで build_profile_flags が必要
• [SPARK-42701] [SC-125192][SQL] try_aes_decrypt() 関数を追加
• [SPARK-42679] [SC-125438][CONNECT][PYTHON] createDataFrame が null 非許容スキーマで動作しない
• [SPARK-42733] [SC-125542][CONNECT][フォローアップ] パスまたはテーブルなしで書き込む
• [SPARK-42777] [SC-125525][SQL] TimestampNTZ カタログ統計を計画統計に変換するサポート
• [SPARK-42770] [SC-125558][CONNECT] Java 17 日次テスト GA タスク パスで作成truncatedTo(ChronoUnit.MICROS)する追加SQLImplicitsTestSuite
• [SPARK-42752] [SC-125550][PYSPARK][SQL] 初期化中に PySpark 例外を印刷可能にする
• [SPARK-42732] [SC-125544][PYSPARK][CONNECT] Spark Connect セッション getActiveSession メソッドをサポート
• [SPARK-42755] [SC-125442][CONNECT] 係数リテラル値を connect-common に変換する
• [SPARK-42747] [SC-125399][ML] LoR と AFT の内部状態が正しくない問題を修正
• [SPARK-42740] [SC-125439][SQL] 一部の組み込み言語でプッシュダウン オフセットまたはページングが無効であるというバグを修正
• [SPARK-42745] [SC-125332][SQL] 改善された AliasAwareOutputExpression は DSv2 で動作する
• [SPARK-42743] [SC-125330][SQL] TimestampNTZ 列の分析のサポート
• [SPARK-42721] [SC-125371][CONNECT] RPC ログ インターセプター
• [SPARK-42691] [SC-125397][CONNECT][PYTHON] Dataset.semanticHash を実装
• [SPARK-42688] [SC-124922][CONNECT] Connect proto Request client_id の名前を session_id に変更する
• [SPARK-42310] [SC-122792][SQL] 名前を _LEGACY_ERROR_TEMP_1289 に割り当てる
• [SPARK-42685] [SC-125339][CORE] Utils.bytesToString ルーチンを最適化する
• [SPARK-42725] [SC-125296][CONNECT][PYTHON] LiteralExpression で配列パラメーターをサポートする
• [SPARK-42702] [SC-125293][SPARK-42623][SQL] サブクエリと CTE でパラメーター化されたクエリをサポート
• [SPARK-42697] [SC-125189][WEBUI] /api/v1/applications を修正して、期間フィールドに対して 0 ではなく合計アップタイムを返す
• [SPARK-42733] [SC-125278][CONNECT][PYTHON] パス パラメーターなしで動作するように DataFrameWriter.save を修正
• [SPARK-42376] [SC-124928][SS] 演算子間で透かしの伝達を導入する
• [SPARK-42710] [SC-125205][CONNECT][PYTHON] FrameMap proto の名前を MapPartitions に変更する
• [SPARK-37099] [SC-123542][SQL] ランクベース フィルターの Window のグループ制限を導入して top-k 計算を最適化する
• [SPARK-42630] [SC-125207][CONNECT][PYTHON] UnparsedDataType を導入し、SparkConnectClient が使用可能になるまで DDL 文字列の解析を遅らせる
• [SPARK-42690] [SC-125193][CONNECT] Scala クライアント用の CSV/JSON 解析関数を実装する
• [SPARK-42709] [SC-125172][PYTHON] 使用可能であるという __file__ の前提を削除する
• [SPARK-42318] [SC-122648][SPARK-42319][SQL] LEGACY_ERROR_TEMP(2123|2125) に名前を割り当てる
• [SPARK-42723] [SC-125183][SQL] TimestampType としてパーサー データ型 json "timestamp_ltz" をサポート
• [SPARK-42722] [SC-125175][CONNECT][PYTHON] Python Connect def schema() はスキーマをキャッシュしない
• [SPARK-42643] [SC-125152][CONNECT][PYTHON] Java (集計) ユーザー定義関数を登録する
• [SPARK-42656] [SC-125177][CONNECT][フォローアップ] spark-connect スクリプトを修正する
• [SPARK-41516] [SC-123899] [SQL] jdbc 言語でテーブルの作成に使用されるクエリをオーバーライドできるようにする
• [SPARK-41725] [SC-124396][CONNECT] DF.sql() の緊急実行
• [SPARK-42687] [SC-124896][SS] ストリーミングでサポートされていない pivot 操作のエラー メッセージを改善
• [SPARK-42676] [SC-124809][SS] 既定の FS が異なる方法で設定されている場合でも、ストリーミング クエリの一時チェックポイントをローカル ファイルシステムに書き込む
• [SPARK-42303] [SC-122644][SQL] _LEGACY_ERROR_TEMP_1326 に名前を割り当てる
• [SPARK-42553] [SC-124560][SQL] "interval" の後に少なくとも 1 つの時間単位を確保する
• [SPARK-42649] [SC-124576][CORE] サードパーティのソース ファイルの先頭から標準の Apache License ヘッダーを削除する
• [SPARK-42611] [SC-124395][SQL] 解決中に内部フィールドの char/varchar 長さチェックを挿入する
• [SPARK-42419] [SC-124019][CONNECT][PYTHON] Spark Connect Column API のエラー フレームワークに移行します。
• [SPARK-42637] [SC-124522][CONNECT] SparkSession.stop() を追加する
• [SPARK-42647] [SC-124647][PYTHON] numpy の非推奨および削除された型のエイリアスを変更する
• [SPARK-42616] [SC-124389][SQL] SparkSQLCLIDriver は開始された hive sessionState のみを閉じる必要がある
• [SPARK-42593] [SC-124405][PS] pandas 2.0 で削除される API を非推奨にし、削除する。
• [SPARK-41870] [SC-124402][CONNECT][PYTHON] 重複する列名を処理するように createDataFrame を修正
• [SPARK-42569] [SC-124379][CONNECT] サポートされていないセッション API の例外をスローする
• [SPARK-42631] [SC-124526][CONNECT] Scala クライアントでのカスタム拡張機能のサポート
• [SPARK-41868] [SC-124387][CONNECT][PYTHON] 継続時間をサポートするように createDataFrame を修正
• [SPARK-42572] [SC-124171][SQL][SS] StateStoreProvider.validateStateRowFormat の動作を修正

メンテナンスの更新

「Databricks Runtime 13.1 のメンテナンス更新プログラム」を参照してください。

システム環境

• オペレーティング システム: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

インストールされている Python ライブラリ

インストールされている R ライブラリ

R ライブラリは、2023-02-10 の Microsoft CRAN スナップショットからインストールされています。

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)