Delta Live Tables リリース 2022.40

2022 年 9 月 28 日から 10 月 5 日

これらの機能と機能強化は、Delta Live Tables の 2022.40 リリースでリリースされました。

このリリースで使用される Databricks Runtime のバージョン

チャネル:

パイプライン設定で default または maintenance 以外のクラスターラベルを使用すると、パイプラインの作成または編集中にエラーが発生します。 Delta Live Tables パイプラインのクラスター構成の詳細については、「デルタライブテーブルパイプラインのコンピューティングの構成を参照してください。
Delta Live Tables ノートブックからパイプラインを直接開いたり、実行したりできるようになりました。「ノートブックでの Delta Live Tables パイプラインの開発とデバッグ」を参照してください。
このリリースには、Delta Live Tables API 要求によって返されるパイプライン設定データ構造の破壊的変更が含まれています。この変更により、edition フィールドが大文字の値として返されます。以前は、この値は大文字と小文字が混在して返されていました。戻り値が正しく処理されるように、API 応答の edition 値を読み取るクライアントを更新する必要があります。ただし、API 要求の edition 値では大文字と小文字が区別されません。このフィールドを含む要求を送信するクライアントは更新を必要としません。

このリリースでは、更新エラーが発生した後でも、Delta Live Tables UI でパイプラインが RUNNING 状態で表示されるバグが修正されました。
この更新により、SEQUENCE 列に同じ値を持つ重複した DELETE 操作がデータに含まれている場合に、入力データを再処理する際の APPLY_CHANGES インターフェースのバグが修正されます。このシナリオでは、ターゲットテーブルに NULL 値が含まれ、DeleteVersion 値が削除されます。これは、レコードを NOT-DELETED としてマークすることと同等です。この変更により、重複する DELETE 操作はべき等に処理され、常にレコードを DELETED としてマークします。
このリリースでは、次の履歴レコードと同じ列を含む以前の履歴レコードが削除されると、 SCD タイプ 2 の処理中に行が非表示になるというバグが修正されました。
この更新により、expect_or_fail 期待値を持つビューが、期待値が失敗した場合でも RUNNING 状態のままになるというバグが修正されます。この修正により、パイプラインが失敗し、FAILED 状態に移行します。