共用方式為


接下來會有什麼?

了解即將推出的 Azure Databricks 版本中的功能和行為變更。

從 Delta Live Tables 管線中移除數據集定義時的行為變更

即將推出的新版本 Delta Live Tables 將會改變當實體檢視或串流 table 從管道中移除時的運作方式。 隨著這項變更,已移除的實體化檢視或串流 table 不會在下一次管線 update 執行時自動刪除。 相反地,您將能夠使用 DROP MATERIALIZED VIEW 命令來刪除具體化檢視,或使用 DROP TABLE 命令來刪除串流 table。 移除物件之後,執行管線 update 將不會自動恢復該物件。 如果具有相同定義的具化視圖或串流 table 重新新增至管線,則會建立新的物件。 不過,您可以使用 UNDROP 命令來復原物件。

使用 Variant 資料類型的行為變更

Azure Databricks 不再支援在下列運算符和子句中使用 Variant 數據類型的欄位進行比較:

  • DISTINCT
  • INTERSECT
  • EXCEPT
  • UNION
  • DISTRIBUTE BY

這同樣適用於這些 DataFrame 函式。

  • df.dropDuplicates()
  • df.repartition()

Azure Databricks 不支援這些運算符和函式進行變體數據類型比較,因為它們會產生未定義的結果。

在 Databricks Runtime 16.1 和更新版本中使用變體類型時,將會封鎖這些表達式。 維護版本將會封鎖 Databricks Runtime 15.3 和更新版本中的支援。

如果您在 Azure Databricks 工作負載或 tables中使用 VARIANT 類型,請採取下列建議動作:

  1. 找出使用任何列出運算符的變體之查詢。
  2. Update 這些查詢使用建議模式,以明確將 variant values 轉換成非變體類型。

下列 table 有現有非預期功能和建議因應措施的範例:

非預期的使用 建議使用
SELECT distinct(variant_expr) FROM ... SELECT distinct(variant_expr?::string) FROM ...
SELECT variant_expr FROM ...
EXCEPT
SELECT variant_expr FROM ...
SELECT variant_expr?::string FROM ...
EXCEPT
SELECT variant_expr?::string FROM ...

注意

對於您打算用於比較或相異作業的任何欄位,Databricks 建議從 variant column 擷取這些欄位,並使用非變體類型加以儲存。

請參閱 查詢變體資料。 如果您需要額外的支持或建議,請連絡 Databricks 帳戶代表。

Update 於 Databricks Marketplace 以及 Partner Connect UI

我們將 Partner ConnectMarketplace 合併成單一 Marketplace 連結,來簡化側邊欄。 Marketplace 連結會在側邊欄上較高。

Marketplace 和合作夥伴連線。

2025 年 2 月 1 日,所有 Azure Databricks 工作區都會啟用工作區檔案

Databricks 會在 2025 年 2 月 1 日啟用 所有 Azure Databricks 工作區的工作區檔案。 這項變更會解除封鎖工作區使用者使用新的工作區檔案功能。 在 2025 年 2 月 1 日之後,您無法使用 azure Databricks enableWorkspaceFilesystem REST API 的 属性來停用工作區檔案。 如需工作區檔案的詳細資訊,請參閱 什麼是工作區檔案?

預設情況下,Tables 在 Delta Sharing 中會與歷史記錄共用

Databricks 計劃將使用 Delta Sharing 共用的 tables 預設設定變更為預設包含歷程記錄。 先前歷史共用是預設停用的。 共用 table 版本歷史可改善讀取效能,並自動支援進階的 Delta 優化。

默認在所有新的 Azure Databricks 帳戶上啟用預測優化

在 11 月 11 日,Databricks 會啟用預測優化,作為所有 Azure Databricks 帳戶的預設值。 先前,它預設為停用,而且可由您的帳戶管理員啟用。 開啟預測性優化時,Azure Databricks 會自動執行 Unity Catalog 管理 tables的維護作業。 如需有關預測優化的詳細資訊,請參閱 Unity 預測優化 Catalog Managed tables

針對工作流程工作負載的無伺服器計算降低成本和對效能的更多控制

除了目前支持的自動效能優化之外,工作流程優化功能的無伺服器計算增強功能可讓您更充分掌控工作負載是否已針對效能或成本進行優化。 若要深入瞭解,請參閱 筆記本、作業和管線的無伺服器計算節省成本。

舊版儀錶板版本支持的變更

Databricks 建議使用 AI/BI 儀表板 (先前稱為 Lakeview 儀表板)。 舊版儀錶板,先前稱為 Databricks SQL 儀錶板,現在稱為 舊版儀錶板。 Databricks 不建議建立新的舊版儀表板。 相較於舊版,AI/BI 儀錶板提供改良的功能,包括 AI 輔助撰寫、草稿和發布模式,以及交叉篩選。

舊版儀錶板的支持時程表結束

  • 2025 年 4 月 7 日:舊版儀錶板的官方支援將會結束。 只會解決重要的安全性問題和服務中斷問題。
  • 2025 年 11 月 3 日:Databricks 將開始封存過去六個月未存取的舊版儀錶板。 已存檔的儀錶板將無法再存取,存檔過程將會以滾動方式進行。 正在使用中的儀錶板的存取權會保持不變。

Databricks 將與客戶合作,在 2025 年 11 月 3 日之後開發作用中的舊版儀錶板的遷移計劃。

為了協助轉換至 AI/BI 儀錶板,可以在使用者介面和 API 中使用升級工具。 如需如何在 UI 中使用內建移轉工具的指示,請參閱 將舊版儀錶板複製到 AI/BI 儀錶板。 如需使用 AZURE Databricks API 來管理儀錶板的教學課程,請參閱 使用 Azure Databricks API 來管理儀錶板

對無伺服器計算工作負載屬性的變更

目前,您的 計費使用量系統 table 可能包含伺服器無 SKU 記帳記錄,values、run_asjob_idjob_run_id的值為空值 notebook_id。 這些記錄代表與未直接歸屬於任何特定工作負載的共用資源相關聯的成本。

為了協助簡化成本報告,Databricks 很快就會將這些共用成本歸屬於產生成本的特定工作負載。 您將不會再看到工作負載 values 欄位中具有 null identifier 的計費記錄。 當您增加無伺服器計算的使用量並新增更多工作負載時,帳單上這些共用成本的比例將會隨著在更多工作負載中的共用而減少。

如需監視無伺服器計算成本的詳細資訊,請參閱監視無伺服器計算的成本

稽核記錄中的 sourceIpAddress 欄位將不再包含連接埠號碼

由於錯誤,某些授權和驗證稽核記錄除了 sourceIPAddress 欄位中的 IP (例如 "sourceIPAddress":"10.2.91.100:0") 之外,還包含連接埠號碼。 記錄為 0 的連接埠號碼不會提供任何實際值,且與 Databricks 稽核記錄的其餘部分不一致。 為了增強稽核記錄的一致性,Databricks 計劃變更這些稽核記錄事件的 IP 位址格式。 這項變更將從 2024 年 8 月初逐步推出。

如果稽核記錄包含 sourceIpAddress0.0.0.0,則 Databricks 可能會停止記錄。

舊版 Git 整合於 1 月 31 日 EOL

在 2024 年 1 月 31 日之後,Databricks 將會 remove舊版筆記本 Git 整合。 此功能已在舊版狀態超過兩年,自 2023 年 11 月以來,產品 UI 中已顯示取代通知。

如需移轉至 Databricks Git 資料夾 (先前稱為 Repos) 的詳細資料,請參閱從舊版 Git 整合切換至 Databricks Repos。 如果此移除會影響您,且您需要擴充,請連絡 Databricks 帳戶小組。

將不支援 JDK8 和 JDK11

當 Spark 4.0 發行時,Azure Databricks 計畫透過下一個主要 Databricks Runtime 版本來 remove JDK 8 支援。 Azure Databricks 計劃使用下一個 Databricks Runtime 14.x 的 LTS 版本來 remove JDK 11 支援。

新工作區自動啟用 Unity Catalog

Databricks 已開始為新的工作區自動啟用 Unity Catalog。 這樣就不需要帳戶管理員在建立工作區之後設定 Unity Catalog。 正逐步跨帳戶進行推出。

sqlite-jdbc 升級

Databricks Runtime 規劃在所有 Databricks Runtime 維護版本中,將 sqlite-jdbc 版本從 3.8.11.2 升級至 3.42.0.0。 3.42.0.0 版的 API 與 3.8.11.2 不完全相容。 確認您的方法和傳回型別使用 3.42.0.0 版。

如果您在程式碼中是使用 sqlite-jdbc,請檢查 sqlite-jdbc 相容性報告