適用於機器學習的 Databricks Runtime 10.5 (EoS)

適用於機器學習的 Databricks Runtime 10.5 提供以 Databricks Runtime 10.5 (EoS) 為基礎的機器學習和資料科學現成環境。 Databricks Runtime ML 含有許多熱門的機器學習程式庫，包括 TensorFlow、PyTorch 以及 XGBoost。 Databricks Runtime ML 包含 AutoML，這是可自動訓練機器學習管線的工具。 Databricks Runtime ML 也支援使用 Horovod 的分散式深度學習訓練。

如需詳細資訊，包括建立 Databricks Runtime ML 叢集的指示，請參閱 Databricks 上的 AI 和機器學習 (英文)。

新功能和改進

Databricks Runtime 10.5 ML 是以 Databricks Runtime 10.5 為基礎而建置。 如需 Databricks Runtime 10.5 新增功能的相關資訊，包括 Apache Spark MLlib 和 SparkR，請參閱 Databricks Runtime 10.5 (EoS) 版本資訊。

AutoML 的增強功能

AutoML 已增強下列功能。

• 針對記憶體使用量的改善，使 AutoML 得以在較大的資料集上訓練。
• 透過 AutoML 預測，您現在可以使用 API 將最佳模型的預測匯出至資料表。 如果提供 output_database，AutoML 會將最佳模型的預測儲存至指定資料庫中的新資料表。 如果未指定 output_database，則不會儲存預測。

Databricks 功能存放區的增強

我們已對 Databricks 功能存放區進行下列增強。

• 您現在可以使用 drop_table API 刪除現有的功能資料表。 此動作也會卸除基礎 Delta 資料表。
• 您現在可以在建立或註冊功能資料表時，使用特徵工程和工作區功能存放區 Python API 將標籤新增至功能資料表，或在現有功能資料表上新增、更新、刪除或讀取標籤。

系統環境

如下所示，Databricks Runtime 10.5 ML 中的系統環境與 Databricks Runtime 10.5 有所不同：

• DBUtils：Databricks Runtime ML 不包括程式庫公用程式 (dbutils.library) (舊版)。 請改用 %pip 命令。 請參閱筆記本範圍的 Python 程式庫 (英文)。
• 針對 GPU 叢集，Databricks Runtime ML 包括下列 NVIDIA GPU 程式庫：
  • CUDA 11.0
  • cuDNN 8.0.5.39
  • NCCL 2.10.3
  • TensorRT 7.2.2

程式庫

下列各節列出 Databricks Runtime 10.5 ML 中，與 Databricks Runtime 10.5 所包含程式庫有所不同的程式庫。

本節內容：

• 頂層程式庫
• Python 程式庫
• R 程式庫
• Java 和 Scala 程式庫 (Scala 2.12 叢集)

頂層程式庫

Databricks Runtime 10.5 ML 包含下列頂層程式庫：

• GraphFrames
• Horovod 及 HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard

Python 程式庫

Databricks Runtime 10.5 ML 使用 Virtualenv 進行 Python 套件管理，且包括許多熱門 ML 套件。

除了下列各章節中指定的套件之外，Databricks Runtime 10.5 ML 也包括下列套件：

• hyperopt 0.2.7.db1
• sparkdl 2.2.0-db6
• feature_store 0.4.1
• automl 1.8.0

CPU 叢集上的 Python 程式庫

GPU 叢集上的 Python 程式庫

包含 Python 模組的 Spark 套件

R 程式庫

R 程式庫與 Databricks Runtime 10.5 中的 R 程式庫相同。

Java 和 Scala 程式庫 (Scala 2.12 叢集)

除了 Databricks Runtime 10.5 中的 Java 和 Scala 程式庫之外，Databricks Runtime 10.5 ML 還包含下列 JAR：

CPU 叢集

GPU clusters