適用於機器學習的 Databricks Runtime 11.2 (EoS)

適用於機器學習的 Databricks Runtime 11.2 提供以 Databricks Runtime 11.2 (EoS) 為基礎的機器學習和資料科學現成環境。 Databricks Runtime ML 含有許多熱門的機器學習程式庫，包括 TensorFlow、PyTorch 以及 XGBoost。 Databricks Runtime ML 包含 AutoML，這是可自動訓練機器學習管線的工具。 Databricks Runtime ML 也支援使用 Horovod 的分散式深度學習訓練。

如需詳細資訊，包括建立 Databricks Runtime ML 叢集的指示，請參閱 Databricks 上的 AI 和機器學習 (英文)。

新功能和改進

Databricks Runtime 11.2 ML 是以 Databricks Runtime 11.2 為基礎而建置。 如需 Databricks Runtime 11.2 新增功能的相關資訊，包括 Apache Spark MLlib 和 SparkR，請參閱 Databricks Runtime 11.2 (EoS) 版本資訊。

AutoML 的增強功能

AutoML 現在對分類問題的不平衡數據集有較佳的支援。 如需詳細資訊，請參閱分類問題的不平衡資料集支援。

Databricks 功能存放區的增強

我們已對 Databricks 功能存放區進行下列增強。

• 針對線上商店，使用者和密碼欄位已被取代。 為了避免日後的不相容性，請將這些欄位的所有使用方式改為 write_secret_prefix。

• 功能存放區使用者端的所有文件和輸出現在都會參考用戶者端版本 (例如 0.6.1)，而不是 Databricks Runtime ML 版本 (例如 11.2)。

系統環境

如下所示，Databricks Runtime 11.2 ML 中的系統環境與 Databricks Runtime 11.2 有所不同：

• DBUtils：Databricks Runtime ML 不包括程式庫公用程式 (dbutils.library) (舊版)。 請改用 %pip 命令。 請參閱筆記本範圍的 Python 程式庫 (英文)。
• 針對 GPU 叢集，Databricks Runtime ML 包括下列 NVIDIA GPU 程式庫：
  • CUDA 11.3
  • cuDNN 8.0.5.39
  • NCCL 2.9.9
  • TensorRT 7.2.2

程式庫

下列各節列出 Databricks Runtime 11.2 ML 中，與 Databricks Runtime 11.2 所包含程式庫有所不同的程式庫。

本節內容：

• 頂層程式庫
• Python 程式庫
• R 程式庫
• Java 和 Scala 程式庫 (Scala 2.12 叢集)

頂層程式庫

Databricks Runtime 11.2 ML 包含下列頂層程式庫：

• GraphFrames
• Horovod 及 HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard
• Scikit-learn

Python 程式庫

Databricks Runtime 11.2 ML 使用 Virtualenv 進行 Python 套件管理，且包括許多熱門 ML 套件。

除了下列各章節中指定的套件之外，Databricks Runtime 11.2 ML 也包括下列套件：

• hyperopt 0.2.7.db1
• sparkdl 2.2.0_db6
• feature_store 0.6.0
• automl 1.12.3

CPU 叢集上的 Python 程式庫

若要在本機 Python 虛擬環境中重現 Databricks Runtime ML Python 環境，請下載 requirements-11.2.txt 檔案並執行 pip install -r requirements-11.2.txt。 此命令會安裝 Databricks Runtime ML 使用的所有開放原始碼程式庫，但不會安裝 Azure Databricks 所開發的程式庫，例如 databricks-automl、databricks-feature-store 或 hyperopt 的 Databricks 派生。

GPU 叢集上的 Python 程式庫

R 程式庫

R 程式庫與 Databricks Runtime 11.2 中的 R 程式庫相同。

Java 和 Scala 程式庫 (Scala 2.12 叢集)

除了 Databricks Runtime 11.2 中的 Java 和 Scala 程式庫之外，Databricks Runtime 11.2 ML 還包含下列 JAR：

CPU 叢集

GPU clusters