Databricks Runtime 11.2 для Машинное обучение (EoS)

Databricks Runtime 11.2 для Машинное обучение предоставляет готовую среду для машинного обучения и обработки и анализа данных на основе Databricks Runtime 11.2 (EoS). Databricks Runtime ML содержит множество популярных библиотек машинного обучения, включая TensorFlow, PyTorch и XGBoost. Databricks Runtime ML включает AutoML – средство для автоматического обучения конвейеров машинного обучения. Databricks Runtime ML также поддерживает распределенное углубленное обучение с использованием Horovod.

Дополнительные сведения, включая инструкции по созданию кластера Databricks Runtime ML, см. в статье ИИ и машинное обучение в Databricks.

Новые функции и внесенные улучшения

В основе Databricks Runtime 11.2 ML лежит Databricks Runtime 11.2. Сведения о новых возможностях Databricks Runtime 11.2, включая Apache Spark MLlib и SparkR, см. в заметках о выпуске Databricks Runtime 11.2 (EoS).

Усовершенствования в AutoML

AutoML теперь имеет лучшую поддержку несбалансированных наборов данных для проблем классификации. Дополнительные сведения см. в статье Поддержка несбалансированного набора данных для проблем классификации.

Улучшения хранилища признаков в Databricks

В хранилище признаков в Databricksбыли внесены следующие улучшения.

• Для интернет-магазинов поля пользователя и пароля не рекомендуется использовать. Чтобы избежать несовместимости в будущем, измените все эти поля на write_secret_prefix.

• Вся документация и выходные данные клиента хранилища компонентов теперь ссылаются на версию клиента (например, 0.6.1) вместо версий Databricks Runtime ML (например, 11.2).

Системная среда

Ниже описаны отличия системной среды в Databricks Runtime 11.2 ML от Databricks Runtime 11.2:

• DBUtils: Databricks Runtime ML не включает служебную программу библиотеки (dbutils.library) (устаревшая версия). Вместо нее используйте команды %pip. См. статью Библиотеки Python с областью действия записной книжки.
• Для кластеров GPU машинное обучение Databricks Runtime включает следующие библиотеки GPU NVIDIA:
  • CUDA 11.3
  • cuDNN 8.0.5.39
  • NCCL 2.9.9
  • TensorRT 7.2.2

Библиотеки

В следующих разделах перечислены библиотеки, входящие в состав Databricks Runtime 11.2 ML и отличающиеся от тех, что входят в состав Databricks Runtime 11.2.

В этом разделе рассматриваются следующие вопросы.

• Библиотеки верхнего уровня
• Библиотеки Python
• Библиотеки R
• Библиотеки Java и Scala (кластер Scala 2.12)

Библиотеки верхнего уровня

Databricks Runtime 11.2 ML включает следующие библиотеки верхнего уровня:

• GraphFrames
• Horovod и HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard
• Scikit-learn

Библиотеки Python

Databricks Runtime 11.2 ML использует Virtualenv для управления пакетами Python и включает множество популярных пакетов ML.

Помимо пакетов, указанных в следующих разделах, Databricks Runtime 11.2 ML также включает следующие пакеты:

• hyperopt 0.2.7.db1
• sparkdl 2.2.0_db6
• feature_store 0.6.0
• automl 1.12.3

Библиотеки Python в кластерах CPU

Чтобы воспроизвести среду Python для Databricks Runtime ML в локальной виртуальной среде Python, скачайте файл requirements-11.2.txt и запустите pip install -r requirements-11.2.txt. Эта команда устанавливает все библиотеки с открытым кодом, которые использует Databricks Runtime ML, но не устанавливает разработанные библиотеки Azure Databricks, такие как databricks-automl, databricks-feature-store, или вилку Databricks hyperopt.

Библиотеки Python в кластерах GPU

Библиотеки R

Библиотеки R идентичны библиотекам R в Databricks Runtime 11.2.

Библиотеки Java и Scala (кластер Scala 2.12)

Кроме библиотек Java и Scala в Databricks Runtime 11.2, среда Databricks Runtime 11.2 ML также включает следующие пакеты JAR:

Кластеры ЦП

Кластеры GPU