Поделиться через

Databricks Runtime 4.1 ML (EoS)

  • Статья

Примечание.

Поддержка этой версии databricks Runtime закончилась. Сведения о дате окончания поддержки см . в журнале завершения поддержки. Все поддерживаемые версии среды выполнения Databricks см. в заметках о выпуске Databricks Runtime и совместимости.

Databricks Runtime 4.1 ML предоставляет готовую среду для Машинного обучения и обработки и анализа данных. Она содержит много популярных библиотек, включая TensorFlow, Keras и XGBoost. Она также поддерживает распределенное обучение TensorFlow с использованием Horovod.

Примечание.

Этот выпуск устарел до 17 января 2019 г. Мы рекомендуем использовать более новую версию Databricks Runtime ML с учетом того, какие версии библиотек вы хотите использовать.

Дополнительные сведения, включая инструкции по созданию кластера Databricks Runtime ML, см. в статье ИИ и машинное обучение в Databricks.

Примечание.

Выпуски Databricks Runtime ML получают все сервисные обновления базового выпуска Databricks Runtime. Список всех обновлений обслуживания см. в разделе "Обновления обслуживания" для среды выполнения Databricks (архивировано).

Библиотеки

В основе Databricks Runtime 4.1 ML лежит Databricks Runtime 4.1. Дополнительные сведения о новых возможностях Databricks Runtime 4.1 см. в заметках о выпуске Databricks Runtime 4.1 (EoS). Помимо обновлений библиотек, существовавших в Databricks Runtime 4.1, в Databricks Runtime 4.1 ML также добавлены новые библиотеки для поддержки машинного обучения. Некоторые из них также включены в базовый выпуск Databricks Runtime 4.1, что будет отдельно отмечено.

Категория Библиотеки
Распределенное глубокое обучение. Распределенное обучение с использованием Horovod и Spark

- HorovodEstimator
- Horovod 0.12.1
- openmpi 3.0.0
- paramiko 2.4.1
— cloudpickle 0.5.2

Распределенный прогноз TensorFlow и Keras:

— предварительная версия spark-deep-learning 1.0
- tensorframes 0.3.0
Глубокое обучение [Keras]:

— keras 2.1.5
- h5py 2.7.1

TensorFlow.

- (кластеры ЦП) tensorflow 1.7.1
- (кластеры GPU) tensorflow-gpu 1.7.1

Библиотеки GPU:

— CUDA 9.0 (также установлен в базовой среде выполнения Databricks)
— cuDNN 7.0 (также установлен в базовой среде выполнения Databricks)
- NCCL 2.0.5-3
XGBoost - XGBoost4j 0.8-spark2.3-s_2.11
Другие библиотеки машинного обучения - numpy 1.14.2 (также устанавливается в базовый выпуск Databricks Runtime; версия может отличаться)
- scikit-learn 0.18.1 (также устанавливается в базовый выпуск Databricks Runtime)
- scipy (также устанавливается в базовый выпуск Databricks Runtime)