Databricks Runtime 14.1 para Machine Learning

O Databricks Runtime 14.1 for Machine Learning fornece um ambiente pronto para uso para aprendizado de máquina e ciência de dados com base no Databricks Runtime 14.1. O Databricks Runtime ML contém muitas bibliotecas de aprendizado de máquina populares, inclusive TensorFlow, PyTorch e XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinamento automático de pipelines de aprendizado de máquina. O Databricks Runtime ML também oferece suporte ao treinamento de aprendizado profundo distribuído com o uso do Horovod.

Novos recursos e aprimoramentos

O Databricks Runtime 14.1 ML foi desenvolvido com base no Databricks Runtime 14.1. Para obter informações sobre as novidades do Databricks Runtime 14.1, incluindo o Apache Spark MLlib e o SparkR, consulte as notas sobre a versão do Databricks Runtime 14.1.

Aprimoramentos no AutoML

Os notebooks gerados pelo AutoML agora são salvos como artefatos do MLflow.

Aprimoramentos no Databricks Feature Store

Agora você pode inferir e registrar automaticamente um exemplo de entrada ao registrar um modelo em log. Para fazer isso, defina infer_model_example como True quando você chamar log_model. O exemplo é baseado nos dados de treinamento especificados no parâmetro training_set.

Para obter mais informações sobre o Repositório de Recursos do Databricks, consulte Engenharia de recursos e de serviço.

Ambiente do sistema

O ambiente do sistema do Databricks Runtime 14.1 ML é diferente do Databricks Runtime 14.1 nos seguintes aspectos:

• DBUtils: o Databricks Runtime ML não inclui o Utilitário de biblioteca (dbutils.library) (herdado). Use os comandos %pip. Confira as bibliotecas Python no escopo do notebook.
• Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
  • CUDA 11.8
  • cuDNN 8.9.0.131-1
  • NCCL 2.15.5
  • TensorRT 8.5.3-1

O Databricks Runtime 14.1 ML inclui o XGBoost 1.7.6, para o qual não há suporte em clusters de GPU com capacidade de computação 5.2 e inferior.

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 14.1 ML que são diferentes daquelas incluídas no Databricks Runtime 14.1.

Nesta seção:

• Bibliotecas de camada superior
• Bibliotecas do Python
• Bibliotecas do R
• Bibliotecas do Java e do Scala (cluster do Scala 2.12)

Bibliotecas de camada superior

O Databricks Runtime 14.1 ML inclui as seguintes bibliotecas de camada superior:

• GraphFrames
• Horovod e HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard
• Scikit-learn

Bibliotecas do Python

O Databricks Runtime 14.1 ML usa o Virtualenv para o gerenciamento de pacotes do Python e inclui muitos pacotes de ML populares.

Além dos pacotes especificados nas seguintes seções, o Databricks Runtime 14.1 ML também inclui os seguintes pacotes:

• hyperopt 0.2.7+db4
• sparkdl 3.0.0_db1
• automl 1.22.0

Para reproduzir o ambiente do Python do Databricks Runtime ML no ambiente virtual do Python local, baixe o arquivo requirements-14.1.txt e execute pip install -r requirements-14.1.txt. Esse comando instala todas as bibliotecas código aberto que o Databricks Runtime ML usa, mas não instala bibliotecas desenvolvidas pelo Databricks, como databricks-automl, databricks-feature-store, ou o fork do Databricks de hyperopt.

Bibliotecas do Python em clusters de CPU

Bibliotecas do Python em clusters de GPU

Bibliotecas do R

As bibliotecas do R são idênticas às Bibliotecas do R do Databricks Runtime 14.1.

Bibliotecas do Java e do Scala (cluster do Scala 2.12)

Além das bibliotecas do Java e do Scala no Databricks Runtime 14.1, o Databricks Runtime 14.1 ML contém os seguintes JARs:

Clusters de CPU

Clusters de GPU