Databricks Runtime 15.2 para Aprendizado de Máquina

O Databricks Runtime 15.2 for Machine Learning fornece um ambiente pronto para uso para aprendizado de máquina e ciência de dados com base no Databricks Runtime 15.2. O Databricks Runtime ML contém muitas bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch e XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinar automaticamente pipelines de aprendizado de máquina. O Databricks Runtime ML também suporta treinamento distribuído de aprendizado profundo usando o Horovod.

Novos recursos e melhorias

O Databricks Runtime 15.2 ML é construído sobre o Databricks Runtime 15.2. Para obter informações sobre o que há de novo no Databricks Runtime 15.2, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 15.2 .

Adicionar StreamingDataset

O StreamingDataset é usado para tornar o treinamento em grandes conjuntos de dados do armazenamento em nuvem o mais rápido, barato e escalável possível. Ele é pré-instalado no Databricks Runtime 15.2 ML.

Suporte a fótons em clusters de CPU Databricks Runtime ML

A partir do Databricks Runtime 15.2 ML, você pode acelerar suas cargas de trabalho do Spark SQL e do Spark DataFrame habilitando o Photon no cluster da CPU.

Para aplicações de aprendizado de máquina, o Photon fornece um desempenho mais rápido para casos de uso como:

• Preparação de dados usando SQL ou DataFrame API.
• Engenharia de recursos com pesquisa point-in-time.
• Análise de gráficos com GraphFrames.

Photon não melhora o desempenho de bibliotecas Python, como TensorFlow, PyTorch e XGBoost.

As APIs do Spark RDD e o Spark MLlib têm compatibilidade limitada com o Photon. Ao processar grandes conjuntos de dados usando o Spark RDD ou o Spark MLlib, você pode enfrentar problemas de memória do Spark. Consulte Problemas de memória do Spark.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 15.2 ML difere do Databricks Runtime 15.2 da seguinte maneira:

• Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
  • CUDA 12,1
  • Cusolver 11.4.5.107-1
  • Cupti 12,1
  • cuDNN 8.9.0.131-1
  • NCCL 2.17.1
  • TensorRT 8.6.1.6-1

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 15.2 ML que diferem daquelas incluídas no Databricks Runtime 15.2.

Nesta secção:

• Bibliotecas de nível superior
• Bibliotecas Python
• Bibliotecas R
• Bibliotecas Java e Scala (cluster Scala 2.12)

Bibliotecas de nível superior

O Databricks Runtime 15.2 ML inclui as seguintes bibliotecas de camada superior:

• conjuntos de dados
• GraphFrames
• MLflow
• PyTorch
• conector spark-tensorflow;
• Scikit-learn
• TensorFlow
• TensorBoard
• transformadores

Bibliotecas Python

O Databricks Runtime 15.2 ML é usado virtualenv para gerenciamento de pacotes Python e inclui muitos pacotes de ML populares.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 15.2 ML também inclui os seguintes pacotes:

• hiperopt 0.2.7+db3
• Sparkdl 3.0.0_db1
• AutoML 1.26.0 |

Para reproduzir o ambiente Python do Databricks Runtime ML em seu ambiente virtual Python local, baixe o arquivo requirements-15.2.txt e execute pip install -r requirements-15.2.txt. Este comando instala todas as bibliotecas de código aberto que o Databricks Runtime ML usa, mas não instala bibliotecas desenvolvidas pelo Databricks, como databricks-automl, databricks-feature-engineeringou a bifurcação Databricks do hyperopt.

Bibliotecas Python em clusters de CPU

Bibliotecas Python em clusters GPU

Bibliotecas R

As bibliotecas R são idênticas às bibliotecas R no Databricks Runtime 15.2.

Bibliotecas Java e Scala (cluster Scala 2.12)

Além das bibliotecas Java e Scala no Databricks Runtime 15.2, o Databricks Runtime 15.2 ML contém os seguintes JARs:

Clusters de CPU

Clusters GPU