Databricks Runtime 15.4 LTS para Aprendizado de Máquina

O Databricks Runtime 15.4 LTS for Machine Learning fornece um ambiente pronto para uso para aprendizado de máquina e ciência de dados com base no Databricks Runtime 15.4 LTS. O Databricks Runtime ML contém muitas bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch e XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinar automaticamente pipelines de aprendizado de máquina. O Databricks Runtime ML também suporta treinamento distribuído de aprendizado profundo usando TorchDistributor.

Novos recursos e melhorias

O Databricks Runtime 15.4 LTS ML é construído sobre o Databricks Runtime 15.4 LTS. Para obter informações sobre o que há de novo no Databricks Runtime 15.4 LTS, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 15.4 LTS .

Pesos de amostra AutoML para classificação

O AutoML agora suporta pesos de amostra para classificação, permitindo que você ajuste a importância de cada classe durante o treinamento do modelo de classificação. Para obter mais informações, consulte a classificação parameters para a API AutoML Python.

Alterações no cliente Databricks Feature Engineering

Para obter informações sobre o que há de novo na API Python do Databricks Feature Engineering, consulte as notas de versão do cliente de engenharia de recursos.

Outras alterações

Petastorm está agora obsoleta

O pacote Petastorm foi agora preterido. As versões posteriores ao 15.4 LTS ML não terão este pacote pré-instalado. O Mosaic Streaming é o substituto recomendado para carregar grandes conjuntos de dados a partir do armazenamento em nuvem.

O distribuidor Spark Tensorflow foi preterido

O spark-tensorflow-distributor pacote foi preterido. As versões posteriores ao 15.4 LTS ML não terão este pacote pré-instalado. O Ray on Databricks é o substituto recomendado para o treinamento distribuído de um modelo Tensorflow ou Keras.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 15.4 LTS ML difere do Databricks Runtime 15.4 LTS da seguinte forma:

• Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
  • CUDA 12,1
  • Cusolver 11.4.5.107-1
  • Cupti 12,1
  • cuDNN 8.9.0.131-1
  • NCCL 2.17.1
  • TensorRT 8.6.1.6-1

Bibliotecas

As seções a seguir list as bibliotecas incluídas no Databricks Runtime 15.4 LTS ML que diferem daquelas incluídas no Databricks Runtime 15.4 LTS.

Nesta secção:

• Bibliotecas de nível superior
• Bibliotecas Python
• Bibliotecas R
• Bibliotecas Java e Scala (cluster Scala 2.12)

Bibliotecas de nível superior

O Databricks Runtime 15.4 LTS ML inclui as seguintes bibliotecas de camada superior:

• conjuntos de dados
• GraphFrames
• MLflow
• PyTorch
• conector spark-tensorflow;
• Scikit-learn
• TensorFlow
• TensorBoard
• transformadores

Bibliotecas Python

O Databricks Runtime 15.4 LTS ML usa virtualenv para gerenciamento de pacotes Python e inclui muitos pacotes de ML populares.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 15.4 LTS ML também inclui os seguintes pacotes:

• hiperopt 0.2.7+db3
• Sparkdl 3.0.0_db1
• AutoML 1.28.0 |

Para reproduzir o ambiente Python do Databricks Runtime ML em seu ambiente virtual Python local:

1. Transfira o ficheiro requirements-15.4.txt .
2. Nos sistemas Ubuntu, execute sudo apt-get install libpq-dev libcairo2-dev libdbus-1-dev libgirepository1.0-dev libsnappy-dev para instalar bibliotecas do sistema.
3. Execute o pip install -r requirements-15.4.txt --extra-index-url https://download.pytorch.org/whl/cpu. Este comando instala todas as bibliotecas de código aberto que o Databricks Runtime ML usa, mas não instala bibliotecas desenvolvidas pelo Databricks, como databricks-automl, ou a bifurcação Databricks de hyperopt ou horovod.

Bibliotecas Python em clusters de CPU

Bibliotecas Python em clusters GPU

Bibliotecas R

As bibliotecas R são idênticas às bibliotecas R no Databricks Runtime 15.4 LTS.

Bibliotecas Java e Scala (cluster Scala 2.12)

Além das bibliotecas Java e Scala no Databricks Runtime 15.4 LTS, o Databricks Runtime 15.4 LTS ML contém os seguintes JARs:

Clusters de CPU

Clusters GPU