Compartilhar via

Tutorial: Criar e implantar uma execução de Treinamento de Modelo de IA do Mosaico

  • Artigo

Importante

Esse recurso está em Visualização Pública nas seguintes regiões: centralus, eastus, eastus2, northcentralus e westus.

Este artigo descreve como criar e configurar uma execução usando a API de Treinamento de Modelo de IA do Mosaico (anteriormente conhecido como Treinamento de Modelos do Foundation) e, em seguida, examinar os resultados e implantar o modelo usando a interface do usuário do Databricks e o Serviço de Modelo de IA do Mosaico.

Requisitos

Etapa 1: preparar seus dados para o treinamento de modelos

Consulte Preparar dados para o Treinamento do Modelo de IA do Mosaico.

Etapa 2: instalar o SDK databricks_genai

Use as etapas a seguir para instalar o SDK databricks_genai.

%pip install databricks_genai

Em seguida, importe a biblioteca foundation_model:

dbutils.library.restartPython()
from databricks.model_training import foundation_model as fm

Etapa 3: criar uma execução de treinamento

Crie uma execução de treinamento usando a função create() do Mosaic AI Model Training’. Os seguintes parâmetros são obrigatórios:

  • model: o modelo que você deseja testar.
  • train_data_path: o local do conjunto de dados de treinamento.
  • register_to: o catálogo e o esquema do Catálogo do Unity no qual você deseja salvar pontos de verificação.

Por exemplo:

run = fm.create(model='meta-llama/Meta-Llama-3.1-8B-Instruct',
                train_data_path='dbfs:/Volumes/main/my-directory/ift/train.jsonl', # UC Volume with JSONL formatted data
                register_to='main.my-directory',
                training_duration='1ep')

run

Etapa4: exibir o status de uma atualização

O tempo necessário para concluir uma execução de treinamento depende do número de tokens, do modelo e da disponibilidade da GPU. Para um treinamento mais rápido, o Databricks recomenda que você use a computação reservada. Entre em contato com sua equipe de conta do Databricks para obter mais detalhes.

Depois de iniciar sua execução, você pode monitorar o status dele usando get_events().

run.get_events()

Etapa 5: exibir métricas e saídas

Siga estas etapas para exibir os resultados na interface do usuário do Databricks:

  1. No workspace do Databricks, clique em Experimentos na barra de navegação esquerda.
  2. Selecione seu experimento na lista.
  3. Examine os gráficos de métricas na guia Gráficos. As métricas de treinamento são geradas para cada execução de treinamento e as métricas de avaliação só são geradas se um caminho de dados de avaliação for fornecido.
    1. A métrica de treinamento principal mostrando o progresso é a perda. A perda de avaliação pode ser usada para ver se o modelo está sobreajuste aos dados de treinamento. No entanto, a perda não deve ser totalmente confiada porque, em tarefas de treinamento supervisionadas, a perda de avaliação pode parecer estar sobreajustada enquanto o modelo continua a melhorar.
    2. Quanto maior a precisão, melhor será o modelo, mas tenha em mente que a precisão próxima de 100% pode demonstrar sobreajuste.
    3. As seguintes métricas aparecem no MLflow após a execução:
      • LanguageCrossEntropy computa entropia cruzada em saídas de modelagem de linguagem. Uma pontuação mais baixa é melhor.
      • LanguagePerplexity mede o quão bem um modelo de linguagem prevê a próxima palavra ou caractere em um bloco de texto com base em palavras ou caracteres anteriores. Uma pontuação mais baixa é melhor.
      • TokenAccuracy calcula a precisão no nível do token para modelagem de linguagem. Uma pontuação maior é melhor.
    4. Nesta guia, você também pode exibir a saída dos prompts de avaliação se os especificou.

Etapa 6: avaliar vários modelos personalizados com o MLflow LLM Evaluate antes da implantação

Confira Avaliar modelos de linguagem grandes com o MLflow.

Etapa 7: implantar seu modelo

A execução de treinamento registra automaticamente seu modelo no Catálogo do Unity após a conclusão. O modelo é registrado com base no que você especificou no campo register_to no método create() de execução.

Para implantar o modelo para servir, siga estas etapas:

  1. Navegue até o modelo no Catálogo do Unity.
  2. Clique em Servir este modelo.
  3. Clique em Criar ponto de extremidade de serviço.
  4. No campo Nome, forneça um nome para o ponto de extremidade.
  5. Clique em Criar.

Recursos adicionais