Partilhar via

Ver a avaliação e os detalhes do seu modelo de classificação de texto

  • Artigo

Depois que o modelo terminar o treinamento, você poderá visualizar o desempenho do modelo e ver as classes previstas para os documentos no conjunto de testes.

Nota

Usar a opção Dividir automaticamente o conjunto de testes dos dados de treinamento pode resultar em resultados de avaliação de modelo diferentes cada vez que você treina um novo modelo, pois o conjunto de teste é selecionado aleatoriamente a partir dos dados. Para garantir que a avaliação seja calculada no mesmo conjunto de testes sempre que você treinar um modelo, certifique-se de usar a opção Usar uma divisão manual de dados de treinamento e teste ao iniciar um trabalho de treinamento e definir seus documentos de teste ao rotular dados.

Pré-requisitos

Antes de visualizar a avaliação do modelo, você precisa:

  • Um projeto de classificação de texto personalizado com uma conta de armazenamento de blob do Azure configurada.
  • Dados de texto que foram carregados para a sua conta de armazenamento.
  • Dados rotulados
  • Um modelo treinado com sucesso

Consulte o ciclo de vida de desenvolvimento do projeto para obter mais informações.

Detalhes do modelo

  1. Aceda à página do seu projeto no Language Studio.

  2. Selecione Desempenho do modelo no menu do lado esquerdo da tela.

  3. Nesta página, você só pode visualizar os modelos treinados com sucesso, a pontuação F1 para cada modelo e a data de validade do modelo. Você pode selecionar o nome do modelo para obter mais detalhes sobre seu desempenho.

Nota

As classes que não são rotuladas nem previstas no conjunto de testes não farão parte dos resultados exibidos.

  • Nesta guia, você pode visualizar os detalhes do modelo, tais como: pontuação F1, precisão, recall, data e hora do trabalho de treinamento, tempo total de treinamento e número de documentos de treinamento e teste incluídos neste trabalho de treinamento.

    A que mostra a página de visão geral para avaliação do modelo.

  • Você também verá orientações sobre como melhorar o modelo. Ao clicar em ver detalhes , um painel lateral será aberto para dar mais orientações sobre como melhorar o modelo. Neste exemplo, não há dados suficientes no conjunto de treinamento para essas classes. Além disso, não há uma distinção clara entre os tipos de classe no conjunto de treinamento, onde duas classes são confundidas uma com a outra. Ao clicar nas classes confusas, você será levado para a página de rotulagem de dados para rotular mais dados com a classe correta.

    Uma captura de tela que mostra a página de orientação para avaliação do modelo.

    Saiba mais sobre orientação de modelo e matriz de confusão em conceitos de desempenho de modelo.

Carregar ou exportar dados do modelo

Para carregar os dados do modelo:

  1. Selecione qualquer modelo na página de avaliação do modelo.

  2. Selecione o botão Carregar dados do modelo.

  3. Confirme se você não tem nenhuma alteração não salva que precisa capturar na janela exibida e selecione Carregar dados.

  4. Aguarde até que os dados do modelo terminem de ser carregados novamente no projeto. Após a conclusão, você será redirecionado de volta para a página de design do esquema.

Para exportar os dados do modelo:

  1. Selecione qualquer modelo na página de avaliação do modelo.

  2. Selecione o botão Exportar dados do modelo. Aguarde até que o instantâneo JSON do seu modelo seja baixado localmente.

Excluir modelo

Para excluir seu modelo do Language Studio:

  1. Selecione Desempenho do modelo no menu do lado esquerdo.

  2. Selecione o nome do modelo que deseja excluir e selecione Excluir no menu superior.

  3. Na janela exibida, selecione OK para excluir o modelo.

Próximos passos

Ao analisar o desempenho do seu modelo, saiba mais sobre as métricas de avaliação usadas. Depois de saber se o desempenho do seu modelo precisa melhorar, você pode começar a melhorá-lo.