Inferência e avaliação de modelos de previsão

Este artigo apresenta conceitos relacionados à inferência e avaliação de modelos em tarefas de previsão. Para obter instruções e exemplos de treinamento de modelos de previsão no AutoML, consulte Configurar o AutoML para treinar um modelo de previsão de séries cronológicas com SDK e CLI.

Depois de usar o AutoML para treinar e selecionar o melhor modelo, o próximo passo é gerar previsões. Em seguida, se possível, avalie sua precisão em um conjunto de testes realizado a partir dos dados de treinamento. Para ver como configurar e executar a avaliação do modelo de previsão no aprendizado de máquina automatizado, consulte Orquestrando treinamento, inferência e avaliação.

Cenários de inferência

No aprendizado de máquina, inferência é o processo de gerar previsões de modelo para novos dados não usados no treinamento. Existem várias maneiras de gerar previsões na previsão devido à dependência de tempo dos dados. O cenário mais simples é quando o período de inferência segue imediatamente o período de treinamento e você gera previsões para o horizonte de previsão. O diagrama a seguir ilustra esse cenário:

O diagrama mostra dois parâmetros de inferência importantes:

• O comprimento do contexto é a quantidade de histórico que o modelo requer para fazer uma previsão.
• O horizonte de previsão é o quão adiantado no tempo o meteorologista é treinado para prever.

Os modelos de previsão geralmente usam algumas informações históricas, o contexto, para fazer previsões antecipadas no tempo até o horizonte de previsão. Quando o contexto faz parte dos dados de treinamento, o AutoML salva o que precisa para fazer previsões. Não há necessidade de fornecê-lo explicitamente.

Existem dois outros cenários de inferência que são mais complicados:

• Gerar previsões mais para o futuro do que o horizonte de previsão
• Obter previsões quando há uma lacuna entre os períodos de treinamento e inferência

As subsecções seguintes analisam estes casos.

Prever além do horizonte de previsão: previsão recursiva

Quando você precisa de previsões além do horizonte, o AutoML aplica o modelo recursivamente durante o período de inferência. As previsões do modelo são retroalimentadas como entrada para gerar previsões para as janelas de previsão subsequentes. O diagrama a seguir mostra um exemplo simples:

Aqui, o aprendizado de máquina gera previsões sobre um período três vezes maior do que o horizonte. Ele usa previsões de uma janela como o contexto para a próxima janela.

Prever com um intervalo entre os períodos de treinamento e inferência

Suponha que, depois de treinar um modelo, você queira usá-lo para fazer previsões a partir de novas observações que ainda não estavam disponíveis durante o treinamento. Neste caso, há um intervalo de tempo entre os períodos de treinamento e inferência:

O AutoML oferece suporte a esse cenário de inferência, mas você precisa fornecer os dados de contexto no período de intervalo, conforme mostrado no diagrama. Os dados de previsão passados para o componente de inferência precisam de valores para recursos e valores-alvo observados na lacuna e valores NaN ou valores ausentes para o alvo no período de inferência. A tabela a seguir mostra um exemplo desse padrão:

Os valores conhecidos do destino e dos recursos são fornecidos através 2023-05-01 2023-05-03do . Os valores-alvo em falta a partir de 2023-05-04 indicam que o período de inferência começa nessa data.

O AutoML usa os novos dados de contexto para atualizar o atraso e outros recursos de retrospetiva, e também para atualizar modelos como ARIMA que mantêm um estado interno. Esta operação não atualiza nem reformula os parâmetros do modelo.

Avaliação do modelo

A avaliação é o processo de gerar previsões em um conjunto de testes realizado a partir dos dados de treinamento e métricas de computação dessas previsões que orientam as decisões de implantação do modelo. Assim, há um modo de inferência adequado para a avaliação do modelo: uma previsão contínua.

Um procedimento de prática recomendada para avaliar um modelo de previsão é rolar o meteorologista treinado no tempo ao longo do conjunto de testes, calculando métricas de erro médias em várias janelas de previsão. Este procedimento às vezes é chamado de backtest. Idealmente, o conjunto de testes para a avaliação é longo em relação ao horizonte de previsão do modelo. Caso contrário, as estimativas de erro de previsão poderiam ser estatisticamente ruidosas e, por conseguinte, menos fiáveis.

O diagrama a seguir mostra um exemplo simples com três janelas de previsão:

O diagrama ilustra três parâmetros de avaliação contínua:

• O comprimento do contexto é a quantidade de histórico que o modelo requer para fazer uma previsão.
• O horizonte de previsão é o quão adiantado no tempo o meteorologista é treinado para prever.
• O tamanho da etapa é o avanço no tempo em que a janela de rolagem avança em cada iteração no conjunto de teste.

O contexto avança junto com a janela de previsão. Os valores reais do conjunto de teste são usados para fazer previsões quando eles se enquadram na janela de contexto atual. A última data dos valores reais usados para uma determinada janela de previsão é chamada de hora de origem da janela. A tabela a seguir mostra um exemplo de saída da previsão de rolagem de três janelas com um horizonte de três dias e um tamanho de etapa de um dia:

Com uma tabela como esta, você pode visualizar as previsões versus os reais e calcular as métricas de avaliação desejadas. Os pipelines AutoML podem gerar previsões contínuas em um conjunto de testes com um componente de inferência.

Métricas de avaliação

O cenário de negócios específico geralmente orienta a escolha do resumo ou métrica da avaliação. Algumas opções comuns incluem os seguintes exemplos:

• Gráficos de valores-alvo observados versus valores previstos para verificar se determinada dinâmica dos dados que o modelo captura
• Erro percentual absoluto médio (MAPE) entre os valores reais e previstos
• Erro quadrático médio da raiz (RMSE), possivelmente com uma normalização, entre os valores reais e previstos
• Erro absoluto médio (MAE), possivelmente com uma normalização, entre os valores reais e previstos

Existem muitas outras possibilidades, dependendo do cenário do negócio. Talvez seja necessário criar seus próprios utilitários de pós-processamento para calcular métricas de avaliação a partir de resultados de inferência ou previsões contínuas. Para obter mais informações sobre métricas, consulte Métricas de regressão/previsão.

Conteúdos relacionados

• Saiba mais sobre como configurar o AutoML para treinar um modelo de previsão de séries temporais.
• Saiba mais sobre como o AutoML usa o aprendizado de máquina para criar modelos de previsão.
• Leia as respostas às perguntas frequentes sobre previsão no AutoML.