Avaliar o sistema de recomendação

Este artigo descreve como usar o componente Avaliar Sistema de Recomendação no Azure Machine Learning Designer. O objetivo é medir a precisão das previsões feitas pelo modelo de recomendação. Usando esse componente, você pode avaliar diferentes tipos de recomendações:

• Classificações previstas para um usuário e um item
• Itens recomendados para um usuário

Quando você cria previsões usando um modelo de recomendação, resultados ligeiramente diferentes são retornados para cada um desses tipos de previsão compatíveis. O componente Avaliar Sistema de Recomendação deduz o tipo de previsão pelo formato de coluna do conjunto de dados pontuado. Por exemplo, o conjunto de dados pontuado pode conter:

• Trios usuário-item-classificação
• Usuários e seus itens recomendados

O componente também aplica as métricas de desempenho apropriadas, com base no tipo de previsão que está sendo feita.

Como configurar o módulo Avaliar o sistema de recomendação

O componente Avaliar Sistema de Recomendação compara a saída de previsão usando um modelo de recomendação com os dados de "verdade fundamental" correspondentes. Por exemplo, o componente Pontuação do Sistema de Recomendação SVD produz conjuntos de dados pontuados que você pode analisar usando o componente Avaliar Sistema de Recomendação.

Requisitos

Avaliar o sistema de recomendação requer os conjuntos de dados a seguir como entrada.

Conjunto de dados de teste

O conjunto de dados de teste contém os dados de "verdade fundamental" na forma de trios usuário-item-classificação.

Conjunto de dados classificado

O conjunto de marcação pontuado contém as previsões que o modelo de recomendação gerou.

As colunas nesse segundo conjunto de dados dependem do tipo de previsão que você realizou durante o processo de pontuação. Por exemplo, o conjunto de dados pontuado pode conter um dos seguintes:

• Usuários, itens e classificações que o usuário provavelmente daria para o item
• Uma lista de usuários e itens recomendados para eles

Métricas

Métricas de desempenho para o modelo são geradas com base no tipo de entrada. As seções a seguir fornecem detalhes.

Avaliar as classificações previstas

Quando você estiver avaliando as classificações previstas, o conjunto de dados pontuado (a segunda entrada para Avaliar o sistema de recomendação) deve conter trios usuário-item-classificação que atendam a estes requisitos:

• A primeira coluna do conjunto de dados contém os identificadores de usuários.
• A segunda coluna contém os identificadores de itens.
• A terceira coluna contém as classificações de usuário-item correspondentes.

O módulo Avaliar o sistema de recomendação compara as classificações do conjunto de dados "verdade fundamental" com as classificações previstas do conjunto de dados pontuado. Em seguida, ele computa o EMA (erro médio absoluto) e a REQM (raiz do erro quadrático médio).

Avaliar recomendações de item

Quando você estiver avaliando as recomendações de item, use um conjunto de dados pontuado que inclua os itens recomendados para cada usuário:

• A primeira coluna do conjunto de dados deve conter os identificadores de usuário.
• Todas as colunas subsequentes devem conter identificadores de item recomendados correspondentes, ordenados pela relevância do item para o usuário.

Antes de conectar esse conjunto de dados, recomendamos que você classifique o conjunto de dados para que os itens mais relevantes sejam apresentados primeiro.

O módulo Avaliar o sistema de recomendação computa a NDCG (média normalizada com ganho cumulativo descontado) e a retorna no conjunto de dados de saída.

Como é impossível saber a real "verdade fundamental" para os itens recomendados, o módulo Avaliar o sistema de recomendação usa as classificações de usuário-item no conjunto de dados de teste como ganhos na computação da NDCG. Para avaliar, o componente de pontuação do sistema de recomendação só deve produzir recomendações para itens com classificações de "verdade fundamental" (no conjunto de dados de teste).

Próximas etapas

Confira o conjunto de componentes disponíveis no Azure Machine Learning.