Evaluate Recommender

Valuta la precisione delle stime del modello del sistema di raccomandazione

Categoria: Machine Learning/Evaluate

Panoramica del modulo

Questo articolo descrive come usare il modulo Evaluate Recommender in Machine Learning Studio (versione classica) per misurare l'accuratezza delle stime effettuate da un modello di raccomandazione. Usando questo modulo, è possibile valutare quattro diversi tipi di raccomandazioni:

• Classificazioni stimate per un determinato utente ed elemento

• Elementi raccomandati per un determinato utente

• Un elenco di utenti individuati come correlati a un determinato utente

• Un elenco di elementi individuati come correlati a un determinato elemento

Quando si creano stime usando un modello di raccomandazione, vengono restituiti risultati leggermente diversi per ognuno di questi tipi di stima supportati. Il modulo Evaluate Recommender deduce il tipo di stima dal formato di colonna del set di dati con punteggio. Ad esempio, il set di dati con punteggio potrebbe contenere:

• user-item-rating triples
• utenti e relativi elementi consigliati
• utenti e utenti correlati
• elementi e relativi elementi correlati

Il modulo applica anche le metriche delle prestazioni appropriate, in base al tipo di stima effettuata.

Come configurare Evaluate Recommender

Il modulo Evaluate Recommender confronta l'output delle stime in base a un modello di raccomandazione con i dati di base corrispondenti. Ad esempio, il modulo Score Matchbox Recommender produce set di dati con punteggio che possono essere analizzati con Evaluate Recommender.

Requisiti

Evaluate Recommender richiede i set di dati seguenti come input.

Set di dati di test

Il set di dati di test contiene i dati "ground truth" sotto forma di triple di user-item-rating.

Se si dispone già di un set di dati contenente tre volte la classificazione utente-elemento, è possibile applicare il modulo Split Data (Dividi dati) usando l'opzione RecommenderSplit per creare un set di dati di training e un set di test correlato dal set di dati esistente.

Set di dati con punteggio

Il set di dati con punteggio contiene le stime generate dal modello di raccomandazione.

Le colonne in questo secondo set di dati dipendono dal tipo di stima eseguita durante l'assegnazione dei punteggi. Ad esempio, il set di dati con punteggio può contenere uno degli elementi seguenti:

• Utenti, elementi e classificazioni che l'utente probabilmente avrebbe dato per l'elemento
• Elenco di utenti ed elementi consigliati
• Un elenco di utenti, con utenti probabilmente simili a loro
• Un elenco di elementi, insieme a elementi più smiliari

Metriche

Le metriche delle prestazioni per il modello vengono generate in base al tipo di input. Per informazioni dettagliate, vedere le sezioni seguenti:

• Valutare le classificazioni stimate
• Valutare le raccomandazioni per gli elementi
• Valutare le stime degli utenti correlati
• Valutare le stime degli elementi correlati

Valutare le classificazioni stimate

Quando si valutano le classificazioni stimate, il set di dati con punteggio (il secondo input di Evaluate Recommender) deve contenere tripli di valutazione utente-elemento, in base ai requisiti seguenti:

• La prima colonna del set di dati contiene identificatori utente.

• La seconda colonna contiene gli identificatori di elemento.

• La terza colonna contiene le classificazioni utente-elemento corrispondenti.

Evaluate Recommender confronta le classificazioni nel set di dati ground truth con le classificazioni stimate del set di dati con punteggio e calcola l'errore assoluto medio ( MAE) e l'errore quadratica medio radice ( RMSE).

Gli altri parametri di Evaluate Recommender non hanno alcun effetto sulla valutazione delle stime di valutazione.

Valutare le raccomandazioni per gli elementi

Quando si valuta la raccomandazione per gli elementi, usare un set di dati con punteggio che includa gli elementi consigliati per ogni utente:

• La prima colonna del set di dati deve contenere l'identificatore utente.

• Tutte le colonne successive devono contenere gli identificatori di elemento consigliati corrispondenti, ordinati in base al livello di pertinente di un elemento per l'utente.

  Prima di connettere questo set di dati, è consigliabile ordinare il set di dati in modo che gli elementi più rilevanti si presentino per primi.

Gli altri parametri di Evaluate Recommender non hanno alcun effetto sulla valutazione delle raccomandazioni per gli elementi.

Evaluate Recommender calcola la media del guadagno cumulativo scontato normalizzato (NDCG) e lo restituisce nel set di dati di output.

Poiché non è possibile conoscere l'effettiva "verità di base" per gli elementi consigliati, Evaluate Recommender usa le classificazioni utente-elemento nel set di dati di test come vantaggi nel calcolo del gruppo NDCG. Per fare una valutazione, il modulo di punteggio del sistema di raccomandazione deve solo generare raccomandazioni per elementi con classificazioni verificate (nel set di dati di test).

Valutare le stime degli utenti correlati

Quando si valutano le stime degli utenti correlati, usare un set di dati con punteggio contenente gli utenti correlati per ogni utente di interesse:

• La prima colonna deve contenere gli identificatori per ogni utente di interesse.

• Tutte le colonne successive contengono gli identificatori per gli utenti correlati stimati. Gli utenti correlati vengono ordinati in base al livello di complessità della proprietà (prima l'utente più correlato).

• Per il funzionamento di Evaluate Recommender, i nomi delle colonne devono essere User, Related User 1, Related User 2Related User 3, e così via.

Evaluate Recommender calcola il guadagno cumulato scontato normalizzato medio (NDCG), basato sulle distanze di Manhattan (L1 Sim NDCG) ed euclidea (L2 Sim NDCG) e restituisce entrambi i valori nel set di dati di output. Poiché non esiste alcuna verità reale per gli utenti correlati, Evaluate Recommender usa la procedura seguente per calcolare i gruppi di sicurezza di rete medi.

Per ogni utente di interesse nel set di dati con punteggio:

1. Trovare tutti gli elementi del set di dati di test che sono stati calcolati dall'utente di interesse e dall'utente correlato presi in considerazione.

2. Creare due vettori dalle classificazioni di questi elementi: uno per l'utente di interesse e uno per l'utente correlato in considerazione.

3. Calcolare il guadagno come la somiglianza dei due vettori di classificazione risultanti, in rapporto alla distanza di Manhattan (L1) ed euclidea (L2).

4. Calcolare L1 Sim NDCG e L2 Sim NDCG, usando i guadagni di tutti gli utenti correlati.

5. Media dei valori NDCG per tutti gli utenti nel set di dati con punteggio.

In altre parole, il guadagno viene calcolato come somiglianza (distanze normalizzate Distorsioni euclianie) tra un utente di interesse (la voce nella prima colonna del set di dati con punteggio) e un determinato utente correlato (la voce nella colonna n-esima del set di dati con punteggio). Il guadagno di questa coppia utente viene calcolato usando tutti gli elementi per i quali entrambi gli elementi sono stati classificati nei dati originali (set di test). Il gruppo di sicurezza di rete viene quindi calcolato aggregando i singoli utili per un singolo utente di interesse e tutti gli utenti correlati, usando lo sconto logaritmico. Ovvero, viene calcolato un valore NDCG per ogni utente di interesse (ogni riga nel set di dati con punteggio). Il numero che viene infine segnalato è la media aritmetica per tutti gli utenti di interesse nel set di dati con punteggio, ovvero le relative righe.

Per fare una valutazione, il modulo di punteggio del sistema di raccomandazione deve solo prevedere gli utenti correlati che hanno elementi con classificazioni verificate (nel set di dati di test).

Valutare le stime degli elementi correlati

Quando si valuta la stima degli elementi correlati, usare un set di dati con punteggio contenente gli elementi correlati per ogni elemento di interesse:

• La prima colonna deve contenere identificatori per gli elementi di interesse.

• Tutte le colonne successive devono contenere identificatori per gli elementi correlati stimati, ordinati in base al modo in cui sono correlati all'elemento di interesse (prima l'elemento più correlato).

• Per il funzionamento di Evaluate Recommender, i nomi delle colonne devono essere Item, Related Item 1, Related Item 2Related Item 3, e così via.

Evaluate Recommender calcola le distanze medie del guadagno cumulativo scontato normalizzato (NDCG) in base alle distanze Disanzite Disegne (L1 Sim NDCG) ed Euclideo (L2 Sim NDCG) e restituisce entrambi i valori nel set di dati di output. Poiché non esiste alcuna verità reale per gli elementi correlati, Evaluate Recommender calcola i NDCG medi come indicato di seguito:

Per ogni elemento di interesse nel set di dati con punteggio:

1. Trovare tutti gli utenti del set di dati di test che hanno valutato l'elemento di interesse e l'elemento correlato presi in considerazione.

2. Creare due vettori dalle classificazioni di questi utenti, una per l'elemento di interesse e l'altra per l'elemento correlato presi in considerazione.

3. Calcolare il guadagno come la somiglianza dei due vettori di classificazione risultanti in rapporto alla distanza di Manhattan (L1) ed euclidea (L2).

4. Calcolare L1 Sim NDCG e L2 Sim NDCG, usando i guadagni di tutti gli elementi correlati.

5. Media dei valori NDCG su tutti gli elementi di interesse nel set di dati con punteggio.

In altre parole, il guadagno viene calcolato come somiglianza (distanze normalizzate Distorsioni euclianie) tra un elemento di interesse (la voce nella prima colonna del set di dati con punteggio) e un determinato elemento correlato (la voce nella colonna n-esima del set di dati con punteggio). Il guadagno di questa coppia di elementi viene calcolato usando tutti gli utenti che hanno valutato entrambi questi elementi nei dati originali (set di test). Il gruppo NDCG viene quindi calcolato aggregando i singoli utili per un singolo elemento di interesse e tutti gli elementi correlati, usando lo sconto logaritmico. Ovvero, viene calcolato un valore NDCG per ogni elemento di interesse (ogni riga nel set di dati con punteggio). Il numero che viene infine segnalato è la media aritmetica su tutti gli elementi di interesse nel set di dati con punteggio,ad esempio le relative righe.

Pertanto, per valutare, il modulo di assegnazione dei punteggi dello raccomandazione deve prevedere solo gli elementi correlati con classificazioni di verità di base (nel set di dati di test).

Esempio

Per esempi di come vengono usati i modelli di raccomandazione Machine Learning, vedere l'Azure AI Gallery:

• Esempio di raccomandazione di film: illustra come eseguire il training, la valutazione e il punteggio usando un modello di raccomandazione.

• Building recommendation engine for .NET applications using Machine Learning (Creazione del motore di raccomandazione per le applicazioni .NET con Machine Learning): questo blog fornisce una descrizione dettagliata di come creare un modello di raccomandazione per film.

Input previsti

Parametri del modulo

Output

Eccezioni

Per un elenco di errori specifici dei moduli di Studio (versione classica), vedere l'Machine Learning codici di errore.

Per un elenco delle eccezioni API, vedere l'Machine Learning di errore dell'API REST.

Vedi anche

Train Matchbox Recommender
Score Matchbox Recommender