Dashboard di test (CMMI)

Articolo
08/15/2011

Utilizzando il dashboard di test, è possibile monitorare le attività di test, creare rapporti sullo stato di avanzamento, individuare gap nel code coverage del test e identificare aree di test che possono richiedere un'ulteriore analisi. Nel dashboard vengono visualizzati cinque rapporti che forniscono informazioni sui test che sono stati eseguiti nelle ultime quattro settimane.

Nota

È possibile accedere ai dashboard tramite il portale del progetto team. È possibile accedere al dashboard di test solo se il portale è stato abilitato ed è stato eseguito il provisioning per l'utilizzo di Microsoft Office SharePoint Server 2007. Per ulteriori informazioni, vedere Dashboard (Agile) o Accedere a un portale del progetto team e alle linee guida per il processo.

In questo argomento

Dati visualizzati nel dashboard
Attività obbligatorie per tenere traccia del test
Monitoraggio dello stato di avanzamento del test
Determinazione dei gap nel test
Monitoraggio di errori e regressioni del test
Personalizzazione del dashboard di test

È possibile utilizzare questo dashboard per rispondere alle domande seguenti:

La creazione di test case sta procedendo secondo quanto pianificato?
Il team ha definito i test case per tutti i requisiti?
Qual è la percentuale di test case superati, non riusciti e bloccati?
La metrica di errore dei test indica un problema che richiede un'ulteriore analisi?
Qual è lo stato della compilazione della notte scorsa?
Quali sono le archiviazioni più recenti?

Autorizzazioni necessarie

Per visualizzare il dashboard, è necessario disporre di autorizzazioni di Lettura per il progetto team in Prodotti SharePoint o appartenere a un gruppo che dispone di tali autorizzazioni. Per modificare, copiare o personalizzare un dashboard, è necessario disporre dell'autorizzazione Membri per il progetto team in Prodotti SharePoint o appartenere a un gruppo che dispone di tale autorizzazione. Per ulteriori informazioni, vedere Aggiungere utenti ai progetti team.

Per modificare un rapporto in Office Excel, è necessario essere un membro del ruolo di sicurezza TfsWarehouseDataReaders in SQL Server Analysis Services e disporre delle autorizzazioni del gruppo Membri per il progetto team in Prodotti SharePoint o appartenere a un gruppo che dispone di tali autorizzazioni. Per ulteriori informazioni, vedere Concedere l'accesso ai database del data warehouse per Visual Studio ALM.

Per visualizzare un elemento di lavoro, è necessario essere un membro del gruppo Readers o che l'autorizzazione Visualizza elementi di lavoro in questo nodo sia impostata su Consenti. Per creare o modificare un elemento di lavoro, è necessario essere un membro del gruppo Contributors o che l'autorizzazione Modifica elementi di lavoro in questo nodo sia impostata su Consenti. Per ulteriori informazioni, vedere Gestione delle autorizzazioni.

Dati visualizzati nel dashboard di test

È possibile utilizzare il dashboard di test per capire se il team progredisce in modo soddisfacente nel test dei requisiti. In particolare, in questo dashboard vengono visualizzate le web part mostrate e descritte rispettivamente nell'illustrazione e nella tabella seguenti.

Dashboard Test

Nota

I rapporti Stato di avanzamento piano test, Conformità test case, Stato test requisito e Attività di test sono disponibili solo se il team crea piani di test ed esegue test tramite Test Runner e Microsoft Test Manager. Per informazioni su come definire gruppi e piani di test, vedere Organizzazione di test case mediante gruppi di test.

I grafici della tendenza, dello stato di avanzamento, del burn-down e i rapporti da Passaggio 1 a Passaggio 5 non vengono visualizzati quando non è disponibile il server che ospita Analysis Services per il progetto team.

Web part	Dati visualizzati	Argomento correlato
	Grafico ad aree in pila dei risultati di test di tutti i test raggruppati in base all'ultimo risultato registrato nelle ultime quattro settimane. I risultati includono Mai eseguito, Bloccato, Non superato e Superato.	Rapporto Stato di avanzamento piano test
	Grafico ad aree in pila che illustra il numero di test case con stato Progettazione o Pronto delle ultime quattro settimane.	Rapporto Conformità test case
	Grafico a barre orizzontali che illustra il conteggio dei risultati dei test per ciascuna combinazione di test case e configurazione di test definita per ogni requisito. Nel grafico vengono raggruppati i risultati dei test in base all'esecuzione più recente, dove le opzioni sono Superato (verde), Non superato (rosso), Bloccato (viola) o Non eseguito (grigio).	Rapporto di Excel Stato test requisito (CMMI)
	Grafico a linee che illustra il conteggio cumulativo di tutti i risultati eseguiti per tutti i test case manuali nelle ultime quattro settimane.	Rapporto Excel Attività di test
	Grafico ad area in pila che illustra il conteggio cumulativo di tutti i risultati con stato Non superato per i test, ordinati per tipo di errore, nelle ultime quattro settimane. I tipi di errore includono Regressione, Nuovo problema e Problema noto.	Rapporto Analisi degli errori di Excel
	Elenco di eventi futuri. Questo elenco è derivato da una web part di SharePoint.	Non applicabile
	Conteggio degli elementi di lavoro attivi, risolti e chiusi. È possibile aprire l'elenco di elementi di lavoro facendo clic su ogni numero. Questo elenco è derivato da una web part Team Web Access.	Elementi di lavoro e flusso di lavoro (CMMI)
	Elenco di compilazioni recenti con relativo stato di compilazione. È possibile visualizzare ulteriori dettagli facendo clic su una compilazione specifica. Questo elenco è derivato da una web part Team Web Access. Legenda: : Compilazione in corso : Compilazione non avviata : Compilazione completata : Compilazione non riuscita : Compilazione interrotta : Compilazione completata parzialmente	Gestire e visualizzare compilazioni completate
	Elenco delle archiviazioni più recenti. È possibile visualizzare ulteriori dettagli facendo clic su un'archiviazione specifica. Questo elenco è derivato da una web part di Team Web Access.	Utilizzo delle finestre Archivia e Modifiche in sospeso

Attività obbligatorie per tenere traccia del test

Affinché i rapporti visualizzati nel dashboard di test risultino utili e accurati, il team deve effettuare le attività seguenti:

Definire test case e requisiti, nonché creare collegamenti Testato da tra test case e requisiti.
Definire piani di test e assegnare test case ai piani di test.

Per ulteriori informazioni, vedere Definizione dell'attività di test utilizzando piani di test.

Per i test manuali, contrassegnare come Superato o Non superato i risultati di ogni passaggio di convalida nel test case.

Importante
I tester devono contrassegnare i passi di test di convalida con uno stato. Il risultato complessivo di un test riflette lo stato di tutti i passi di test contrassegnati. Pertanto, se un passo di test è stato contrassegnato dal tester come Non superato oppure non è stato contrassegnato, lo stato del test sarà Non superato.

Per i test automatici, ogni test viene contrassegnato automaticamente come Superato o Non superato.

(Facoltativo) Per consentire l'applicazione di filtri, assegnare i percorsi Iterazione e Area a ogni test case.

Monitoraggio dello stato di avanzamento del test

È possibile utilizzare i primi tre rapporti nel dashboard di test per monitorare lo stato di avanzamento del test e rispondere alle domande elencate nella tabella riportata di seguito.

Rapporto	Domande con risposta	Note
Conformità test case	Per quanti test case è stato definito il team di test? Quanti test case sono pronti per l'esecuzione oggi? Quanti test case devono ancora essere scritti ed esaminati dal team? Il numero complessivo di test case è sufficiente per il numero di requisiti che il team sta implementando? Quale percentuale di test case il team di test può eseguire oggi? Il team sarà in grado preparare tutti i test case per la fine dell'iterazione?	Uno stato di avanzamento non problematico mostra un aumento costante nel numero di test case che vengono progettati e spostati dal team sullo stato Pronto. Uno stato di avanzamento problematico mostra che nessun test case, o pochi di essi, è pronto per l'esecuzione. Quando tutti i test case rimangono per molto tempo nello stato di progettazione, un problema può bloccare lo stato di avanzamento. È consigliabile esaminare la causa del blocco. Se il numero di test case non sembra sufficiente, può crearsi un gap nel test. Il numero di test case definiti per un progetto deve essere uguale o maggiore al numero di requisiti che il team sta implementando. Il numero di test case non sembra sufficiente.
Stato di avanzamento piano test	Quanti test case vengono superati? Quanti test case non vengono superati? Quanti test case sono bloccati? Quanti test case non sono mai stati eseguiti? Quale percentuale di test case ha superato tutti i piani di test? Quale volume di test è stato completato dal team? È probabile che il team riesca a finire il test in tempo?	Con l'avanzamento del ciclo di sviluppo, maggiore è il numero di test case superati, minore sarà il numero dei test case negli altri stati. Uno stato di avanzamento problematico si verifica in presenza di troppi test case non superati. A seconda della fase corrente del ciclo del prodotto potrebbe essere utile ricercare il motivo alla base del non superamento di un numero così elevato di test case. Se il numero di test case non superati o mai eseguiti resta costante, potrebbe essere utile ricercare le cause specifiche che influiscono su ogni area.
Stato test requisito	I test case sono in esecuzione per ciascun requisito? Se i test case sono bloccati o non in esecuzione, il team ha compreso i problemi relativi al blocco e li sta risolvendo?	Uno stato di avanzamento non problematico mostra che è stata superata la maggior parte di test case per ogni requisito. Uno stato di avanzamento problematico indica che troppi test case per un requisito specifico si trovano nello stato Mai eseguito, Bloccato o Non superato. Potrebbe essere utile ricercare le cause che impediscono la riuscita dei test case definiti per un requisito.

Determinazione dei gap nel test

È possibile utilizzare il rapporto Stato test requisito per determinare se i test contemplano tutto il codice e per rispondere alle domande seguenti:

Quali requisiti hanno un conteggio complessivo basso di test case?
Quali requisiti hanno un conteggio complessivo elevato di test case bloccati o mai eseguiti?
Il code coverage del test case per ciascun requisito soddisfa le aspettative?
Quali requisiti hanno una frequenza elevata di errori di test?
Qual è il numero medio di test case definiti per ogni requisito?

Monitoraggio di errori e regressioni del test

Monitorando gli errori dei test, è possibile identificare e risolvere anticipatamente i problemi nel codice. È possibile utilizzare gli ultimi due rapporti nel dashboard di test per comprendere meglio il numero di test non superati.

Rapporto	Domande con risposta	Note
Attività di test manuale	È diminuito il numero di test che il team non ha mai eseguito? Il team sta riducendo il numero complessivo di test bloccati? Diminuiscono i test non superati nel tempo? Aumentano i test superati? L'attività di test presenta picchi che non è possibile spiegare?	Il rapporto Attività di test manuale indica i risultati per ogni test case eseguito per ogni configurazione di test e per tutti i piani di test. È possibile che i picchi indichino problemi nell'attività di test o nella qualità di codice in fase di verifica. Potrebbe essere necessario controllare la metrica per le compilazioni recenti, lo stato del bug e la varianza del codice per determinare se questi fattori consentono di spiegare le modifiche.
Analisi degli errori del test	Quanti test contengono delle regressioni? Il team mantiene il numero complessivo di regressioni o errori di test all'interno degli intervalli o obiettivi previsti? Il team risolve i problemi non appena vengono identificati e i problemi noti in modo tempestivo?	Un rapporto Analisi degli errori del test corretto mostra un numero moderato di nuovi problemi, problemi noti e regressioni. Se si verificano dei picchi in queste aree, il team potrebbe dover approfondire l'analisi. La presenza di picchi può indicare problemi sia nell'attività di test che nella qualità del codice che il team sta archiviando. Inoltre, potrebbe essere necessario controllare la metrica per le compilazioni recenti, lo stato del bug e la varianza del codice per determinare se questi fattori consentono di spiegare le modifiche.

Attività di test manuale

È diminuito il numero di test che il team non ha mai eseguito?
Il team sta riducendo il numero complessivo di test bloccati?
Diminuiscono i test non superati nel tempo?
Aumentano i test superati?
L'attività di test presenta picchi che non è possibile spiegare?

Il rapporto Attività di test manuale indica i risultati per ogni test case eseguito per ogni configurazione di test e per tutti i piani di test. È possibile che i picchi indichino problemi nell'attività di test o nella qualità di codice in fase di verifica.

Potrebbe essere necessario controllare la metrica per le compilazioni recenti, lo stato del bug e la varianza del codice per determinare se questi fattori consentono di spiegare le modifiche.

Analisi degli errori del test

Quanti test contengono delle regressioni?
Il team mantiene il numero complessivo di regressioni o errori di test all'interno degli intervalli o obiettivi previsti?
Il team risolve i problemi non appena vengono identificati e i problemi noti in modo tempestivo?

Un rapporto Analisi degli errori del test corretto mostra un numero moderato di nuovi problemi, problemi noti e regressioni. Se si verificano dei picchi in queste aree, il team potrebbe dover approfondire l'analisi. La presenza di picchi può indicare problemi sia nell'attività di test che nella qualità del codice che il team sta archiviando.

Inoltre, potrebbe essere necessario controllare la metrica per le compilazioni recenti, lo stato del bug e la varianza del codice per determinare se questi fattori consentono di spiegare le modifiche.

Personalizzazione del dashboard di test

È possibile personalizzare il dashboard di test nei modi seguenti:

Modificare i filtri di ciascun rapporto in Office Excel per incentrarlo su iterazioni o aree di prodotto specifiche.
Filtrare il rapporto Attività di test manuale in Office Excel per piani di test specifici o in base a test case che sono manuali o automatizzati.
Aggiungere al dashboard i rapporti Excel esistenti quali Stato del bug, Varianza del codice e Code coverage.
Creare e aggiungere rapporti in Office Excel che mostrano lo stato di avanzamento per membri specifici del team. Per un esempio, vedere Rapporto Excel Bug per assegnazione.