Панель мониторинга "Тест" (CMMI)

Статья
04/10/2013

С помощью панели мониторинга "Тест" можно отслеживать операции тестирования, создавать отчеты о ходе выполнения, находить пробелы в покрытии тестами и определять области, требующие дополнительного изучения.Эта панель мониторинга показывает пять отчетов, предоставляющих сведения о тестировании за последние четыре недели.

Примечание
Доступ к панелям мониторинга осуществляется через портал командного проекта.Доступ к панели мониторинга "Тест" возможен только, если этот портал включен и может использовать приложение Microsoft Office SharePoint Server 2007.Дополнительные сведения см. в разделе Панели мониторинга (гибкая разработка) или Доступ к порталу командного проекта и руководству по процессу.

Доступ к панелям мониторинга осуществляется через портал командного проекта.Доступ к панели мониторинга "Тест" возможен только, если этот портал включен и может использовать приложение Microsoft Office SharePoint Server 2007.Дополнительные сведения см. в разделе Панели мониторинга (гибкая разработка) или Доступ к порталу командного проекта и руководству по процессу.

В этом разделе

Данные, отображающиеся на панели мониторинга
Действия, необходимые для отслеживания тестирования
Наблюдение за ходом выполнения тестирования
Определение пробелов в тестировании
Наблюдение за сбоями тестов и регрессиями
Настройка панели мониторинга "Тест"

Эту панель мониторинга можно использовать для ответа на следующие вопросы:

Создаются ли тестовые случаи в соответствии с графиком?
Определила ли команда тестовые случаи для всех требований?
Каковы доли успешных, неуспешных и заблокированных тестовых случаев?
Указывают ли метрики ошибок тестов на проблему, требующую дополнительного изучения?
В каком состоянии находится вчерашнее построение?
Что входит в число последних возвратов?

Необходимые разрешения

Для просмотра панели мониторинга необходимо иметь разрешение или принадлежать к группе, имеющей разрешение Чтение в Продукты SharePoint для командного проекта.Для изменения, копирования или настройки панели мониторинга необходимо иметь разрешение или принадлежать к группе, имеющей разрешения Члены в Продукты SharePoint для командного проекта.Дополнительные сведения см. в разделе Добавление пользователей в командные проекты.

Для изменения отчета в приложении Office Excel необходимо быть членом группы безопасности TfsWarehouseDataReaders в службах аналитики SQL Server и необходимо иметь разрешение или принадлежать к группе, имеющей разрешения Члены в Продукты SharePoint для командного проекта.Дополнительные сведения см. в разделе Предоставление доступа к базам данных хранилища данных для Visual Studio ALM.

Для просмотра рабочего элемента необходимо быть членом группы Читатели или иметь разрешение Просмотр рабочих элементов на этом узле со значением Разрешить.Для создания или изменения рабочего элемента необходимо быть членом группы Участники или располагать разрешением Изменение рабочих элементов на этом узле со значением Разрешить.Дополнительные сведения см. в разделе Управление разрешениями.

Данные, содержащиеся на панели мониторинга "Тест"

С помощью панели мониторинга "Тест" можно определить, насколько успешно команда выполняет тестирование требований.В частности, данная панель мониторинга отображает веб-части, показанные на рисунке и описанные в таблице ниже.

Панель мониторинга тестирования

Примечание
Отчеты Ход выполнения плана тестирования, Готовность тестовых случаев, Состояние тестирования требований и Действия тестирования доступны, только когда группа создает планы тестирования и выполняет тесты с использованием приложений Test Runner и Microsoft Test Manager.Сведения об определении наборов тестов и планов тестирования см. в разделе Группировка тестовых случаев в наборы тестов. Диаграммы выработки, хода выполнения и трендов и отчеты от до не отображаются, если недоступен сервер, содержащий службы аналитики для командного проекта.

Отчеты Ход выполнения плана тестирования, Готовность тестовых случаев, Состояние тестирования требований и Действия тестирования доступны, только когда группа создает планы тестирования и выполняет тесты с использованием приложений Test Runner и Microsoft Test Manager.Сведения об определении наборов тестов и планов тестирования см. в разделе Группировка тестовых случаев в наборы тестов.

Диаграммы выработки, хода выполнения и трендов и отчеты от Шаг 1 до Шаг 5 не отображаются, если недоступен сервер, содержащий службы аналитики для командного проекта.

Веб-часть	Отображаемые данные	Связанный раздел
	Гистограмма результатов всех тестов, сгруппированных по последнему записанному результату на протяжении последних четырех недель.Результаты включают следующие значения: Никогда не запускавшиеся, Заблокировано, Сбой или Выполнено.	Отчет "Ход выполнения плана тестирования"
	Гистограмма, показывающая количество тестовых случаев, находящихся в состоянии Разработать или Готово в последние четыре недели.	Отчет "Готовность тестовых случаев"
	Горизонтальная линейчатая диаграмма отображает количества результатов теста для каждого сочетания тестового случая и конфигурации теста, определенное для каждого требования.В диаграмме результаты тестов группируются по последним тестовым запускам; отображаемые параметры: Выполнено (зеленый), Непройденный (красный), Блокировано (фиолетовый) или Никогда не запускавшиеся (серый).	Отчет "Состояние тестирования требования" в формате Excel (CMMI)
	График показывает совокупное количество всех результатов запусков ручных тестовых случаев в течение последних четырех недель.	Отчет "Действия тестирования" в формате Excel
	Гистограмма, показывающая общее число всех результатов тестов со сбоями, отсортированных по типу сбоя, в течение последних четырех недель.Типы сбоев включают следующие: Регрессия, Новая проблема и Известная проблема.	Отчет "Анализ сбоя" в формате Excel
	Список предстоящих событий.Этот список является производным от веб-части SharePoint.	Неприменимо
	Количество активных, разрешенных и закрытых рабочих элементов.Открыть список рабочих элементов можно посредством щелчка каждого номера.Этот список является производным от веб-части Team Web Access.	Рабочие элементы и рабочий процесс (CMMI)
	Список последних построений и сведения об их состоянии.Для просмотра дополнительных сведений выберите конкретное построение.Этот список является производным от веб-части Team Web Access. Условные обозначения: : построение выполняется : построение не началось : построение успешно завершено : ошибка построения : построение остановлено : построение выполнено частично	Managing and Reporting on Builds
	Список последних возвратов.Для просмотра дополнительных сведений выберите конкретный возврат.Этот список является производным от веб-части Team Web Access.	Разработка кода и управление ожидающими изменениями

Действия, необходимые для отслеживания тестирования

Для обеспечения точности и актуальности отчетов на панели мониторинга "Тест", команда должна выполнить следующие действия.

Определить тестовые случаи и требования и создать связи Тест выполнил между тестовыми случаями и требованиями.
Определить планы тестирования и назначить им тестовые случаи.

Дополнительные сведения см. в разделе Определение плана тестирования.

Для ручных тестов, отмечать результаты для каждого шага проверки в тестовом случае, обозначая шаг как пройденный или нет.

Важно
Тестерам следует отмечать шаг проверочного теста состоянием.Общий результат теста отражает состояние всех шагов теста, отмеченных тестером.Таким образом, тест получит состояние "завершен неудачей", если тест-инженер отметил какой-либо шаг теста как завершенный неудачей или не отметил его вовсе.

Тестерам следует отмечать шаг проверочного теста состоянием.Общий результат теста отражает состояние всех шагов теста, отмеченных тестером.Таким образом, тест получит состояние "завершен неудачей", если тест-инженер отметил какой-либо шаг теста как завершенный неудачей или не отметил его вовсе.

В случае автоматических тестов каждый тест автоматически отмечается как пройденный или завершенный неудачей.

(Необязательно) Назначение каждому тестовому случаю значения Путь итерации и Путь к области для поддержки фильтрации.

Наблюдение за ходом выполнения тестирования

Можно использовать первые три отчета панели мониторинга "Тест", чтобы следить за ходом выполнения теста и отвечать на вопросы в следующей таблице.

Отчет	Вопросы, на которые отвечает отчет	Примечания
Готовность тестовых случаев	Сколько тестовых случаев определила команда по тестированию? Сколько тестовых случаев готовы к выполнению на данный момент? Какое количество тестовых случаев все еще следует написать и просмотреть? Достаточно ли общего количества тестовых случаев для количества требований, реализуемых командой? Какой процент тестовых случаев команда по тестированию может выполнить на данный момент? Сможет ли команда подготовить все тестовые случаи к концу итерации?	На хороший ход выполнения указывает равномерное увеличение числа тестовых случаев, разрабатываемых и перемещаемых командой в состояние готовности. На проблемы с ходом выполнения указывает отсутствие или небольшое число готовых к выполнению тестовых случаев. Если все тестовые случаи находятся длительное время в состоянии разработки, возможно, какая-то проблема блокирует дальнейшее выполнение.Может потребоваться изучение причин блокировки. Если количество тестовых случаев выглядит недостаточным, может возникнуть пробел в тестировании. Количество тестовых случаев, определенных для проекта, должно быть равно или больше количества требований, реализуемых командой.Количество тестовых случаев выглядит недостаточным.
Ход выполнения плана тестирования	Сколько тестовых случаев завершается успешно? Сколько тестовых случаев завершается неудачей? Сколько тестовых случаев блокируется? Сколько тестовых случаев не выполнено? Каков процент тестовых случаев, завершившихся успешно по всем планам тестирования? Какую часть тестирования выполнила команда? Будет ли завершено вовремя тестирование?	С течением цикла разработки, количество выполненных тестов должно увеличиваться, а количество тестовых случаев с другими состояниями должно убывать. На проблемы с ходом выполнения указывает слишком большое число неудачных тестовых случаев.В зависимости от текущей стадии в цикле продукта, возможно, следует проверить причину завершения большего количества тестовых случаев неудачей. Если число тестовых случаев, не выполненных или завершенных неудачей, не меняется, может быть нужно исследовать причины, связанные с каждой из областей.
Состояние тестирования требования	Выполняются ли тестовые случаи для каждого требования? Если тестовые случаи блокируются или не выполняются, понимает ли команда причины блокировки и устраняет ли их?	На хороший ход выполнения показывает высокая доля успешно выполняемых тестовых случаев для каждого требования. На проблемы с ходом выполнения указывает большое число тестовых случаев для определенного требования, находящихся в состоянии Никогда не запускавшиеся, Заблокировано или Сбой.Может быть нужно исследовать причины, не дающие успешно пройти тестовым случаям, определенным для требования.

Определение пробелов в тестировании

Можно использовать отчет Состояние тестирования требования, чтобы определять, покрывают ли тесты весь код, и отвечать на следующие вопросы.

Какие требования имеют наименьшее общее количество тестовых случаев?
Какие требования имеют наибольшее общее количество тестовых случаев, которые заблокированы или никогда не выполнялись.
Соответствует ли ожиданиям объем тестового случая для каждого требования?
Какие требования отличаются высоким процентом сбоев тестов?
Сколько тестовых случаев в среднем определено для требования?

Наблюдение за сбоями тестов и регрессиями

Отслеживая сбои тестов, можно заранее определять и решать проблемы в коде.Можно использовать два последние отчета панели мониторинга "Тест", чтобы узнавать количество тестов, завершающихся неудачей.

Отчет	Вопросы, на которые отвечает отчет	Примечания
Действия тестирования, выполняемые вручную	Уменьшается ли количество тестов, не выполненных командой? Уменьшает ли команда общее количество заблокированных тестов? Уменьшается ли со временем количество тестов, завершающихся неудачей? Выполняется ли больше тестов? Имеются ли какие-либо необъяснимые пики активности тестирования?	Отчет Действия тестирования, выполняемые вручную показывает результаты каждого тестового случая для каждой конфигурации теста и для всех планов тестирования.Выявленные пики могут указывать на проблемы в действиях тестирования или в качестве кода, возвращаемого командой. Может понадобиться проверить показатели последних построений, состояние ошибок, а также обработанный код, чтобы определить, могут ли они помочь понять изменения.
Анализ ошибок тестирования	Сколько тестов находится в состоянии регрессии? Поддерживает ли команда общее число регрессий или сбоев тестов в пределах ожидаемого диапазона или командных целей? Решает ли команда своевременно новые и известные проблемы?	Хороший отчет "Анализ ошибок тестирования" содержит умеренное число новых и известных проблем и регрессий.При возникновении в этих областях каких-либо пиков может потребоваться дополнительное исследование.Пики могут указывать на проблемы в действиях тестирования или в качестве кода, возвращаемого командой. Кроме того, может понадобиться проверить показатели последних построений, состояние ошибок, а также обработанный код, чтобы определить, могут ли они помочь понять изменения.

Действия тестирования, выполняемые вручную

Уменьшается ли количество тестов, не выполненных командой?
Уменьшает ли команда общее количество заблокированных тестов?
Уменьшается ли со временем количество тестов, завершающихся неудачей?
Выполняется ли больше тестов?
Имеются ли какие-либо необъяснимые пики активности тестирования?

Отчет Действия тестирования, выполняемые вручную показывает результаты каждого тестового случая для каждой конфигурации теста и для всех планов тестирования.Выявленные пики могут указывать на проблемы в действиях тестирования или в качестве кода, возвращаемого командой.

Может понадобиться проверить показатели последних построений, состояние ошибок, а также обработанный код, чтобы определить, могут ли они помочь понять изменения.

Анализ ошибок тестирования

Сколько тестов находится в состоянии регрессии?
Поддерживает ли команда общее число регрессий или сбоев тестов в пределах ожидаемого диапазона или командных целей?
Решает ли команда своевременно новые и известные проблемы?

Хороший отчет "Анализ ошибок тестирования" содержит умеренное число новых и известных проблем и регрессий.При возникновении в этих областях каких-либо пиков может потребоваться дополнительное исследование.Пики могут указывать на проблемы в действиях тестирования или в качестве кода, возвращаемого командой.

Кроме того, может понадобиться проверить показатели последних построений, состояние ошибок, а также обработанный код, чтобы определить, могут ли они помочь понять изменения.

Настройка панели мониторинга "Тест"

Панель мониторинга "Тест" можно настраивать следующими способами.

Изменять фильтры для каждого отчета в Office Excel, чтобы сосредоточить внимание на определенных областях или итерациях продуктов.
Фильтровать отчет Действия тестирования, выполняемые вручную в Office Excel по определенным планам тестирования или ручным или автоматизированным тестовым случаям.
Добавлять существующие отчеты Excel, например Состояние ошибки, Обработка кода и Покрытие кода, на панель мониторинга.
Создавать и добавлять отчеты в Office Excel, показывающие работу определенных участников команды.Пример см. в разделе Отчет "Ошибки по назначению" в формате Excel.

Дополнительные сведения о работе с отчетами в приложении Office Excel, а также о настройке этих отчетов содержатся на следующих страницах веб-сайта Майкрософт: