Создание и определение плана тестирования

С помощью плана тестирования можно указать, что требуется протестировать и как следует выполнять запланированные тесты.Тестовый плат можно применить к определенной итерации проекта.Можно объединить тестовые случаи в единственный набор тестов, используемый по умолчанию, или создать иерархию наборов тестов.

Требования

• Visual Studio Ultimate, Visual Studio Premium, Visual Studio Test Professional

Кроме того, можно выбрать конфигурации по умолчанию, которые будут использоваться при выполнении тестов в плане тестирования.В конфигурации теста тестеры получают сведения о настройке, необходимой для выполнения данного теста.Можно задать одну или несколько конфигураций по умолчанию.Результаты теста записываются при каждом выполнении теста с определенной конфигурацией.План тестирования позволяет измерять ход тестирования на основе результатов теста для определенных сочетаний теста и конфигурации, как показано на следующем рисунке.

Примечание
Если для определенных наборов тестов требуются различные конфигурации из общего плана, можно задать конфигурации по умолчанию на уровне тестов.

Если для плана тестирования требуются определенные конфигурации тестов, удобно сначала создать эти конфигурации.В этом случае можно выбрать конфигурации по умолчанию для плана и при создании тестовых случаев указать соответствующие комбинации тестовых случаев и конфигураций. Затем конфигурация по умолчанию настраивается автоматически.Эти комбинации при необходимости можно позднее изменить.Дополнительные сведения о создании конфигураций тестов см. в разделе Практическое руководство. Создание конфигураций тестов.

Примечание
Определение конфигураций не является обязательным действием.Можно использовать конфигурацию, которая предоставляется по умолчанию.

Для плана тестирования можно также определить параметры тестирования по умолчанию.Эти параметры определяют способ выполнения тестов.Параметры тестирования позволяют автоматически выполнять целый ряд задач, таких как сбор сведений о действиях, выполняемых в ходе тестирования, запись этих действий, запись видео и сбор системной информации или данных о покрытии кода.Кроме того, параметры тестирования можно использовать для удаленного выполнения автоматических тестов с помощью определенных сред.

После выбора тестов для выполнения можно переопределить в плане параметры тестирования, заданные для них по умолчанию.Дополнительные сведения о параметрах и средах тестирования см. в разделах Настройка компьютеров и сбор диагностических данных с помощью параметров тестирования и Настройка тестовых компьютеров для выполнения тестов или сбора данных.

Примечание
Для ручных тестов задавать параметры тестирования по умолчанию не требуется.Можно использовать настройку по умолчанию с именем По умолчанию. В этом случае ручные тесты будут выполняться только на локальном компьютере.

После создания плана тестирования его можно проверить, чтобы убедиться, что тестовые случаи покрывают ключевые функции приложения.Эту задачу можно упростить с помощью созданного документа Microsoft Word.Чтобы создать из плана тестирования документ Word, можно воспользоваться средством Test Scribe.С помощью документа Word любой пользователь может проверить тестовые случаи плана тестирования без необходимости открывать каждый конкретный случай.

Для создания плана тестирования используйте следующую процедуру.

• Создайте план тестирования и задайте его свойства, в том числе добавьте конфигурации и параметры тестирования по умолчанию.

• Создание наборов тестов и добавление тестовых случаев

• Обновите конфигурации для конкретных тестовых случаев.

• Назначьте тесты тестерам.

• Выполните упорядочение тестовых случаев в наборе тестов.

• Добавление в план тестирования внешних ссылок

Создание плана тестирования

На следующем рисунке показаны некоторые свойства, которые можно задать для плана тестирования.

Для создания плана тестирования выполните следующие действия.

1. Откройте Microsoft Test Manager.

   Примечание
   Для отображения окна Microsoft Test Manager выберите команду пуск и выберите все программы.Укажите Microsoft Visual Studio 2012 а затем выберите Microsoft Test Manager.

2. Для создания плана тестирования, выберите вниз- стрелка на разбивочном управлении группы, а затем выберите Центр тестирования.

3. Выберите текущее имя плана, отображаемое в верхнем правом углу.

   Откроется диалоговое окно Центр тестирования.

   Примечание
   Управлять планами тестирования, в том числе создавать новые планы, можно также с помощью диспетчера тестовых случаев в представлении Организовать.

4. Чтобы создать план выберите Добавить.

   Откроется диалоговое окно Добавить план тестирования.

5. Введите имя для плана в *** Введите имя плана ***, а затем выберите Добавить.

   Теперь план добавлен в список и выделен.

6. Для выбора добавленного плана, выберите Выбор плана.

   Откроется представление Содержание для плана тестирования.

7. Чтобы изменить представление свойств для плана тестирования, выберите Свойства.

8. (Необязательно) В поле Описание введите описание плана тестирования.

9. (Необязательно) чтобы изменить владельца, выберите Владелец а затем выберите новый владелец.

10. Выберите Состояние и выберите состояние из списка, воспользовавшись сведениями из следующей таблицы.

    Состояние	Условия использования
    Активно	Вы планируете или выполняете тесты в плане тестирования.
    Неактивный	Вы завершили план тестирования.

    Важно
    Для просмотра плана тестирования или выполнения тестов необходимо установить для плана тестирования состояние Активный.Если план тестирования находится в неактивном состоянии, его нельзя просматривать и изменять в представлении План.Доступ к нему можно получить только в диспетчере планов тестирования.

11. (Необязательно) В поле Дата начала введите день, в который необходимо начать выполнение плана тестирования, а в поле Дата окончания введите дату окончания плана.

    Примечание
    Эти даты не влияют на состояние плана тестирования.

12. Чтобы выбрать область командного проекта, этот план тестирования охватывает выберите Область.

13. Для выбора итерации для выполнения тестов в плане тестирования, выберите Итерация.

    Примечание
    Итерации настраиваются в командном проекте администратором сервера Team Foundation Server.

14. (Необязательно) для выбора параметров тестирования для всех ручных тестов в данном плане тестирования, выберите *** параметры тестирования *** в *** Запуск вручную ***.

    Примечание

    Можно указать один из уже созданных наборов параметров тестирования или выбрать в списке пункт Создать, чтобы запустить мастер параметров тестирования и создать новые параметры.Дополнительные сведения о параметрах тестирования см. в разделах Настройка компьютеров и сбор диагностических данных с помощью параметров тестирования и Практическое руководство. Создание параметров тестирования для плана тестирования.

15. (Необязательно) для просмотра существующих параметров тестирования, которую необходимо проверить его правильность или обновления параметр тестирования, выберите параметры тестирования в списке и затем выбирает Открыть.

16. (Необязательно) для выбора параметров тестирования для всех автоматических тестов в данном плане тестирования, выберите *** параметры тестирования *** в *** Запуск автоматизированных ***.

    Примечание

    Для выполнения автоматических тестов могут потребоваться другие параметры тестирования, если пользователь решит запускать их с настройкой, отличной от ручных тестов.Дополнительные сведения о выполнении автоматических тестов см. в разделах Настройка тестовых компьютеров для выполнения тестов или сбора данных и Создание параметров тестирования для автоматических системных тестов с помощью Microsoft Test Manager.

17. (Необязательно) чтобы выбрать конфигурации по умолчанию для всех наборов тестов, которые нужно добавить в план тестирования, выберите В этом плане в Конфигурации.

    Откроется диалоговое окно,в котором отображаются все конфигурации для командного проекта и текущие конфигурации по умолчанию для плана тестирования.

    Примечание
    По умолчанию для использования с планом тестирования создается и выбирается конфигурация Windows 7 и IE 8.

18. (Необязательно) Выберите конфигурации по умолчанию, которые необходимо добавить или удалить.

    Примечание
    Изменение конфигураций по умолчанию влияет только на новые тестовые случаи, добавляемые в план тестирования.Дополнительные сведения о том, как изменять комбинации тестов и конфигураций, уже включенных в план тестирования, см. в описании процедуры обновления конфигураций для конкретных тестовых случаев.

19. (Необязательно) для добавления новой конфигурации выберите Управление.

    Откроется окно с действием "Диспетчер конфигураций тестов".Дополнительные сведения о создании конфигураций с помощью диспетчера конфигураций тестов см. в разделе Практическое руководство. Создание конфигураций тестов.

20. (Необязательно) чтобы сохранить изменения конфигураций по умолчанию, выберите Применить.

21. (Необязательно) для выбора определения построения и качество построения, которое будет использоваться для тестирования нажмите стрелку раскрывающегося списка, чтобы Фильтр для построений.Эти построения относятся ко всем определениям командных построений, используемым для построения тестируемого приложения.

    Откроется диалоговое окно Фильтровать выполненные построения.

    Примечание
    Если для построения приложения не используется Team Foundation Build, параметры Фильтр для построений и Используемое построение можно не задавать.Дополнительные сведения об использовании Team Foundation Build см. в разделе Определение процесса построения.

22. (Необязательно) для выбора определения построения, представляющего построения будет использоваться для тестирования в данном плане тестирования, выберите Определение построения.

23. (Необязательно) Каждому построению можно присвоить определенное значение, отражающее качество построения.Чтобы выбрать качество построения, требуемого для тестирования в данном плане тестирования, выберите Качество построения.

    Примечание
    Дополнительные сведения об определениях и свойстве построения см. в разделе Определение процесса построения.

24. (Необязательно) чтобы сохранить изменения, выберите Задать фильтр построения.

25. (Необязательно) чтобы выбрать построение, который в настоящий момент используется для проверки этот план тестирования, необходимо сначала выбрать Сохранить для сохранения изменений фильтра построений, а затем выбрать Изменить.

    Откроется представление Назначить построение.Можно сравнить текущее построение с построением, которое планируется использовать для тестирования.Список связанных элементов помогает выбрать построение, показывая измененные в другом построении рабочие элементы.Затем можно выбрать новое построение для использования при тестировании с этим планом.Дополнительные сведения о том, как выбирать построение, см. в разделе Определение построений, содержащих исправления ошибок, новые возможности или требования.

26. (Необязательно) чтобы закрыть действие Назначить построение и вернуться к свойствам плана тестирования выберите значок Закрыть.

27. Чтобы сохранить изменения для данного плана тестирования, выберите Сохранить на панели инструментов.

Создание наборов тестов и добавление тестовых случаев

В плане тестирования можно создать несколько наборов тестов различных типов или использовать только один набор тестов, предоставляемый по умолчанию, и добавить в него тестовые случаи.На следующем рисунке показан процесс создания наборов тестов различных типов.

В данной процедуре описано создание набора тестов и добавление в него существующих или новых тестовых случаев.Дополнительные сведения о различных типах наборов тестов и их упорядочении в иерархии см. в разделе Группировка тестовых случаев в наборы тестов.

Создание наборов тестов и добавление тестовых случаев

1. Из Центр тестирования выберите План а затем выберите Содержание.

   Откроется область "Содержание".

2. Для создания нового набора тестов выберите Создать в панели, указывающее корневой узел набора тестов.

   Примечание
   В иерархии наборов тестов есть корневой узел, имя которого совпадает с именем плана тестирования.К этому корневому узлу набора тестов можно добавлять тестовые случаи или наборы тестов, но его нельзя переименовывать.

3. Введите имя нового набора тестов.

   Это имя будет также отображаться в области сведений набора тестов.

4. Выберите Состояние и выберите состояние из списка, воспользовавшись сведениями из следующей таблицы.

   Состояние	Условия использования
   В планировании	Вы еще не готовы выполнять тесты в этом наборе тестов.
   Выполняется	Вы готовы выполнять тесты в этом наборе тестов.
   Завершено	Тесты в этом наборе выполнены и достигнутый уровень качества соответствует поставленным задачам.

   Важно
   Для выполнения тестов нужно установить для набора тестов состояние Выполняется.

5. Чтобы изменить конфигурации по умолчанию для созданного набора тестов, если требуется их отличаться от параметров по умолчанию для содержащего их плана, выбрать стрелку раскрывающегося списка после списка конфигураций в области сведений набора тестов.

   Откроется диалоговое окно, в котором отображаются все конфигурации для командного проекта и текущие конфигурации по умолчанию для плана тестирования.

6. Сначала нужно снять флажок для пункта Использовать конфигурации из родительского набора тестов, а затем выбрать конфигурации по умолчанию, которые нужно добавить, а также те, которые нужно удалить.

   Примечание
   Изменение конфигураций по умолчанию влияет только на новые тестовые случаи или наборы тестов, добавляемые к данному набору тестов.Дополнительные сведения о том, как изменять комбинации тестов и конфигураций, уже включенных в план тестирования, см. в разделе Обновление конфигураций для конкретных тестовых случаев.

7. Чтобы добавить существующий тестовый случай в этот набор тестов выберите Добавить.

   Откроется диалоговое окно Добавить тестовые случаи в набор.Все доступные тестовые случаи отображаются в списке тестов.

   Примечание
   Тесты, уже добавленные в набор тестов, в списке тестов не отображаются.

8. (Необязательно) Если перечислено несколько тестовых случаев, можно ограничить круг поиска среди них, изменив запрос следующим образом.

   1. Чтобы добавить в запрос новое предложение, выберите *** Выберите здесь, чтобы добавить предложение ***.

   2. Выберите каждый столбец в предложении запроса, чтобы заполнить предложение.Если для столбца доступно несколько значений, то при его выборе отображается стрелка раскрывающегося списка.Нажмите стрелку раскрывающегося списка, чтобы выбрать значение из раскрывающегося списка.Доступны следующие столбцы.

      Столбец запроса	Способ заполнения
      И/Или	Выберите значение И, если для получения необходимого результата должны быть справедливы данное предложение и предложение, предшествующее ему.Выберите значение Или, если для получения необходимого результата должно быть справедливо либо данное предложение, либо предшествующее ему предложение.
      Поле	Список данного поля содержит все просматриваемые при поиске поля рабочего элемента, используемые на текущем сервере Team Foundation Server.Можно использовать любое количество предложений и полей, необходимое для получения оптимального результата.Нажмите ALT + СТРЕЛКА ВНИЗ или введите имя поля, которое нужно выбрать.
      Оператор	Примеры выбора оператора: = (равно), <> (не равно), > (больше чем), < (меньше чем), >= (больше чем или равно), <= (меньше чем или равно), Увеличение, Всегда, Никогда и Содержит.
      Значение	Задает значение, поиск которого выполняется в определенном поле.Если список значений, которые следует выбрать, следует предпочесть стрелку раскрывающегося списка, чтобы выбрать его.В Team Foundation (отслеживание рабочих элементов) предусмотрено несколько переменных запросов для динамического добавления значений в запрос.

   3. Повторите два предыдущих шага для добавления всех искомых значений.

   4. Для просмотра результатов запроса, выберите Запуск , чтобы выполнить запрос.

9. Выберите тесты, которые нужно добавить, а затем выберите Добавить тестовые случаи.

   Выбранные тестовые случаи отображаются в области сведений набора тестов.

10. Чтобы создать тестовый случай и добавить его в этот набор тестов выберите Создать.

    Откроется диалоговое окно Создать тестовый случай.

11. Введите сведения в новый тестовый случай в том числе действия и ожидаемые результаты каждого шага теста, а затем выберите Сохранить и закрыть.

    Новый тестовый случай теперь отображается в области сведений набора тестов.

    Примечание
    Дополнительные сведения о создании новых тестовых случаев см. в разделе Практическое руководство. Создание ручного тестового случая.

12. Для добавления дополнительных тестовых случаев повторите два предыдущих шага.

    Примечание
    Все добавляемые существующие или создаваемые тестовые случаи сопоставляются с конфигурацией по умолчанию. Полученные комбинации определяют, какие конфигурации следует использовать с каждым тестом в плане тестирования.Для просмотра этих комбинаций выберите набор тестов, а затем выберите Конфигурации.

13. Изменения, внесенные в план тестирования, сохраняются автоматически.

Обновление конфигураций для конкретных тестовых случаев.

В каждом наборе тестов можно обновить использующиеся по умолчанию связи конфигураций тестов с тестовыми случаями.Можно удалять комбинации, которые не нужно тестировать, и добавлять другие.Это позволяет гибко задавать в плане только те комбинации конфигураций и тестовых случаев, которые действительно нужно тестировать, как показано на следующем рисунке.

Для изменения конфигураций для определенных тестовых случаев выполните следующие действия.

1. Из Центр тестирования выберите План а затем выберите Содержание.

   Откроется область "Содержание".

2. Для изменения используемых по умолчанию связей конфигураций тестов и тестового случая выберите набор тестов, содержащий тестовый случай.

3. Если необходима возможность изменения конфигураций тестов для всех тестовых случаев в наборе тестов, щелкните правой кнопкой мыши набор тестов и выберите пункт Выбрать конфигурации тестов для всех тестов.

   - или -

   Если нужно изменить конфигурации теста для конкретных тестовых случаев в наборе тестов, выберите определенные тесты в области сведений набора тестов и выберите Конфигурации на панели инструментов панели *** сведения набора тестов ***.

   Откроется диалоговое окно Выберите конфигурации тестов.

4. Для просмотра всех конфигураций тестов в командном проекте, выберите Все конфигурации.

   Отображаются все конфигурации в командном проекте, не назначенные для этого плана тестирования.

5. Для создания или удаления существующего связывание любого тестового случая в этом наборе тестов с определенным конфигурацией, выберите в соответствующей ячейке.

   В ячейке появляется или исчезает флажок (в зависимости от ее прежнего состояния).

6. Для просмотра только конфигурации теста, присвоенные этот набор тестов, выберите Назначенные конфигурации.

7. (Необязательно) чтобы сбросить связывания тестового случая и конфигурации выберите По умолчанию.

8. (Необязательно) Если нужно сделать много изменений, выберите пункт Включить режим выбора диапазона и заполнения, чтобы выбрать диапазон.Для запуска пометить диапазон выберите первый элемент, а затем удерживайте МИГРАЦИЯ и затем выберите последний элемент.

   Все элементы данного диапазона заполняются значением первого элемента.

9. Чтобы сохранить изменения, выберите Применить изменения.

Назначение тестов тестерам

По умолчанию выполнение тестов назначается пользователям, назначенным данному тестовому случаю.Если требуется, чтобы определенная комбинация теста и конфигурации выполнялась тестером, не назначенным для данного тестового случая, воспользуйтесь описанной ниже процедурой и следующим рисунком.При этом пользователь, назначенный тестовому случаю, не меняется.

Для назначения тестов тестерам выполните следующие действия.

1. Из Центр тестирования выберите План а затем выберите Содержание.

   Откроется область Содержание.

2. Чтобы изменить используемые по умолчанию назначения тестов инженерам по тестированию, выберите набор тестов, содержащий тестовые случаи, назначения которых требуется изменить.

3. Если необходима возможность переназначения всех тестовых случаев в наборе тестов, щелкните правой кнопкой мыши набор тестов и выберите пункт Назначить инженеров по тестированию для всех тестов.

   - или -

   Если необходимо назначить специальные тестовый случай в набор тестов, выберите определенные тесты в области сведений набора тестов и выберите Назначить на панели инструментов панели *** сведения набора тестов ***.

   Откроется диалоговое окно Назначение инженеров по тестированию.В нем отображаются все комбинации тестовых случаев и конфигураций для выбранных тестовых случаев.

4. Выберите Инженер-испытатель для выбора другого тест-инженер для выполнения конкретного связывание тестового случая с конфигурацией.

   Примечание
   Можно выбрать несколько комбинаций тестовых случаев и конфигураций и изменить назначения для всех них путем изменения значения в столбце Инженер по тестированию для любой из выбранных строк.

5. (Необязательно) Для группировки тестовых случаев по определенному столбцу, перетащите заголовок столбца в область Перетащите заголовок столбца для группировки по этому столбцу.Если перетащить заголовок столбца конфигураций, то можно выбрать все тестовые случаи для определенной конфигурации.Нажмите клавишу *** Миграция *** в первой строке группы и давления *** Миграция *** в последней строке, а затем выберите Инженер-испытатель в одной из строк, чтобы присвоить они на один и тот же инженеру-испытателю.

6. Чтобы сохранить изменения, выберите *** Сохраните назначения ***.

   Все изменения назначений отображаются в поле Инженеры по тестированию.

   Примечание
   Если одному тесту назначено несколько инженеров по тестированию в зависимости от конфигурации, то в поле Инженеры по тестированию отображается значение "Множественный".

Упорядочение тестовых случаев в наборе тестов

Иногда требуется расположить тестовые случаи и выполнить их в определенном порядке.Например, может потребоваться сначала выполнить наиболее простые тесты, потому что, если они закончатся неудачей, все последующие тесты набора тестов будут блокированы.Порядок тестовых случаев можно изменить в любом наборе тестов, за исключением наборов тестов на основе запроса или наборов тестов, созданных путем добавления требования и описания функциональности пользователя в план тестирования.При выполнении тесты из набора тестов перечисляются в средстве Test Runner в порядке, указанном в столбце "Порядок" набора тестов.

Для упорядочения тестовых случаев в наборе тестов, выполните следующие действия.

1. Из Центр тестирования выберите План а затем выберите Содержание.

   Откроется область "Содержание".

2. Чтобы изменить порядок тестовых случаев в наборе тестов, выберите в области иерархии наборов тестов, а затем выберите Порядок.

   Откроется диалоговое окно Упорядочить тестовые случаи.В списке тестов отображаются все тестовые случаи набора тестов.

3. Введите в столбец Порядок новое значение позиции.Например, для перемещения теста в начало списка введите 1 в столбце Порядок, а для перемещения теста в конец списка введите в столбце Порядок общее количество тестовых случаев в наборе.

   Теперь этот порядок будет использоваться при выполнении тестов.

   Примечание

   Для перемещения тестового случая A (порядковый номер 2) на позицию позади существующего тестового случая B (порядковый номер 4), введите значение 5 в столбце Порядок.Теперь тестовый случай A будет отображаться под тестовым случаем B.Для перемещения тестового случая C (порядковый номер 5) на позицию перед существующим тестовым случаем D (порядковый номер 3), введите значение 3 в столбце Порядок.Теперь тестовый случай С будет отображаться над тестовым случаем D.

Добавление в план тестирования внешних ссылок

На веб-сайт может потребоваться добавить внешние ссылки, содержащие дополнительные сведения о тестируемом приложении.Либо может потребоваться добавить ссылку на документ о требованиях к тестированию для текущего спринта из плана тестирования.Это позволяет добавить с план тестирования ссылки на любую необходимую информацию, чтобы тест-инженеры могли легко найти ее.

Добавление в план тестирования внешних ссылок

1. Из Центр тестирования выберите План а затем выберите Свойства.

   Откроется страница "Свойства".

2. Чтобы добавить внешняя ссылка, нажмите стрелку вниз рядом с Ссылки, а затем выберите Добавить.

   Появится диалоговое окно Добавление внешней ссылки.

3. Введите URL-адрес в поле Внешний URL-адрес.Это может быть адрес файла или веб-сайта.

4. В поле Примечание введите примечание, позволяющее отличить этот URL-адрес от других.

5. Выберите *** Добавление ссылки ***.

   URL-адрес появится в списке ссылок.

6. (Необязательно) чтобы открыть соединение, чтобы убедиться, что указан верный путь, выберите ссылку и выберите Открыть.

   Ссылки можно добавлять и удалять в зависимости от требований конкретного плана тестирования.

См. также

Основные понятия

Выполнение ручных тестов с помощью средства выполнения тестов

Определение плана тестирования

Запуск тестов в Microsoft Test Manager