Описание тестовых сценариев

Описание метрик usabeliti ПИ

Определение задач пользователя

Определяем задачи пользователя, которые регламентируют деятельность пользователя и будет иметь самостоятельную ценность. Эту задачу выполняют посредством одной или нескольких операций. Пользовательские задачи приведены в таблице 4.2.

Таблица 1.2 – Примеры пользовательских задач

Название ПП	Задачи пользователя
Сайт 1	ü Cкачать музыку; ü Найти музыку; ü Добавить музыку; ü Прослушать музыку.
Сайт 2	ü Cкачать музыку; ü Найти музыку; ü Добавить музыку.

Теперь мы выбираем те задачи, при выполнении которых возникает больше всего проблем. Документируем это в таблице, описываем, почему они были отобраны, а так же источник появившихся проблем. Обоснование выбора задач представлено в таблице 4.3.

Таблица 4.3 – Обоснования выбора задач пользователя

№ сайта	Задача пользователя	Описание проблемы
Сайт 1	Скачать музыку	После нажатия кнопки «Скачать» не начинается авто скачивание, а приходиться нажимать на ссылку «Здесь».
Сайт 2	Найти музыку	После нажатия кнопки «Найти», выводиться не та информация которую мы запросили.
Авторизация	После ввода логина и пароля не входит в профиль пользователя на сайте.

Usability ПИ определяем метриками эффективности, производительности и удовлетворенности. Метрики измерения удобства и простоты использования ПИ представлены в таблице 4.4.

Таблица 4.4 – Метрики измерения удобства и простоты использования ПИ

Параметр эффективности использования ПИ	Метрика измерения
Эффективность	Доля пользователей, которые успешно выполнили задачу скачивания аудиозаписи, относительно общего количества пользователей в группе (80%)
Производительность	Количество времени, затрачиваемое на выполнение задачи скачивания аудиозаписи пользователем (не более 60 секунд)
Удовлетворенность	Доля положительных ответов по формальной анкете об удобстве использовании ПИ. Количество положительных ответов должно превышать 70%.

Тестовый сценарий – это задание, которое пользователь получает от тестера. Такое задание позволяет «провести» пользователя через фрагмент интерфейса системы и определить характеристики этого фрагмента. Тестовый сценарий должен соответствовать пользовательским задачам. Примеры тестовых сценариев для Сайта 1 и Сайта 2 представлены в таблице 4.5 и 4.6.

Таблица 4.5 – Тестовый сценарий Сайта 1

Задача пользователя	Тестовый сценарий
Скачать аудиозапись с сайта 1	1. Найти аудиозапись Skrillex - Bangarang вручную, или с помощью функции «Поиск». 2. Поместить курсор на аудиозапись Skrillex - Bangarang и кликнуть левой клавишей мыши. 3. В поле «Скачать» выбрать формат mp3. 4. Через несколько секунд появится окно браузера Mozilla Firefox, где нужно нажать кнопку «Скачать».

Таблица 4.6 – Тестовый сценарий Сайта 2

Задача пользователя

Тестовый сценарий

Скачать аудиозапись с сайта 2

1. Найти аудиозапись Skrillex – Bangarang вручную, или с помощью функции «Поиск». 2. Поместить курсор на аудиозапись Skrillex - Bangarang и кликнуть левой клавишей мыши. 3. В поле «Скачать» выбрать формат mp3. 4. Еще раз нажать левой клавишей мыши на аудиозапись Skrillex – Bangarang, подтверждая, что мы хотим скачать именно ее. 5. Через несколько секунд появится окно браузера Mozilla Firefox, где нужно нажать кнопку «Скачать».

5 ПРОВЕДЕНИЕ СРАВНИТЕЛЬНОГО USABELITY – ТЕСТИРОВАНИЯ ДВУХ САЙТОВ

В соответствии с описанной методикой проводим сравнительное тестирование эффективности, производительности и удовлетворенности использования ПИ двух сайтов. Результат тестирования эффективности и производительности ПИ представлены в виде таблицы 5.1 и 5.2

Таблица 5.1 - Эффективность выполнения задачи (в баллах, где 1- задание выполнено, 0 – задание не выполнено), в скобках приведены результаты для второго сайта.

Тестовое задание	Респонденты	Среднее
	1 (1)	1 (1)	1 (1)	1 (0)	1 (0)	1,0 (0,6)
	1 (0)	0 (1)	1 (1)	1 (1)	1 (1)	0,8 (0,8)
	1 (1)	1 (1)	1 (0)	1 (1)	1 (1)	1,0 (0,8)
	1 (0)	0 (1)	1 (1)	1 (1)	1 (0)	0,8 (0,6)
	0 (1)	1 (0)	1 (1)	1 (1)	1 (1)	0,8 (0,8)
Весь сценарий (%)	80 (60)	60 (80)	100 (80)	100 (80)	100(60)	88 (72)

Данные из таблицы 5.1 показывают, что средняя эффективность ПИ Сайта 1 (88%) выше заданного критерия на 8% (80%).Таким образом, Сайт 1 удовлетворяет заданному критерию эффективности. Так же из таблицы 5.1 видно, что средняя эффективность ПИ сайта 2 (72%) ниже заданного критерия на 8% (80%).Таким образом, Сайт 2 не удовлетворяет заданному критерию эффективности и нуждается в доработке.

Таблица 5.2 – Производительность выполнения задачи (сек), в скобках приведены результаты для второго сайта.

Пользователи №	Эффективность (% выполнения)	Время выполнения задачи (сек)	Количество ошибок
	80 (60)	55 (71)	0(2)
	60 (80)	70(55)	2(1)
	100 (80)	47(52)	0(0)
	100 (80)	49 (61)	0(1)
	100(60)	54(73)	1(2)
Ср. арифм.	88 (72)	55 (62,4)	0,6 (1,2)
Мин.	60 (60)	47 (52)	0 (0)
Мах.	100 (80)	70 (73)	2(2)

Данные из таблицы 5.2 показывают, что средняя производительность ПИ Сайта 1 (55 секунд) выше заданного критерия на 5 секунд (60 секунд).Таким образом, Сайт 1 удовлетворяет заданному критерию производительности. Так же из таблицы 5.2 видно, что средняя производительность ПИ Сайта 2 (62,4 секунды) выше заданного критерия на 2,4 секунды (60 секунд). Таким образом, Сайт 2 не удовлетворяет заданному критерию производительности и нуждается в доработке.

6 АНАЛИЗ РЕЗУЛЬТАТОВ USABELITY – ТЕСТИРОВАНИЯ ПИ

Рисунок 6.1 – Оценка параметра удовлетворенности ПИ сайта 1

Рисунок 6.2 – Оценка параметра удовлетворенности ПИ сайта 2

В ходе ответа на формальную анкету удовлетворенности ПИ видно что Сайт 1 (77,64%) более удовлетворяет требованиям ПИ по критериям (Архитектура и навигация, Планировка и дизайн, Формы и взаимодействие, Цвета, Оформление текста, Платформа и особенности реализации), а не удовлетворяет по критериям (Содержание, Графика, Устойчивость к ошибкам) а в среднем расчотный параметр удовлетворенность(77,64%) Сайта 1 выше планируемого (70%). В свою очередь Сайт 2 (63,10%) более удовлетворяет требованиям ПИ по критериям (Графика, Цвета, Платформа и особенности реализации), а не удовлетворяет по критериям (Архитектура и навигация, Планировка и дизайн, Содержание, Оформление текста, Устойчивость к ошибкам) а в среднем расчотный параметр удовлетворенность (63,10%) Сайта 2 ниже планируемого (70%) и нуждается в доработке.

Дата добавления: 2014-12-27