Знакома ли вам следующая ситуация? Проектирование и разработка прототипа заняли слишком много времени и вам необходимо выпустить релиз в течении трех недель, но вы подозреваете, что в дизайне могут быть изъяны. Вы пытаетесь включить юзабилити-тестирование в процесс разработки Agile или просто ускорить процесс, чтобы он стал быстрее и дешевле.

Проведение юзабилити-тестирования в сжатые сроки является достаточно трудной задачей, особенно в ситуациях с дополнительными сложностями, такими как изучение нового приложения. Для достижения успеха в этих проектах мы разработали метод быстрооборачиваемого юзабилити-тестирования (Quick Turnaround Usability Testing, QTUT), суть которого в минимизации времени, затрачиваемого на проведение тестирования.

Настоящая статья представляет собой первую часть работы, в которой я расскажу как наиболее эффективно и быстро выполнить первые три шага QTUT- процесса - запуск проекта, набор кадров и подготовку. Два последних шага - тестирование и проведение анализа и отчета - мы обсудим в следующей части работы.

Шаги в QTUT-процессе:

• Шаг 1 - запуск проекта;
• Шаг 2 - набор кадров;
• Шаг 3 - подготовка;
• Шаг 4 - тестирование;
• Шаг 5 - анализ и отчет.

Запуск проекта

Новый клиент или группа сотрудников, работающая в вашей компании, обращаются к вам по поводу проведения юзабилити-тестирования. Им нужны результаты уже на следующей неделе, а это значит, что у вас в запасе только шесть рабочих дней, включая сегодняшний. Что вам нужно делать?

Перед началом работы над проектом мы советуем провести несколько встреч с клиентом, чтобы определить главные цели и крайние сроки выполнения договора. Однако, для QTUT-процесса, каждый лишний день, затрачиваемый на запуск проекта, приводит к потере драгоценного времени, необходимого для проведения тестирования и анализа. Чтобы помочь нашей группе продаж провести первые встречи наиболее эффективно, мы подготовили небольшое руководство, в общих чертах описывающее, что можно и чего нельзя делать в QTUT- процессе.

Самое важное правило — это установление сроков выполнения тестирования сразу же после обсуждения хода действий с клиентом. Опытный тестер, исходя из крайнего срока, методом отсчета назад определяет сроки тестирования, отбора кадров и подведения итогов.

Рассмотрение ожиданий клиентов также обладает немаловажным значением. Все клиенты стремятся получить качественный результат, но, учитывая сжатые сроки, невозможно подготовить идеальный документ. Для того, чтобы ускорить процесс, клиент должен пойти нам навстречу и выделить наиболее приоритетные из своих требований.

Мы стараемся приступить к выполнению работы немедленно, сразу же после первых совещаний, используя часть времени запуска проекта в качестве рабочего сеанса. Во время данного сеанса, мы занимаемся разработкой конкретных целей, исследуем какого рода результаты будут нам наиболее полезны, развиваем первичный список тестируемых задач, а также изучаем типы пользователей, требуемых для проведения тестирования приложения. Мы также составляем перечень информации, требуемой от клиента, который может включать следующее:

• Информация об участниках тестирования, необходимая как для отбора испытуемых, так и для составления сценария тестирования. Например, регулярно ли люди используют тестируемое приложение или же только время от времени?
• Учебные материалы по приложению и присутствие эксперта по данной тематике, который поможет ответить на вопросы.
• Вводная информация, отзывы, или материалы предыдущего тестирования, в контексте которых разрабатывался бы нынешний дизайн или можно было бы написать отборочные анкеты и сценарии тестирования.
• Доступ к стабильному приложению, что особенно важно, если оно еще находится на стадии разработки.

Советы по запуску проекта:

• Создайте для своей группы небольшое вспомогательное руководство «Что можно и чего нельзя».
• Избегайте клиентов, придерживающихся твердой позиции, предпочитающих не участвовать в процессе, или же, требующих объемных отчетов.
• Используйте время запуска проекта в качестве рабочей сессии для исследования возможного состава участников и потенциальных задач.
• Для быстрого изучения приложения, необходимо присутствие эксперта, обладающего широкими знаниями в предметной области.
• Основательно продумывайте стратегию проведения тестирования, прежде чем применять ее на практике.

Набор кадров

До начала работы над проектом вы узнали от своих лучших агентств по найму смогут ли они вам помочь в требуемые сроки. В ходе стартового совещания вы получили необходимую информацию об участниках проекта, и теперь вам просто нужно написать отборочные анкеты за два часа!

Набор участников, удовлетворяющих требованиям проведения юзабилити-тестирования, является важной и сложной задачей, ключевыми моментами которой являются написание отборочной анкеты и отбор участников. Что из себя представляет отборочная анкета? Это некоторый перечень вопросов, помогающий отсеять участников, не подходящих для вашего исследования. Отбор включает в себя приглашение потенциальных участников, собеседование с ними по вопросам анкеты, и, наконец, составление списка прошедших конкурс.

Очень полезно получить как можно больше информации о требованиях, предъявляемых к участникам, в ходе первой встречи с клиенто, чтобы сразу приступить к составлению отборочной анкеты, поскольку на сам процесс отбора уходит достаточно много времени.

Усилия, прикладываемые к отбору претендентов, зависят как от прежнего опыта работы с подобными участниками, так и от того, проводите ли вы отбор собственными силами компании или же обращаетесь за помощью к сторонним фирмам. Если вам уже доводилось работать с такими участниками раньше, то вы можете снова использовать те же самые отборочные анкеты почти дословно. Для облегчения отбора новых видов участников, мы построили список стандартных вопросов так, чтобы в крайнем случае в него понадобилось бы добавить всего несколько новых вопросов. Кроме того, используемый нами образец анкеты включает в себя информацию о порядке прохождения процедуры тестирования, наши координаты и контактные телефоны; координатору потребуется только внести в анкеты отборочные вопросы, специфичные для конкретного тестирования.

Услугами сторонних фирм мы пользуемся, как правило, для уменьшения загруженности координатора, что особенно полезно при QTUT-процессе. Я очень рекомендую вам связываться с внешними агентствами по найму до того, как решите подписать договор на проведение исследования, чтобы быть точно уверенным, что они найдут нужных людей в срок. Если хотя бы одно из агентств не может вписаться в поставленные сроки, не задумываясь, обращайтесь за помощью к клиенту до подписания договора на исследование.

Если в вашей компании проводится свое собственный отбор участников и уже есть предварительный список участников тестирования, то создавать новые анкеты необязательно. Однако, в зависимости от сроков работ и от ваших коммуникативных навыков, может быть разумным поручить обзвон участников вашему коллеге.

Вам может понравиться идея распланировать сеансы тестирования достаточно близко друг к другу по времени, чтобы больше успевать за день. Однако, мы считаем, что работа будет продвигаться куда более эффективнее, если между сеансами оставлять достаточные промежутки времени, в ходе которых вы сможете опросить участников по выполнению заданий и приступить к анализу полученных сведений (об этом речь пойдет во второй части статьи). Также вам может потребоваться время для внесения поправок в сценарий тестирования перед началом следующего сеанса.

Советы по набору кадров:

• Приступайте к набору участников как можно скорее.
• Создайте начальный образец отборочной анкеты и по мере необходимости добавляйте к нему требуемые вопросы.
• Используйте повторно вопросы из предыдущих отборочных анкет.
• Если вы сами занимаетесь набором участников, то попросите сослуживца помочь со звонками.
• Учтите, что затраты значительно возрастают, если вы прибегаете к помощи сторонних рекрутских фирм.
• Старайтесь тщательнее проводить отбор участников, но избегайте чрезмерно узконаправленных вопросов в анкетах.
• Всегда планируйте запасных участников тестирования («временных работников») для случаев, когда один или несколько человек не придут по каким-либо причинам.
• Предоставляйте участникам свободное время во время тестирования для подведения итогов и изменения задач по мере необходимости.

Подготовка

Дело двинулось! Вы приступили к работе. Вы достаточно хорошо ознакомлены с приложениями такого плана, но для достижения хороших результатов требуется изучить нюансы этого приложения более подробно. Кроме того, вам предстоит написать задачи и вопросы для сценария тестирования и прояснить все вопросы с клиентом.

Теперь, когда вопрос отбора кадров решен, вы можете переключить свое внимание на изучение приложения и написание сценария тестирования.

В нашем руководстве по реализации есть очень важное указание. Оно предостерегает от установления сжатых сроков при тестировании приложений, которые либо относятся к незнакомым вам областям, либо требуют углубленного рассмотрения. Даже если вы последовали нашей рекомендации, вам, возможно, все же придется изучать конкретные аспекты приложения.

Это может прозвучать банально, но если вы не имеете прямого доступа к приложению, то и в полной мере изучить его вы не сможете. Часто клиенты, которые обращаются к нам, все еще находятся на стадии доработки своего приложения, так что, для начала, убедитесь, что вы вовремя получите доступ к стабильной версии.

После изучения приложения и написания задач и вопросов для QTUT-процесса, вы можете смело приступить к самому исследованию. В этом деле мы, в основном, полагаемся на заинтересованных клиентов, поскольку они помогают расположить по приоритетам потребности тестирования и идентифицировать ключевые задачи. Используя QTUT-процесс, большинство клиентов стремятся как можно быстрее выпустить релиз, и поэтому их, в большей степени, интересует обнаружение легкорешаемых проблем, чем получение статистических данных или качественной ответной реакции от пользователей. В результате, наши усилия, по большей части, сводятся к созданию задач, чем к написанию большего количества вопросов. Вы должны решить с клиентом, что вы действительно хотите и можете получить в кратчайшие сроки. Например, если на определение относительного количества ошибок у вас затрачивается два часа, то исключите мониторинг ошибок из плана тестирования.

Мы стараемся проводить предварительные тесты как можно быстрее — это помогает нам более быстрыми темпами двигаться в разработке и улучшении сценария. И даже если вы уже работаете со своими первыми пользователями, ваш сценарий тестирования пока не безупречен, и по ходу рабочих сеансов придется вносить незначительные изменения в задачи и вопросы.

Советы по подготовке:

• Избегайте сбора данных, обобщение и анализ которых занимает уйму времени.
• Используйте открытые вопросы, такие, как "Расскажите мне о том, что вы делали вчера на работе", и оставляйте время для обсуждения с участниками, с целью узнать о них больше информации в ходе сеанса.
• Для задач, которые требуют дополнительную информацию об участниках, используйте серии вопросов.
• Если нужно, используйте шкалы в стиле Лайкерта для получения данных, и меньше полагайтесь на итоговые статистичекие данных (поскольку ваши задачи могут часто изменяться).

В следующий раз : Часть II

Во второй части работы, мы расскажем, как спланировать сеансы тестирования, и опишем новый оригинальный подход к анализу и представлению результатов.

См. также:

• Быстрооборачиваемое юзабилити-тестирование: часть II