Быстрооборачиваемое юзабилити-тестирование: часть II

В первой части статьи я рассказал как наиболее эффективно и быстро выполнить первые три шага метода быстрооборачиваемое юзабилити-тестирования (Quick Turnaround Usability Testing , QTUT) — запуск проекта, набор кадров и подготовку. Здесь, во второй части, речь пойдет о двух заключительных шагах QTUT-процесса: тестировании и проведении заключительного анализа.

Шаги в QTUT-процессе:

• Шаг 1 - запуск проекта;
• Шаг 2 - набор кадров;
• Шаг 3 - подготовка;
• Шаг 4 - тестирование;
• Шаг 5 - анализ и отчет.

Тестирование

И вот настал долгожданный день тестирования! Первый день завершился успешным набором нужного количества участников, но вы испытываете легкое замешательство, поскольку доделываете последние штрихи перед прибытием первого участника. Намечен примерный, но достаточно основательный план проведения сценария тестирования. В комнате для наблюдений вас уже поджидают пять представителей клиента, готовых в любую минуту приступить к внимательному конспектированию получаемых сведений. Теперь самое главное провести тестирование и по ходу его выполнения собирать результаты.

До самого начала проведения этапа тестирования вы находитесь в состоянии легкого ажиотажа, связанного с нехваткой времени для окончательного планирования и совершенствования вашего плана действий. В частности нам порой приходится дорабатывать сценарий в самый последний момент, принимая во внимание изменения, вносимые представителями клиента при их прибытии в наш центр исследований в день тестирования.

Ранним утром, в день начала проведения тестирования, я распечатываю скриншоты каждой важной страницы и компоненты (например, основной навигации), пронумеровываю их и записываю на большой белой доске, которая висит в нашей "комнате для размышлений", смежной с лабораторной комнатой наблюдения юзабилити-тестирования. Мы используем доску для записи обнаруживаемых затруднений и итоговых показателей по каждому участнику.

По завершению сеанса с каждым участником сразу же записывайте на доске изменения, которые вам потребуется внести в сценарии тестирования. Также уже можно приступить к обсуждению полученных результатов с представителями клиента. В данном случае, предусмотренные вами перерывы между сеансами для обсуждения результатов вполне уместны и окупаются сполна. Если представители клиента внимательно наблюдали и делали заметки по ходу всего сеанса тестирования, то вероятнее всего, что сразу же по его окончанию они приступят к обсуждению полученных данных. Вполне возможно, что при этом они укажут и на потенциальные решения возникших проблем.

Используйте доску для того, чтобы заострить внимание на возникающих затруднениях. Часто бывает полезным установить общие правила по проведению обсуждения хода работы. Во-первых, суть обсуждения должна сводиться к полученным результатам, а не к желаемым решениям. Очень важно сразу же прийти к взаимопониманию с представителями вашего клиента. Лучше всего попросить их быть более сдержанными и подождать, когда результаты тестирования будут окончательно обыграны несколькими участниками, прежде чем делать поспешные выводы. Во-вторых, как ответственное лицо, вы должны проводить обсуждение по каждому пункту тестирования, резюмируя записи, слделанные на доске. В данном случае, в ходе выяснения окончательного решения по исследуемому вопросу, мы интересуемся личным мнением представителей нашего клиента и только затем переходим к следующему вопросу. Иногда им приходится напоминать, что в связи с ограниченным временем между сеансами участников, мы не можем подробно останавливаться на изучении какого-либо конкретного установленного факта.

Вы возмножно думаете, что по ходу проведения тестирования представителям клиента будет недего добавить в качестве ценной информации, но, как показал опыт, чаще всего благодаря своим знаниям предыстории приложения они видят более верное решение поставленного вопроса. Например, один клиент правильно предложил изменить текст на кнопке. Поскольку участники проекта сразу поняли смысл новой надписи кнопки, мы не посчитали нужным занести это изменение в список результатов тестирования. Но для представителей клиента это оказалось важным, чтобы изменение было отражено в отчете.

После сеанса с первым же участником вы, вероятно, осознаете, что некоторые из ваших поставленных задач и вопросов были не совсем правильно сформулированы. При работе с доской вы можете придумать дополнительные вопросы для участников проекта и даже позволить себе добавлять, удалять или изменять поставленные задачи. Не полагайтесь только на свою память. Вместо этого, внесите изменения в сценарий и распечатайте новую копию вопросов и задач для следующего участника.

Под конец первого дня проведения тестирования доска будет исписана полученными сведениями, включая результаты выполнения некоторых задач. Если за день вы успеете протестировать пять участников, то общие тенденции начнут для вас проясняться уже к концу первого для. Вы можете позволить себе прервать работу, поскольку вам становятся очевидны решения обнаруженных ранее спорных вопросов, которые сейчас позволят протестировать другие задачи, подход к которым не был сразу найден. Не откладывайте на следующий день, вынесите найденные решения проблем на рассмотрение в конце рабочего дня, чтобы тут же внести в сценарий необходимые исправления.

Если представители клиента уже приступили к обсуждению потенциальных решений проблем, в то время как вы заняты ходом тестирования, то для вас важно как можно скорее присоединиться к ним. В своем рвении наладить положение дел они подчас перегибают палку и "разрешают" ситуацию путем создания куда большей проблемы.

Если вы работаете в динамичной компании, в которой разработчики продолжают работать до глубокого вечера, представители клиента могут возгореться желанием изменить ситуацию тем же вечером. Учитывая возможность нанести урон всему процессу тестирования, вы должны быть очень осторожны, даже предпринимая реализацию самых простых решений проблем. Нежелательно пересматривать весь ход работы или радикально изменять выполняемую задачу на ночь глядя. Однако вы можете позволить себе такие несущественные изменения, как корректировка поведения кнопки или текста надписи.

По ходу проведения сеансов доска может оказаться полностью заполненной. Обычно это решается простым уплотнением записей на доске. Мы используем стикеры для каждого выявленного спорного вопроса и затем начинаем надписывать на записке номера тех участников, которые попадали в то же затруднение (см. рис. 1). По ходу тестирования мы фотографируем доску, постепенно удаляем не относящиеся к делу вопросы и проводим итоги по задачам, тестирование которых мы прекратили.

Рис. 1. Доска, исписанная установленными фактами после двухдневного проведения тестирования. Стикеры отмечают повторно рассматриваемые проблемы.

Если до окончания исследования осталось всего несколько сеансов, советуем вам увеличить детальность потенциальных рекомендаций клиенту. Если возможно, проверьте свои соображения на участниках. Решите для себя, какие рекомендации для вашего клиента выгодны в краткосрочной перспективе, а какие требуют долгосрочного планирования.

Советы по тестированию:

• Проводите тестирования настолько просто, насколько это возможно. Для QTUT-процесса избегайте таких технологий, как отслеживание движений глаз (eye-tracking), поскольку это приводит к усложнению и запутыванию работы.
• С целью изменения задач и вопросов модифицируйте сценарий тестирования и не полагайтесь при этом на свою память.
• Стремитесь к изменению вопросов и задач. Чем раньше будут исправлены недостатки сценария, тем лучше.
• Напоминайте представителям клиента, что из-за ограниченности во времени, ваш сценарий не безупречен, и поэтому придется налету изменять задачи и вопросы для первой пары участников.
• Держите доску в комнате наблюдения и используйте ее после каждого сеанса для записи и обсуждения проблем с представителями клиента.
• В конце дня резюмируйте полученные результаты и обсуждайте потенциальные рекомендации. Рассмотрите возможность создание списка самых важных установленных фактов за рабочий день.
• Будьте готовы к долгим и тяжелым рабочим будням.
• Не растрачивайте свои усилия впустую, приступая к формулировке результатов до окончания тестирования всех участников; начните описывать результаты только когда завершите тестирование данной задачи или вопроса.

Анализ и отчет

Вы проделали огромную работу в течение двух дней тестирования. Представители клиента разъехались по своим делам, и теперь вашей главной задачей является подготовка отчета по проделанной работе, в котором необходимо четко изложить обнаруженные затруднения и рекомендуемые вашей компанией решения проблем.

Достоинство использования доски заключается в том, что весь отчет — это и есть конспект всего, написанного вами ранее на доске, включая итоговые результаты участников, установленные факты и рекомендации, которые исследовались ведущими представителями клиента.

Несмотря на то, что те представители клиента, которые посещали сеансы, могут разобраться с выявленными затруднениями, вам все же необходимо преобразовать полученные данные со стенографического представления на доске к формату, удобному для восприятия более широкой аудиторией. Чаще всего, в таких случаях мы подготавливаем выступление в виде презентации, что намного эффективнее и быстрее по сравнению с написанием объемного письменного отчета.

Поскольку для представителей клиента время играет большое значение, мы классифицируем рекомендации в плане решения проблем на краткосрочные и долгосрочные. Краткосрочные решения могут быть выполнены за несколько дней или до релиза данного приложения. Долгосрочные решения требуют большего времени, чем на данный момент располагает клиент, но они достаточно серьезны для того, чтобы к ним прибегнуть.

Проведение QTUT-процесса подходит к концу, когда мы предоставляем окончательные результаты представителям клиента, к которым часто присоединяются другие заинтересованные лица от клиента, не присутствовавшие на сеансах тестирования. Я лично излагаю полученные выводы, чтобы представители клиента чувствовали себя более комфортно и по ходу заседания могли задать вопросы.

Советы по анализу и отчету:

• Представляйте отчет в виде презентации, не требующей длинных текстов.
• Если вы излагаете результаты представителям клиента, непосредственно не присутствовавшим на самих сеансах тестирования, то подробно разъясняйте установленные факты.
• Если вы изменяете рекомендации, предварительно обсужденные с представителями клиента, сообщите им заранее, чтобы они не чувствовали себя обманутыми.
• Классифицируйте рекомендации с точки зрения ожидаемого срока решения проблем.
• По ходу выполнения тестирования фотографируйте доску с результатами, чтобы быстро и благополучно сохранять все записи и иметь возможность писать отчёт в другом месте.

См. также:

• Быстрооборачиваемое юзабилити-тестирование: часть I