В очередной раз ухитрились написать отчет по тестированию, в котором ни много ни мало 80 страниц. Нет, не так. ЦЕЛЫХ ВОСЕМЬДЕСЯТ СТРАНИЦ. Нет не так. В нем вот сколько страниц (обозначены диезами) : # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #. И на каждой что-то написано, а на многих и нарисовано. Предположив, что читатель потратит по минуте на каждую, получаем почти полтора часа чтения. Предположив 10 читателей отчета, получаем дофига.

Справедливости ради отмечу, что отчет о (а) сравнительном тестировании, (б) тестирование повторное. Оба этих фактора неизбежно увеличивают объем, но тем не менее. Отчет получился непомерной длины. Отмечу также, что решение первого уровня абстракции (сделать кегль и иллюстрации меньше) не проканает – да, страниц станет меньше, но, поскольку количество сведений в отчете останется неизменным, читать станет не быстрее.

Причина появления столь длинного отчета – стандарт ISO/IEC 25062:2006 «Common Industry Format (CIF) for usability test reports». Мы ему добровольно следуем (в такие дни, как сегодня, зачем-то добровольно следуем).

Стандарт, на самом деле, штука хорошая. Можно не думать, что именно надо написать, незачем бояться, что чего-то важное пропущено или тем более забыто. К сожалению, CIF фиксирует не только содержание отчета, но и порядок изложения. Например, описание условий эксперимента, согласно CIF, должно находиться почти в самом начале отчета. В результате невозможно сложить важное, т.е. выводы и результаты, в одно место (начало отчета), а все основания для этих выводов и служебную информацию – в другое (конец отчета). Реально значимые сведения перемешаны с маловажными, что серьезно затрудняет прочтение. Причём чем длиннее получившийся отчет, тем получается хуже, потому что одно только лишь листание на перекрестных ссылках становится как минимум утомительным.

В такой ситуации есть несколько возможных выходов:

• Вовсе плюнуть на CIF и сделать собственный шаблон. Минус – некошерно, пацаны будут смеяться.
• Оставить содержание из CIF, но сделать свой порядок изложения. Минус – кошерно, но пацаны всё равно будут смеяться, потому что получится не CIF (во всяком случае мы потеряем право говорить, что у нас CIF-совместимые отчеты).
• Делать два отчета на проект – один читабельный, другой стандартный. Минус – без соответствующих средств это очень долго и дорого (объем работы, уходящей на сам отчет, возрастет вдвое).

Теоретически, третий вариант таки может быть состоятелен. Например, в Adobe FrameMaker есть хорошо работающий функционал условного текста (conditional text), позволяющий в одном документе иметь несколько частично совпадающих версий одного и то же содержания. Но мы, к сожалению, вынуждены готовить отчеты в MS Word (заказчики требуют), а в нём ничего подобного нет.

Соответственно, спрашиваю широкие народные массы – как бы вы решили проблему чересчур длинных отчетов? Отказаться от CIF? Отказаться от упоминания CIF, но сохранить его суть? Или же воспользоваться трудным путём?

Рекрутинг респондентов для юзабилити-тестирований всегда был работой неприятной. Требовалось большое количество нетехнологичных действий – телефонные собеседования с респондентами, ведение базы контактов (со всеми ответами, которые респонденты давали в процессе телефонного собеседования) и т.п. Если учитывать, что набор критериев (вопросов для респондентов) для разных тестирований бывает разным, сам процесс превращался в непрерывное переконструирование и последующее слияние экселевских таблиц. Скуууууука.

Часть этой работы, а именно собственно задавание вопросов, можно было автоматизировать, благо сервисов анкетирования пруд пруди (например, Polldaddy или Surveygizmo). Но унылого игрища с Excel’em они не отменяли.

К счастью, благодаря Злой Империи Гугла ситуация поменялась. В Google Docs уже давно была электронная таблица, а недавно к ней приделали и редактор форм – причем этот редактор быстро эволюционирует. Крупные плюсы:

1. Анкета создается легко и быстро, не требуя специальных навыков в верстке или программировании.
2. В анкете поддерживаются разные форматы вопросов, как открытые, так и закрытые.
3. Полученные данные хранятся в сразу редактируемой таблице (с возможность экспорта).
4. Сама таблица является разделяемой (т.е. мало того, что легко поделиться результатами с коллегами, но можно одновременно править таблицу одновременно с другими пользователями; прощайте, разные версии и потерянные правки).
5. Ссылку на анкету легко послать по почте. Более того, анкету легко вставить в тело страницы на собственном сайте.
6. Бесплатно!

Около недели назад в редакторе форм появились многостраничные анкеты с условными операциями (к примеру, после указания потенциальным респондентом пола можно реализовать две разные ветки вопросов для мужчин и женщин). Это значит, что помимо простого скрининга, Google Docs теперь можно использовать и для анкетирования.

В качестве ложки дегтя можно отметить лишь непереводимые на русский язык управляющие кнопки, но это вполне себе терпимая проблема. Достоинства перевешивают.

Для наблюдения за происходящим на экране респондента мы традиционно используем программу Radmin. Несмотря на избыточную функциональность (позволяет не только наблюдать, но и управлять удаленным компьютером, что свойственно, впрочем, большинству сходных программ), он обладает высочайшей скоростью отображения на экране наблюдателя (задержка составляет десятые доли секунды, как в локальной сети, так и через интернет), а так же качественной картинкой. Приятным дополнением являются возможности корректного масштабирования картинки с монитора испытуемого и поддержка передачи звука. Короче – модуль дистанционного просмотра из Morae минус жуткие задержки и разрывы связи.

Eсть и проблемы. Настройка Radmin требует недюжинных навыков как от того, кто настраивает компьютер респондента, так и от наблюдателя. Хуже того, Radmin требует открытого порта. В частности, для наблюдения через интернеты со стороны наблюдателя этот порт необходимо открыть. Это пустяковое, казалось бы, требование разрастается до вселенских масштабов, если наблюдать предполагается из «хорошо защищенной корпоративной сети очень крупной компании» (уверен, что всякий, кто хоть раз пытался уговорить сетевого администратора открыть порт в компании, где трудятся больше 1000 человек, подтвердит этот тезис скупой слезой).

Но и сетевые администраторы в таких компаниях не зря едят свой хлеб. В частности, при столкновении с описанной проблемой нам предложили в качестве паллиатива открытию порта:

• маленькую!
• кросплатформенную!!
• не требующую никаких настроек!!!
• реально работающую!!!!
• бесплатную!!!!!

утилитку Showmypc. Да, конечно, отрисовка у наблюдателя медленнее чем у Radmin, качество картинки ниже, да и масштабирование победнее… Однако заставить её работать в обоих странах заняло минут 5, не больше. Короче, горячо рекомендую для запущенных случаев.

Недавно Дмитрий Сатин, Генеральный директор USABILITYLAB (это не я его так пишу, это он сам так крупно о себе пишет, вот пруфлинк) и Создатель первой и единственной полноценной юзабилити-лаборатории в России (это утверждение вообще за гранью бобра и козла; тот же источник, тот же пруфлинк), а так же Андрей Сикорский, Действующий член ряда международных ассоциаций (опять тот же источник и тот же пруфлинк; эту формулировку я даже комментировать не буду) – простите за долгое введение, не мог удержаться – провели вебинар Как организовать юзабилити-лабораторию. Сам я вебинара не смотрел, но осуждаю – потому что в презентации вебинара есть раздел, посвященный вопросу «нужно ли в юзабилити-лаборатории зеркало», в котором на 6 страниц за только одна против.

Вопрос уже года как три потерял всякую актуальность. Зеркало нафиг не нужно.

Конечно, ещё несколько лет назад зеркало было штукой неплохой. Видеть  респондента (а не просто экран с курсором) очень полезно для сотрудников заказчика. Видно, что живой человек, не клинический идиот, даже симпатичный – и не может прорваться через интерфейс. Зеркало учит жизни и смирению. Кроме того – понты (у нас всё как у взрослых!). Правда, за зеркало нужно было платить и платить немало:

1. Зеркало для респондента – мощнейший отвлекающий фактор, особенно для женщин.
2. Респонденты видели достаточно фильмов, в которых фигурировали зеркала в полицейских участках и прочих застенках кровавого режима – и сделали свои выводы.
3. В отделении для наблюдателей нужно сидеть в полутьме, иначе респондент будет видеть за стеклом страшные тени. Более того, если помещение (и само зеркало) недостаточно звукоизолировано, наблюдатели могут только шептаться (и уж тем более не могут резвиться с кофеваркой, без чего любая рабочая деятельность невозможна).
4. Разделенная на две части лаборатория – это помещение, необратимо испорченное для любой другой деятельности, часть площади которого почти всегда простаивает. Учитывая стоимость квадратных метров в центре города (лаборатории стоит быть как можно более доступной для респондентов, потому что среди них регулярно попадаются капризные), в год набегает не так уж мало – и оплачивают эти метры клиенты.
5. Методологически, наилучшее тестирование получается при проведении его у респондентов. Возить же зеркало по респондентам несколько затруднительно.

Отказаться от зеркал, впрочем, не получалось – замена зеркала видекамерами и мониторами была практически невозможна из-за высокой цены последних, несопоставимой с ценой зеркала и потерянных квадратных метров. Кроме того, качество видеокартинки было, ээээ, плачевным.

К счастью, прогресс не стоит на месте. Появились качественные и (сравнительно) дешевые IP-камеры высокого разрешения. Хотя набор из нескольких (чтобы покрыть всю лабораторию во всех значимых ракурсах) камер высокого уровня по-прежнему стоит дороже, чем зеркало, у новой технологии нет минусов зеркал. Вдобавок у камер есть собственные достоинства:

• Сессии тестирования можно смотреть через интернеты. Заказчику больше не обязательно выезжать из офиса!
• Наблюдение через зеркало требует регулярно переводить взгляд с монитора, показывающего интерфейс, на комнату с респондентом (-ми) и обратно. Это сбивает контекст. Теперь можно на наблюдательной станции поставить большой экран, на который влезают и картинки со всех камер и тестируемый интерфейс. Наблюдать за тестом стало гораздо менее утомительно. Вдобавок, наблюдательных станций может быть множество, так что необязательно тесниться у зеркала.

Так что теперь зеркало – атавизм. В старых лабораториях оно, скорее всего, останется (не выбрасывать же), но ставить его в новых совершенно нерационально.

PS. Не знаю зачем гг. Сатин и Сикорский ставят такую цену (155000 руб) за машинку для съемки телефона. Уже давно то же самое делается из пары карандашей и веб-камеры, щедро скрепленных синей изолентой. Вдобавок уже года как два существует дивно работающее сугубо программное решение, всего за 88 евро.

Как известно, беда не ходит одна. Это же верно и в отношении новых сайтов, со всеми полагающимися при этом заботами. Не успели мы вычистить все проблемы на этом сайте (пользясь случаем, благодарю всех, кто писал нам о наших многочисленных ошибках), как открыли новый, на этот раз – про исследования визуального внимания (eye tracking).

Особо рекомендую душераздирающую сцену из фильма Чарльза Спенсера Чаплина «Новые Времена» (IMDB) с наложенными маршрутами взгляда нескольких зрителей.

В 2008-м году дисциплина юзабилити-тестирования переживала бурный рост инвентаря. Появилось много нового софта, обновлялся старый. Но главный прогресс, похоже, остался широкой общественностью незамеченным. Продолжение…