Данный пост — перевод пятнадцатой статьи из курса лекций «Принципы гейм-дизайна» за авторством профессионала и преподавателя Яна Шрайбера. Переводы предыдущих лекций вы можете посмотреть по ссылке.
Если при тестированиине присутствуете вы или кто-то другой из дизайнеров игры, это называется тестированием вслепую. Об этом мы и будем сегодня говорить.
Чтение
На сегодня никакого чтения. Как и раньше, если вам встречались какие-либо тексты по теме, публикуйте их в комментариях к этому посту или в Твиттере с тэгом #GDCU.
Трудности тестирования вслепую
Как вы, наверное, догадались, есть ряд особенностей, которые возникают при тестировании вслепую по сравнению с тестированием, которое вы проводите лично:
— Любая сложность, с которой сталкиваются игроки, останавливает их и не даёт закончить игру.
— Самое, пожалуй, худшее: игроки могут неправильно понять правила и всё равно сыграть. Если они не понимают, что играли «неправильно», это может сильно исказить результаты теста, а тестеры даже не поймут, что дают неверную информацию.
— Отзывы могут сильно разниться; как вы уже, несомненно, успели заметить, некоторые тестовые группы лучше других. Разница усугубляется ещё и тем, что вы при тестировании не присутствуете, и не можете задавать наводящие вопросы.
— Вы не можете наблюдать в реальном времени. Вся информация, которая поступает от группы даётся вам ретроспективно. Достоверность этой информации гораздо ниже, чем той, что вы собираете, наблюдая непосредственно.
— На организацию тестирования вслепую уходит чуть больше времени. Вы не можете просто принести свой прототип к другу домой и сразу же сыграть. Вы должны вручить копию своей игры тестерам, а затем вы должны уйти. После этого вы должны подождать: пока тестеры сыграют, сколько бы времени это у них ни заняло, а затем, наконец, вернутся к вам со своими отзывами – всё это гораздо дольше, чем личное тестирование, которое можно провести за пару часов, или даже меньше.
Таким образом, слепое тестирование даёт очень мало информации, а также занимает много времени.
Зачем тестировать вслепую?
Если слепой тест накладывает такие ограничения, зачем вообще с ним возиться? Какой от него толк?
Это метод, позаимствованный из науки. Некоторое время назад, исследователи заметили, что результаты эксперимента отличались, если в помещении, где он проводился, присутствовал сам исследователь. Иногда подопытные говорили то, что, по их мнению, хотел услышать испытатель, а не то, что они на самом деле думали. Иногда испытатели подавали незаметные, невербальные сигналы, которых ни сами испытатели, ни испытуемые не замечали, но которые, тем не менее, влияли на результаты теста. Например, в эксперименте на дегустацию двух популярных безалкогольных напитков, если испытатели знали, какой из напитков какой, и хотели, чтобы испытуемые выбрали какой-то определённый, они могли обнаружить, что все подопытные выбирают «правильно»… но только потому, что сами исследователи (невольно) подсказывали им, что выбрать!
Выходом из ситуации может быть, так называемый, «обоюдно слепой тест», где ни исследователи, ни подопытные не знают «правильного» ответа. Это исключает множество случайных погрешностей, делая результаты эксперимента более адекватными.
Плейтесты во многом похожи на научные эксперименты. В обоих случаях есть гипотеза («Я полагаю, что игра интересна»), организуется эксперимент (создается прототип), проводится эксперимент (тестирование), анализируются результаты. Целью и того, и другого является получение информации о внутренних закономерностях системы, которую мы изучаем.
Тестирование вслепую – единственный способ узнать, какова ваша игра в «в полевых условиях» — то есть, как будут реагировать люди, купившие игру в магазине и севшие за неё впервые, без дизайнера, который может ответить на все вопросы.
Когда тестировать вслепую?
Так как от этого вида тестирования вы получаете минимум информации, он не подходит для ранних стадий, когда ваша игра ещё находится в черновом виде (тестеры, вероятно, столкнутся с проблемами, не смогут играть дальше, и вам придётся потратить очень много времени, ожидая, пока они справятся сами со всем тем, что вы могли бы объяснить им лично гораздо быстрее). Тестирование вслепую гораздо уместнее ближе к концу разработки, когда вы уже более или менее уверены в своей игре.
Цель слепого теста состоит в выявлении неочевидных проблем, которые не получается обнаружить в ходе обычного тестирования, потому что присутствуя лично вы можете невольно повлиять на результаты, просто потому что вы рядом и можете ответить на вопросы. Даже если ваши тестеры так ни разу и не зададут вам вопрос, само сознание того, что они могут это сделать, придаёт им уверенности, успокаивает и помогает разобраться в правилах, вместо того, чтобы запутаться и всё бросить. Или, например, представляя игру тестерам («это игра-аукцион»), вы можете выдать важную информацию, которой нет в правилах, но которая многое проясняет по умолчанию, давая вашим тестерам некую отправную точку. Не присутствуя при тестировании, вы проверите точность ваших предыдущих тестеров, а кроме того, можете обнаружить некоторые неожиданные ошибки, которых вы раньше не замечали.
С кем тестировать вслепую?
Большинство настольных игр рассчитано на нескольких игроков. По практическим соображениям большинство тестирований, осуществляемых профессиональными геймерами, проводятся в постоянных группах. У некоторых компаний есть список таких добровольческих групп, и когда нужны плейтестеры – обращаются к этому списку; после они высылают предварительные копии своей игры в обмен на отзывы. Нам это не подходит, потому что большинство из нас не работает в таких больших компаниях и не имеет доступа к базе добровольцев, которым можно позвонить в любой момент.
В идеале, ваше тестирование вслепую должно проводиться на представителях целевой аудитории игры. Если ваша игра для детей, то и тестеры должны быть детьми соответствующего возраста (плюс, возможно, их родители). Если ваша игра создаётся для страстных поклонников игр европейского стиля, постарайтесь найти группу людей, которые регулярно играют в такие игры. И так далее.
Есть несколько способов найти тестеров для вашего проекта:
— Ваши знакомые: друзья, семья, коллеги. Это могут быть как люди, живущие рядом с вами, так и люди из другого города или даже страны. Так как вам не обязательно присутствовать, на этот раз расстояние – не помеха.
— Другие студенты этого курса. Если у вас уже есть тестовая группа, с которой вы работали раньше, мы можете попросить о помощи через Твиттер или форумы. Предложите баш на баш: вы протестируете чью-то игру, а они взамен протестируют вашу.
— Как последнее средство, вы можете поискать за пределами нашего курса, на других форумах и онлайн-ресурсах для дизайнеров и/или тестеров настольных игр, и посмотреть, можно ли там набрать добровольцев для теста вслепую.
Как тестировать вслепую?
С тестами, на которых вы присутствуете, вы можете позволить себе быть чуточку небрежными. Вы можете случайно оставить какие-то детали игры дома, или не совсем чётко сформулировать правила, так что их надо будет отдельно прояснять. Не всё проходит гладко, но игровая сессия, пусть и сталкиваясь с проблемами, всё же может быть спасена, если вы рядом. При тестировании вслепую вы не можете себе позволить такой роскоши, поэтому должны быть предельно внимательны и лишний раз проверить, у всех ли ваших тестеров есть всё необходимое для полноценного плейтеста. А именно:
— Полный набор игровых компонентов. Проверьте лишний раз, а потом ещё раз убедитесь, что у вас есть всё, что потребуется игрокам, вместе, в одном пакете.
— Список всего, что в должно лежать в этом пакете, чтобы тестеры могли проверить сами, не упущено ли что-нибудь (и если всё-таки упущено, они, по крайней мере, будут иметь представление о том, что и как им следует заменить).
— Полный свод правил, описывающий как надо играть (список компонентов может входить в текст правил).
— Отдельные инструкции о том, как проводить тестирование вслепую. Есть ли у вас какие-то конкретные просьбы и пожелания к тестерам? Вы просто хотите узнать, смогут ли они сыграть в игру от начала до конца? Или узнать, кажется ли им игра интересной? Или вы хотите, чтобы они нашли лазейки в правилах (эксплойты) и нестыковки баланса?
— И наконец, инструкции касательно того, что необходимо сделать по завершении тестирования. Как тестерам следует связаться с вами (по телефону, по электронной почте и т.д.)? Что они должны сообщить? Если вы не дадите им список вопросов, на которые им нужно будет ответить, они просто скажут вам первое, что придёт им в голову, делая результаты теста гораздо более расплывчатыми. Подумайте на тем, какая информация будет для вас наиболее полезной, какие именно отзывы вам важно получить… и спросите прямо!
Как передать пакет вашим тестерам? Если они живут рядом с вами – вы просто отдаёте им прототип непосредственно в руки. Если же они находятся за пределами досягаемости, это может доставить дополнительные хлопоты. Здесь есть варианты.
Во-первых, вы можете просто переслать ваш прототип по почте. В зависимости от того, где находятся ваши тестеры, такое решение может сильно замедлить весь процесс (не говоря уже об увеличении затрат), так что учитывайте это при планировании. Если вы хотите получит назад свой прототип, вы можете вложить в посылку возвратный конверт (со своим адресом и оплаченными марками).
Во-вторых, вы можете справиться со всем по электронной почте. Прикрепите документы, которые можно распечатать и собрать в рабочий прототип, приложите к ним инструкцию с указаниями, как и что распечатывать. Сделайте всё от вас зависящее, чтобы вашим тестерам не приходилось делать лишней работы. В конце концов, они и так уделяют вам своё время(которое пойдёт на тестирование), если вы попросите их потратить ещё пару часов на распечатку и нарезание карточек – вы совсем уж злоупотребите их добротой. По этой же причине старайтесь устроить так, чтобы материалы, которые тестерам надо достать самим, были легко доступны и недороги. Например, не настаивайте на том, чтобы компоненты распечатывались на плотном картоне (за ним придётся идти в специализированный магазин), возможно, будет достаточно простой бумаги.
Резервное планирование
На этом этапе игровые компании обычно полагаются не на одну тестовую группу, а на несколько. Помимо той очевидной причины, что больше тестов дают больше информации, есть и другая – группы тестеров могут быть ненадёжными. Без вашего присутствия, они могут очень долго собираться сыграть, а потом ещё дольше собираться дать вам свой отзыв. Некоторые группы могут растерять компоненты игры или вообще забыть о своих обязательствах, или они могут быть так заняты другими делами, что им будет просто не до вашей игры. А может, вы отправите игру по почте, а она потеряется в дороге. Так что при организации тестирования вслепую для этого курса, вы можете оказаться в неприятной ситуации, когда вы волнуетесь и ждёте результатов теста, а их просто нет… или они приходят, но с большим отставанием от графика, который вы себе наметили.
Есть три способа справиться с этой бедой. Выбирайте любой, который вам больше подходит.
- Вы можете организовать несколько тестовых групп. Как показывает опыт, три – вполне надёжное количество. Если одна или даже две группы подведут, у вас всё равно будут, хоть какие-то результаты. (Помните, если вы организуете «тест по обмену», то вам придётся взамен протестировать три чужих проекта, так что убедитесь, что у вас есть на это время).
- Вы можете выбрать тестером человека, которого вы считаете надёжным и которому доверяете. Если вы отправляете игру другу, который хорошо организован и всегда держит слово, вы можете быть уверены, что он свяжется с вами строго тогда, когда пообещал.
- Вы можете просто постучать по дереву и надеяться, что с вами ничего неприятного не произойдёт. Этот метод не рекомендуется для профессиональных проектов.
Домашняя забава
Вашей задачей в прошлый четверг была организация плейтеста с не-дизайнерами. Вы могли уже провести его, или только назначить проведение на первую половину недели, но не забывайте, что он должен быть завершён до этого четверга, 20 августа, полдень по Гринвичу.
Кроме того, вам следует найти группу для тестирования вслепую и запланировать игровую сессию так, чтобы она прошла после тестирования с не-дизайнерами. Если это возможно, устройте так, чтобы результаты слепого теста были у вас до четверга, 27 августа.
Обратная связь
Встречались ли вам классные статьи по тестированию вслепую? Если вы уже организовывали такое тестирование или сами были тестером, возможно у вас есть какие-то наблюдения или приёмы, которыми вы хотели бы поделиться? Публикуйте их в комментариях к этому блогу или в Твиттере с тэгом #GDCU.
Перевод — Ю. Сергеева.
1 Уведомление