Статья написана мной в 2006, и на все 100% актуальна через 6 лет. Начинаю с ее возрождения цикл материалов по плейтестам.

Я помню свой первый плейтест "Проклятых Земель" в далеком 2000 году. Таинственные луга и кишащие кабанчиками леса Гипата лежали пред моим тщедушным героем и мускулистым напарником Забиякой. Но Забияка умер от критического плевка первой же встречной жабы. Алексей Свиридов (светлая ему память), который был моим наблюдающим на этом тесте, прыснул со смеху и дальше пристально наблюдал, как я полтора часа мучался, пытаясь в одиночку пройти первый уровень. Там, где Забияка должен был покрошить всех на месте, мне приходилось проползать на брюхе, отлавливать одиноких патрульных и вообще всячески пытаться не сдохнуть.

Плейтест необходим для изучения первой реакции игроков. Разработчики, месяцами и годами корпящие над проектом, знают его вдоль и поперек, примирились со всеми багами и кривостями интерфейса и совершенно не могут быть объективными в оценке сложности, юзабилити и кривой обучения своего детища. Плейтесты позволяют команде проекта наглядно увидеть как игроки воспринимают их проект, как они оценивают разные фичи, как собственно они играют - скорость, стратегии, эмоции, стили управления и так далее. Живая реакция живых игроков, здесь и сейчас критикующих в пух и прах игру вашей мечты.

Данная статья посвящена проведенному мною массовому плейтесту проекта "Смерть Шпионам" (Haggard Games/1C) и содержит описание всех использовавшихся материалов и методик.

Цель

Обязательно должна быть сформулирована цель плейтеста. Можно изучать реакцию на графические решения, на звук и музыку, на сложность геймплея, на соответствие устоям жанров, юзабилити интерфейсов, интересность сеттинга и многое другое.

Для "СМЕРШа" было поставлено две основных цели:

• Определить сложность освоения и использования stealth-геймплея.
• Изучить реакцию на два совершенно новых элемента интерфейса: мини-карту с секторами обзора и большую шкалу-индикатор опасности.

Сложность геймплея вызывала особое беспокойство, потому что я сам проходил простые миссии только через многократный save/load, а отдел продаж и продвижения играть в нее просто отказывался.

Фокус-групп, предполагаемых для тестирования, также было две:

• Игроки, знакомые минимум с тремя играми с сильным стелсом и большим игровым опытом в целом.
• Игроки с большим игровым опытом, слабо знакомые со стелсовыми играми, но имеющие опыт игры в обычные шутеры.

Игра не планировалась для широкой аудитории, поэтому вкупе с излишней текущей сложностью никакие казуальные и средние игроки к тестированию не годились. Дополнительно было интересно взять тестеров как знакомых с Commandos, так и пропустивших испанский шедевр, поскольку миникарта с секторами обзора и некоторые решения геймплея в "СМЕРШе" очень похожи на то, что там было реализовано.

Ищем добровольцев

Где искать хардкорных игроков? Конечно на форумах. Важно - общий дружелюбный и неофициозный тон, чтобы не отпугивать потенциальных кандидатов.

Как отбирать кандидатов? Я действовал просто: отсеиваются все не из целевых групп (например, играющие раз в неделю). Отсеиваются неадекватные, не умеющие прочитать и осознать вопросы к кандидатам, и невнимательные из других городов и весей. Все остальные - добро пожаловать.

Отсеянные получали такое письмо:

"Спасибо вам за интерес к проекту СМЕРШ.
К сожалению, заявок уже поступило более чем достаточно для первого этапа фокус-теста. Если мы будем проводить вторую волну тестов, примерно через месяц-два, я вам обязательно сообщу."

А прошедшие такое:

"Спасибо вам за интерес к игре и добро пожаловать в ряды плейтестеров :)

Что такое плейтест и с чем его едят?

Для меня, как геймдизайнера, задача тестирования - узнать впечатления об игре от человека, впервые в нее играющего. В вашем распоряжении будет компьютер в тихой комнате и свобода играть так, как вам хочется. Обратите внимание, это не бета-тестирование на поиск ошибок. Ваша задача - получать удовольствие от игры, ну или отказаться играть, если все настолько ужасно :)

В процессе тестирования и по окончании я попрошу вас заполнить несколько коротких анкет, а также внимательно выслушаю все ваши комментарии и пожелания.

Адрес: ...

ОБЯЗАТЕЛЬНО иметь при себе общегражданский паспорт, без него вы не сможете пройти в офис и не сможете подписать соглашение о неразглашении конфиденциальной информации.

Напишите, когда вы сможете приехать к нам в офис в рабочие дни, желательно до 18:00 и на следующей неделе (6-10 ноября). Тестирование займет 30-60 минут, не больше."

Всего в плейтестах участвовало 23 человека.

Никакой награды не обещал специально. Исходя из мысли, что люди должны идти из интереса, а не ради какого-то приза. Плюс психологически труднее говорить об игре плохо, если человек знает, что получит за тестирование награду.

Многообразие природы

Приходили письма вида "привет хочу бетатестить эту гаму вышли диск". Приходили письма с адреса типа "г.Томск@mail.ru". Приходили закракозябренные письма, которые даже двойные перекодировщики не брали. Писали люди из Саратова и из Владивостока (я конечно интересовался, приедут ли они к нам в офис). Видимо, к этому надо относиться философски.

Люди приходили безо всякой предварительной договоренности ("Ну вы написали на следующей неделе - я и приехал"). Люди приходили на пару часов позже назначенного времени. Люди приходили с друзьями ("А у меня есть друг, он тоже геймер"). Люди просто не приходили без объяснений причин. Видимо, к этому тоже надо относиться философски.

Процедура

Заранее для себя составил программу:

• Встретить тестера, по пути рассказать вкратце о проекте, посадить за демо-компьютер.
• Объяснить суть плейтеста. Напомнить, что нас интересует непредвзятое субъективное мнение о продукте, каким бы оно ни было. Что мы ищем не баги, а проблемы с геймплеем. Если что-то в игре непонятно, неочевидно или неудобно, то это наша вина, а не тестера. Нам важно его личное мнение и его личный опыт общения с игрой, каким бы он ни был.
• Определить формат тестирования. Самый предпочтительный вариант - тестер постоянно вслух озвучивает все свои мысли и мнения. Если ему неудобен такой формат, то провести тестирование с перерывами на мини-интервью.
• Перед непосредственно игрой предложить заполнить первый лист анкеты - профиль игрока.
• Предложить кофе/чаю, заодно можно кратко задать вопросы по анкете игрока.
• Собственно тестирование игры ~60 минут.
• По окончании тестирования предложить заполнить второй лист анкеты с вопросами по игре.
• Поблагодарить тестера и сказать о полагающейся ему авторской копии по выходу проекта.
• Перенести свои собственные заметки в третий лист анкеты и подшить к общему делу.

Анкету, которая предлагалась игрокам, можно скачать здесь.

Примерно половина из более чем 20 добровольцев охотно играла в режиме "говорю все что думаю", и мне оставалось лишь делать себе пометки и иногда задавать вопросы о том, почему он выбрал тот или иной путь прохождения. С остальными приходилось вести тестирование с мини-интервью - периодически задавать серию вопросов, например о полезности миникарты. Буквально двое оказались неспособны сообщить что-либо, так что в их случае мне остались исключительно собственные наблюдения и записи.

What Went Wrong

Я недооценил сложность переписки с полусотней адресатов и отслеживания кто, когда и в какое время придет. Видимо, для открытого поиска с форумов надо использовать какой-то customer service софт, чтобы пользователи в нем регистрировались сами, и можно было разделять потоки переписки (да, я не забыл сказать, что для добровольцев писать с трех разных адресов и разных ников - это норма?)

Два десятка человек - это оказалось слишком много. Реально, по результатам первых пяти было видно 90% проблем юзабилити интерфейса и сложности игры в целом.

В анкете поначалу был тринадцатый пункт: "Опишите в 1-2 предложениях ваше мнение об игре". Этот пункт вгонял добровольцев в глубокий ступор, и после пятого был вычеркнут. Всем тестерам было легче словами рассказать финальное общее мнение, чем писать его.

Крайне плохо было отсутствие тренировочной миссии. Поскольку объяснение интерфейса голосом часто приводило к пониманию как использовать ту или иную фишку, но не зачем. И из-за этого тестеры часто путались в "канонических" ситуациях, которые один раз разбираются в туториале и дальше используются всю игру, например, такие базовые вещи как использование удавки (для довольно хардкорной игры, каковой "СМЕРШ" и будет, обязательное прохождение туториала - нормально).

Конечно, эффективнее проводить плейтесты самим разработчикам, чтобы получать информацию из первых рук. Думаю, в любом городе, где игры разрабатывают, есть хотя бы сотня-другая игроков, с радостью поучаствующих в творческом процессе.

Ну и наверное самое главное, что went wrong - это позднее время проведения ивента. На полгодика бы пораньше, на самой первой миссии можно было бы отловить половину текущих трудностей.

What Went Right

В основном добровольцы горели энтузиазмом и были настроены конструктивно, понимали смысл плейтестирования и старались выдавать полезные замечания. Многие отмечали потом, что подобное тестирование на игроках - очень полезная вещь, и им бы хотелось, чтобы все наши разработчики устраивали такие тестирования. Всего же желающих поучаствовать было порядка сотни - c лихвой хватило бы на несколько этапов тестирования.

Главный принцип: "Наблюдай, не помогай". Мне удалось спокойно смотреть, как тестеры изворачиваются, проходя сложные места в миссиях, хотя внутри все кричало "Ну куда ты блин прешься, вон же слева дверь, с подсказкой даже!" Самое вредоносное, что можно сделать при тестировании - давать игроку подсказки или прямо говорить, что нужно делать. Это бесполезно с точки зрения задачи плейтеста. Нужно записывать, что вызывает у игроков проблемы, что именно они не понимают, что для них неудобно или неочевидно, задавать вопросы, что мешает разобраться и пройти, но помогать только в самом крайнем случае. Лучше прекратить тестирование, чем вести тестера за ручку и объяснять где и как надо действовать.

Итоги

Задачи плейтеста были более чем выполнены, по результатам я составил четыре страницы необходимых изменений и пожеланий. Выявили все особенности AI, неочевидные и непонятные игрокам, и вызывающие сложность прохождения. Интерфейсные решения были рассмотрены досконально, и много ценных замечаний тестеров попали в финальный вариант игры. Удалось протестировать больше половины миссий игры и собрать отзывы по конкретным миссионным решениям и задачкам.

Итоги 2012

Через 6 лет после написания оригинальной статьи хочу только добавить готовую памятку для организации плейтеста. Скачивайте отсюда и пользуйтесь на практике! Даже пять живых игроков дадут вам бесценную обратную связь и откроют глаза на дружелюбность интерфейсов, качество подсказок и реальный уровень сложности.