Протоколы тестирования могут не оправдать надежд множеством способов. Открытое тестирование приводит к появлению у тестировщиков желания подтвердить свою точку зрения. Групповое тестирование создает социальную конкуренцию, и игроки копируют мнения друг друга. Если попросить игроков выражать свои мысли вслух, дизайнеры смогут интерпретировать действия игроков, но в этом случае действия могут изменяться. Выбор тестировщиков приводит к необъективности, которая скрывает проблемы, появляющиеся, только если в игру играют люди определенного возраста, пола, культуры или уровня мастерства. Небольшое количество тестировщиков означает, что наши данные искажены поразительно большими случайными статистическими отклонениями.

В конце концов, мы никогда не сможем полностью избежать этих отклонений. Протокол тестирования – это не вопрос правильного и неправильного. Это ремесло, в котором дизайнер пытается получить максимально полезную информацию из заданного набора ресурсов.

Давайте рассмотрим основные протоколы тестирования.

Самостоятельное тестирование

Самый дешевый протокол тестирования – игра в одиночку. Несмотря на то что оценка дизайнера предвзята, так как он знает игру, обычное наблюдение за игровыми системами в их непосредственном движении дает огромное понимание. Так можно выявить множество проблем в потоке, ритме и балансе. И конечно же технические неисправности лучше всего обнаруживать при самостоятельном тестировании. Самые ранние циклы итерационного процесса должны завершаться самостоятельным тестированием.

Плейтестинг «через плечо»

В этом случае дизайнер наблюдает за тем, как играют другие игроки. В ином случае он может даже просто схватить своего коллегу и усадить его за свой рабочий стол. Или же может пригласить случайных людей в ненастоящую гостиную с напитками, игровой системой и скрытыми камерами.

Наблюдение за плейтестингом «через плечо» лучше, чем самостоятельное тестирование, потому что можно привлечь разных игроков и они не будут знать игру полностью. Вы можете пригласить поучаствовать старых, молодых, мужчин, женщин, агрессивных, пассивных и еще кого угодно. И никто из них не будет знать об игре так, как вы, поэтому все они будут воспринимать ее практически как настоящие игроки.

Самая большая опасность в наблюдении за плейтестом «через плечо» – это испортить тест, сказав игрокам то, чего они не должны знать. Именно поэтому почти во всех случаях дизайнер должен молчать во время теста. Не говорите. Не смейтесь. Не вздыхайте тяжело. Не сигнализируйте и не выдавайте свои мысли. Если тестировщик спросит вас о чем-то, скажите нейтральным тоном: «Извините, я не могу ответить».

Это правило неудобно с социальной точки зрения. Если игрок смущен или расстроен, для него такая игра может быть попросту болезненной. Каждый опытный дизайнер наблюдал, как игрок застревал минут на пятнадцать в поисках двери или кнопки. Вы отчаянно хотите подсказать игроку: «Вот же она! Просто нажмите синюю кнопку!» Но так вы испортите весь тест, дав тестируемому ту информацию, которой не будет у реальных игроков. Это уже будет не тестирование игры, а ее странная версия, в которой дизайнер приходит в определенное пространство и раздает советы. Тесты могут идти более или менее гладко, но только потому, что недостатки скрыты.

Иногда, чтобы заполнить недостающие фрагменты игры, необходимо предоставить игроку информацию. В этих случаях ее необходимо включить в протокол тестирования заранее.

Как выбрать тестировщиков

Выбор тестировщика влияет на тип данных, которые вы получите. Основное различие между тестировщиками заключается в их знании игры.

В так называемой тестировке Kleenex дизайнер приглашает тестировщиков, которые никогда не играли в эту игру. Этот вид тестирования показывает, как игроки будут реагировать в первые критические моменты игры. Но этих тестеровщиков можно приглашать только один раз, отсюда и название данного вида тестирования.

В других случаях мы хотим проверить наличие в игре баланса высокого мастерства. Для этого нужны игроки, которые смогут играть интенсивно в течение длительного времени. Обычно это означает наличие команды специализированных тестировщиков, которые ежедневно работают над своими навыками.

Между этими крайностями есть различия. Например, в процессе разработки боев я тестировал игру на коллегах, которые знали игру, но не знали, над каким именно боем я работал. Таким образом, их первоначальные знания игры были близки к знаниям реального игрока. Они знали игру, но не конкретный бой, который я разрабатывал.

Тестировщиков можно выбирать и по другим критериям. Вы можете протестировать игру на детях или пожилых людях, людях разных культур, социально-экономических традиций или интересов. В общем, выбирайте набор тестеров, похожих на людей, с которыми вы хотите сыграть в финальной игре.

Размер выборки

Можно запросто зациклиться на одном-единственном результате плейтеста. Поскольку ваш мозг инстинктивно верит, что то, что вы видите, то и существует (WYSIATI), вы попадетесь в ловушку, думая, что этот опыт – это и есть вся игра. Но часто оказывается, что первый тестовый запуск был всего лишь одним незначительным шагом сквозь большой и разнообразный набор возможных опытов. Вот почему хороший плейтест предполагает много плейтестов.

Без такого широкого ментального контекста дизайнеры будут стремиться решать задачи опыта, который им доступен, и при этом создавать проблемы в опыте, который недоступен. Игра может продолжать постоянно меняться, но она не улучшится, потому что каждое решение приводит к еще большему количеству проблем.

Чтобы добиться реального прогресса, мы должны решать задачи с одним опытом, не вызывая проблем в другом месте. Это невозможно, если мы увидели только один или два потока, в которые игроки могут попасть. Мы должны знать все, что игра дает игрокам. Тогда мы сможем выбрать подходящие решения.

Процесс получения этого контекста прост: смотреть много плейтестов. Каждый тестировщик показывает вам новый поток в пространстве возможностей игры. Как только вы наберете достаточно информации, вы сможете сформировать полноценную модель всех опытов, которые может предложить игра. Вы будете знать обо всех развилках и возможностях, которые могут возникнуть в любой ситуации, и о том, как они взаимосвязаны. Вы сможете предсказать все различные последствия изменения дизайна, потому что вы будете понимать игру как систему, а не как историю.

Для этого нет готового списка плейтестов. Разные игры генерируют разный опыт, поэтому некоторые из них нужно тестить дольше, прежде чем дизайнер сможет их понять. Для очень простой, ограниченной игры может потребоваться от двух до трех плейтестов. В боевом шутере – обычно от 6 до 12 плейтестов. В неограниченных системных играх необходимое количество плейтестов может быть весьма большим.