Чтобы изучать оперантное обусловливание, Скиннер изобрел так называемый «ящик Скиннера». Это небольшой прибор, в который можно поместить крыс или голубей. В зависимости от эксперимента в ящике могут быть рычажки, колеса для хомяков, датчики, лампочки, громкоговорители, диспенсеры для пищи или электрошокеры. Эти устройства взаимосвязаны друг с другом невидимым механизмом.

Например, в одной конфигурации диспенсер будет выдавать пищу при каждом нажатии на рычаг. В другом он будет выдавать еду при каждом десятом нажатии. Или же он будет случайным образом выдавать еду в 10 % случаев нажатия. Каждая из этих конфигураций предоставляет разный режим подкрепления.

Скиннер хотел посмотреть, как различные режимы подкрепления будут влиять на поведение крысы. Как отреагирует крыса, если она будет получать еду, каждый раз нажимая на рычаг? Что, если она получил порцию случайно, или по таймеру, или после того, как пробежит определенное количество кругов в колесе? Скиннер обнаружил, что поведение животного меняется в зависимости от того, когда появляется награда, но не всегда очевидным способом. Даже незначительные изменения в режимах подкрепления могут приводить к резким различиям в поведении.

Такие режимы подкрепления предназначены не только для ящиков Скиннера. Их полно в играх. Побеждая орка, чтобы получить золотой слиток, вы играете в режимы подкрепления, созданном геймдизайнером. Как и у крыс, за которыми наблюдал Скиннер, детали этого режима подкрепления будут влиять на мотивацию продолжать играть. Для геймдизайнеров эти режимы подкрепления являются инструментами, которые можно использовать, чтобы мотивировать игроков.

Существует бесконечное множество возможных режимов подкрепления, но два наиболее важных из них – фиксированное соотношение и переменное соотношение.

Фиксированное соотношение

В случае с режимом подкрепления с постоянным соотношением награда дается в фиксированном соотношении с предпринятыми действиями. Например, в ящике Скиннера крыса может получать порцию еды каждый раз, когда она нажимает на рычаг. Игрок может получить золотую монету каждый раз, когда он побеждает орка. Оба режима подкрепления являются фиксированным соотношением, потому что соотношение между действием и поощрением всегда одинаково.

Соотношение не обязательно должно быть один к одному. Например, игрок может получить 10 золотых монет за каждого десятого орка, которого он победит. В этом случае большинство действий не вознаграждаются вообще. Десятый орк приносит награду за предыдущие девять орков.

Сами по себе режимы с фиксированным соотношением являются плохими мотиваторами. Они поощряют длительные периоды низкой активности с последующими всплесками активности, когда игрок решает, какую награду он хочет. Эти длительные периоды низкой активности позволяют игроку легко встать и уйти.

Переменное соотношение

Режим подкрепления с переменным соотношением подобен режиму подкрепления с постоянным соотношением, за исключением того, что соотношение изменяется каждый раз, когда выдается награда. Обычно при режиме с переменным соотношением награда дается после некоторого случайного набора действий. Например, у игрока может быть 10 % шанса получать 10 золотых монет каждый раз, когда он побеждает орка. В зависимости от того, как ляжет карта, он сможет либо получить награду три раза подряд, либо зарубить 50 орков и ничего не получить.

Режим подкрепления с переменным соотношением является наиболее эффективным простым режимом. Даже если он дает такую же среднюю отдачу, что и режим подкрепления с постоянным соотношением, он мотивирует совершенно иначе. У игрока, столкнувшегося с режимом с переменным соотношением, всегда остается шанс получить большую награду при следующем действии, поэтому активность остается высокой и последовательной. Вы всегда надеетесь, что следующий орк принесет большой платеж.

В играх режимы подкрепления с переменным соотношением встречаются повсеместно. В некоторой степени они существуют в любой игре со значимыми случайными элементами, и они лежат в основе всех азартных игр. Они являются главным предметом игры в некоторых ролевых играх, так как за каждого монстра и за каждый квест предлагается разный набор случайных наград с разной степенью вероятности.

В жизни они тоже появляются. Возможно, вы встречались с кем-то по такой схеме: в некоторые дни эти люди милы и приветливы, в другие – холодны и ведут себя отстраненно. Они не перезванивают и забывают о назначенной встрече. Словом, они разыгрывают неприступность. Люди, которые ведут себя по тому же принципу, что и игровые автоматы, привязывают к себе. Это просто еще один режим подкрепления с переменным соотношением.

Другие режимы подкрепления

При режиме подкрепления с постоянным интервалом награда становится доступной через определенный период времени после того, как ее заработали. В ящике Скиннера крыса может получить еду, только если нажмет на рычажок минимум через 15 секунд с момента получения последней порции. В классических играх со смертельным боем здоровье может появиться не раньше, чем через 60 секунд после того, как игрок взял его.

При режимах подкрепления с постоянным интервалом у игроков высокая мотивация, в случае если награда доступна, и низкая, если награда недоступна. Например, они будут игнорировать аптечку до тех пор, пока она практически не будет готова появиться снова, затем начнут проверять чаще, пока она не появится, после чего они хватают ее и снова некоторое время игнорируют. Такие пробелы в мотивации делают режимы подкрепления с постоянным интервалом плохими мотиваторами.

Режим подкрепления с вариативным интервалом делает награду доступной случайное количество времени после получения. Этот режим создает непрерывную мотивацию, но с меньшей интенсивностью, чем график с переменным соотношением. В обоих случаях за каждую попытку получить награду игрок теоретически что-то получает. Но в режиме подкрепления с вариативным интервалом шансы тем ниже, чем чаще игрок проверяет награду, поэтому у него меньше причин повторять действие.

Режим дифференциального подкрепления низкой частоты реакции подобен режиму подкрепления с постоянным интервалом, однако если игрок пытается забрать награду слишком рано, интервал перезапускается. Это усиливает низкую, равномерную активность.

В режиме с дифференциальным подкреплением высокой частоты реакций, чтобы получить награду, игрок должен выполнить определенный набор действий в течение заданного интервала времени. Например, вы должны победить пять врагов за одну минуту.

Существует множество других режимов подкрепления, при этом у каждого свой характерный паттерн мотивации.

Совмещенные режимы подкрепления

Большинство режимов подкрепления в определенные моменты приводят к спаду мотивации. Это является проблемой, потому что они создают окно, когда игрок может решить прекратить игру. Чтобы устранить эти пробелы в мотивации, игра может запустить несколько режимов подкрепления одновременно.