Вернемся к примеру об утолении голода в ресторане. Чтобы добыть себе еды, вы активируете генераторы сигналов, которые воспроизводят образ ресторана на углу, побуждают вас сесть на велосипед и крутить педали. Это шаблон мотивации, мыслей и действий, который приводит вас в ресторан. Теперь представим, что вы пообедали в ресторане, и еда оказалась очень вкусной. Неожиданно вкусной. Вы удовлетворили цель принятия пищи очень успешно. Генераторы сигналов, которые привели вас в ресторан, начинают посылать свои сообщения более настойчиво и в следующий раз: когда вы почувствуете голод, то скорее всего очень захотите снова попасть в ресторан на углу. Возможно, даже сядете на велосипед, чтобы снова оказаться там. Вы начнете получать удовольствие от мысли о ресторане, вспоминая его внешний вид и запах еды. Вариант поведения, который приводит вас в ресторан на углу, получает подкрепление.

Обучение приводит в соответствие все три уровня процесса осуществления выбора – мотивационного, когнитивного и двигательного. Подкрепление усиливает все три аспекта, потому что все они требуются для осуществления эффективного целевого поведения. Процесс подкрепления проходит полностью за пределами сознательного понимания. Он существовал еще до наших общих с миногами предков.

Обучение также работает в противоположном направлении. Если в результате выбранного варианта поведения случается что-то плохое, вероятность того, что подобное поведение повторится, снижается. Например, если вы отравились в ресторане на углу, то едва ли станете обедать там снова, даже когда почувствуете голод. А мысль о ресторане, его внешнем виде и запахе могут вызвать у вас тошноту. Это называется негативное подкрепление.

Чтобы осуществилось подкрепление, должен возникнуть обучающий сигнал. Он изменяет способ работы нейронных цепей в базальных ганглиях. При этом действия с хорошей ответной реакцией закрепляются, а с плохой – отсеиваются. Большинство ученых полагают, что обучающий сигнал в мозге производят удивительные молекулы дофамина.[35]

Росс МакДевитт, стажер-исследователь из Национального института здравоохранения в городе Балтимор, аккуратно сажает подопытную мышь в пластиковую клетку и присоединяет к ее голове тонкий волоконно-оптический кабель, там же расположен миниатюрный коннектор. МакДевитт пользуется передовым методом исследования, который получил название оптогенетики, чтобы воздействовать на клетки мозга в вентральной тегментальной области (вентральной области покрышки). Как мы уже выяснили в предыдущей главе, вентральный тигментум посылает дофаминовые волокна в главный мотивационный центр мозга – вентральный стриатум (рис. 14). Волокна выделяют молекулы дофамина, которые изменяют функцию клеток вентрального стриатума и прилежащих к нему других отделов мозга. Этот процесс оказывает влияние на поведение. Мы уже говорили о том, что высокий уровень дофамина повышает вероятность того, что власть над поведением перейдет в руки определенного генератора сигналов. Дофамин оказывает и более тонкое воздействие на организм. Фактически дофамин является средством подкрепления.

Рис. 14. Дофаминовая связь вентральной тегментальной области и вентрального стриатума. По этому пути проходит подкрепление мотивации и обучение.

В ходе эксперимента МакДевитт вызывает всплеск дофамина в вентральном стриатуме одним щелчком выключателя. Эксперимент наглядно демонстрирует эффективность такого способа обучения и мотивировки.

В клетке у мышки стоит маленькая коробочка. Каждый раз, когда мышь трогает носом коробочку, к датчику на ее голове по кабелю поступает световой сигнал. Сигнал активизирует нейроны в вентральной области покрышки, они выбрасывают порцию дофамина в вентральный стриатум и прилежащие отделы мозга. Но в начале эксперимента мышь об этом ничего не знает. Когда она впервые попадает в клетку, то не проявляет заинтересованности к коробочке. Впервые она дотрагивается до нее носом случайно, из простого любопытства. Всякий раз, когда мышь тычется носом в коробочку, она разом испытывает мышиный эквивалент откушенной шоколадки, секса и выигрыша в лотерею.

Проходит совсем немного времени – и мышь дотрагивается носом до коробочки все чаще. «Мы обнаружили, – говорит МакДевитт, – что мыши начинают сходить с ума от удовольствия. Им этот процесс очень нравится». Хотя изначально мышь соприкасается с коробкой из любопытства, вскоре она понимает исключительную важность этой вещи. Мыши МакДевита в итоге тыкались носом в коробочку со скоростью восемь сотен раз в час, игнорируя все окружающее их пространство. В ходе других опытов над крысами ученые зафиксировали, что животные успевали тыкать носом в коробочку пять тысяч раз за час, чтобы почувствовать стимуляцию вентральной тегментальной области. Они совершали это движение чаще, чем раз в секунду! Другими словами, всплеск дофамина в вентральном стриатуме подкрепляет действие.

На клеточном уровне дофамин взаимодействует с нейронными связями в базальных ганглиях, которые только что проявляли активность, и повышает вероятность того, что те же самые нейронные связи вновь будут задействованы. Таким образом, вы захотите повторить снова любое действие, которые совершаете на момент дофаминового всплеска, если подходящая ситуация повторится. Вентральная тегментальная область говорит: «Мне понравилось то, что сейчас произошло. Я, пожалуй, выплесну дофамин в вентральный стриатум, чтобы в следующий раз произошло то же самое».

Конечно, МакДевитт продемонстрировал гипертрофированную форму подкрепления, потому что воздействовал непосредственно на вентральную область покрышки. Но этот процесс в умеренной степени протекает в нашем мозге ежедневно! Когда вы удовлетворяете запрос на тройной чизбургер с беконом, в мозге происходит короткий дофаминовый всплеск, который подкрепляет ваше «хорошее» поведение. Таким образом дофамин учит нас, как следует себя чувствовать, что думать и как себя вести, чтобы достичь основополагающих целей. При этом совершенно не заботится о том, поддерживает ли эти идеи рациональная, сознательная часть мозга. Присутствие дофамина в вентральном стриатуме имеет огромную важность для закрепления мотивации, например запоминания, какую еду следует хотеть, а какой избегать.

Хотя дофамин был открыт только в 1950-х годах, русский физиолог Иван Павлов за полвека до этого проводил эксперименты и описывал способность животных ассоциировать нейтральные внешние сигналы с пищей. Павлов и его коллеги изучали пищеварительную систему собак и заметили, что у подопытных животных начинала капать слюна при виде пищи. Павлов также отметил, что у собак начинала выделяться слюна даже тогда, когда у него при себе не было еды, так как присутствие Павлова ассоциировалось у них с пищей.