Большинство психических явлений, важных для социальной жизни, например внимание, память, сострадание и эмоции, во многом обеспечиваются именно системами восходящей модуляции. Нарушение их работы может быть связано с серьезными психическими расстройствами. Так, повышенная активность дофаминергической системы часто наблюдается при шизофрении; пониженная активность серотонергической и норадренергической систем способствует депрессии; повышенная активность норадренергической системы может приводить к посттравматическому стрессовому расстройству, а пониженная активность холинергической системы сопряжена с когнитивными нарушениями, сопровождающими некоторые формы болезни Альцгеймера. Когда же все системы работают как следует, они поддерживают восприятие и реакции в пределах того, что мы считаем нормой.

Первой из систем нисходящей модуляции была подробно изучена дофаминергическая, нейроны которой выделяют нейромедиатор дофамин и участвуют в положительном подкреплении. Дофаминергические нейроны – самые многочисленные из модуляторных нейронов мозга: в голове их около 450 тыс., примерно поровну в каждом полушарии. Тела этих клеток расположены в двух отделах среднего мозга: черной субстанции и вентральной области покрышки. В черной субстанции дофаминергических клеток больше всего. Аксоны этих клеток ведут к базальным ганглиям и способствуют запуску движений в ответ на внешние стимулы. В вентральной области покрышки, задействованной в ощущении награды, таких нейронов меньше. Их аксоны ведут в гиппокамп, миндалевидное тело и префронтальную кору. Таким образом, аксоны дофаминергических нейронов расходятся по многим отделам мозга и модулируют работу нескольких его систем.

Участие дофаминергической системы в положительном подкреплении случайно открыли Джеймс Олдс и Питер Милнер, обнаружившие, что электрическая стимуляция ряда участков в глубине мозга может стимулировать поведение, обычно связанное с получением награды. Как ни удивительно, у многих животных, в том числе у людей, такая стимуляция может служить не менее эффективным средством подкрепления, чем реальная награда, хотя и отличается от нее одной существенной особенностью. Обычная награда эффективна лишь в том случае, если животное испытывает соответствующую потребность. Так, пища может служить наградой лишь тогда, когда животное голодно. Что же касается стимуляции участков, расположенных в глубине мозга, она действует независимо от потребностей. Крысы, научившиеся самостоятельно стимулировать такие участки мозга нажатием на рычажок, предпочитают самостимуляцию и питанию, и спариванию. В обзорной статье, опубликованной в 1955 году в журнале “Сайенс”, Олдс писал, что подопытные животные умирают от голода после нескольких недель непрерывной самостимуляции. Олдс и Милнер пришли к выводу, что такая стимуляция активирует нейронные системы, которые обычно активируются реальной наградой.

Наградой называют объекты, стимулы, действия и физиологические состояния, имеющие положительное значение для человека или животного. Награда обеспечивает субъективные ощущения удовольствия и способствует положительным эмоциям. Она играет в поведении роль положительного подкрепления, увеличивая частоту или степень проявления форм поведения, позволяющих ее получить.

Сложная природа взаимодействий организма и среды требует особых механизмов, позволяющих не только распознавать стимулы, которые могут служить наградой или наказанием, но и на основании опыта спрогнозировать их появление в будущем. Многое из того, что нам известно о положительном подкреплении, открыл еще в начале XX века Иван Павлов (гл. 18).

Исследования дофаминергической системы показали, что она реагирует не только на саму награду, но и (даже сильнее) на стимулы, позволяющие ее ожидать. Многие годы психологи полагали, что для выработки условного рефлекса требуется одновременное (или почти одновременное) предъявление нейтрального условного стимула (сенсорного) и безусловного стимула (награды), позволяющее сформироваться ассоциации между теми и другими ощущениями. Согласно этим представлениям, всякий раз, когда стимулы предъявляются вместе, нейронная связь между ними усиливается до тех пор, пока не становится достаточно сильной, чтобы сказаться на поведении. Предполагалось, что сила условного рефлекса зависит исключительно от числа таких предъявлений.

Однако в 1969 году американский психолог Леон Кэмин совершил открытие, которое считается одним из важнейших, сделанных в этой области после Павлова. Кэмин установил, что животные научаются не просто тому, что нейтральный стимул предшествует награде, а тому, что он позволяет ожидать награды. Следовательно, ассоциативное научение определяется не критическим числом предъявлений двух стимулов вместе, а возможностью прогнозировать по нейтральному стимулу получение биологически значимой награды.

Эти открытия позволяют предположить, отчего у людей и животных так легко вырабатываются условные рефлексы. По-видимому, все формы ассоциативного научения развились в ходе эволюции потому, что давали возможность отличать закономерно связанные события от случайно сочетающихся, тем самым позволив нам прогнозировать последствия. В итоге мы можем научиться, например, ожиданию вкуса изысканного красного вина уже тогда, когда подносим к губам бокал “Шатонеф-дю-Пап” и улавливаем аромат.

Научение происходит тогда, когда реальные последствия отличаются от прогнозируемых. Существует множество форм поведения, на которые влияет ожидание награды. Когда награда оказывается не такой, как ожидалось, эти формы поведения претерпевают долговременные изменения. Когда же награда соответствует ожиданиям, поведение остается прежним.

Физиологи продемонстрировали, что дофаминергические нейроны задействованы в разных формах научения, связанных с положительным подкреплением. Эти нейроны активируются не только при ожидании награды, но и при получении неожиданной награды, а также при ошибках в ожидании награды. На такие ошибки указывают колебания уровня дофамина в дофаминергической системе. Это привело к предположению, что дофамин играет роль обучающего сигнала. Связь дофаминергических нейронов с миндалевидным телом, вероятно, позволяет им регулировать его реакции на ожидаемое положительное подкрепление, например на награду в экспериментах с научением.

Механизм работы дофаминергических нейронов при научении выяснил Вольфрам Шульц, работающий в настоящее время в Кембриджском университете. Регистрируя активность клеток вентральной области покрышки и черной субстанции, Шульц обнаружил, что эти нейроны возбуждаются при неожиданном получении награды, при ожидании награды и при ошибках в ожидании награды. В последнем случае возбуждение наблюдается лишь тогда, когда награда оказывается лучше ожидаемой – в противном случае активность нейронов подавляется. Активность этих нейронов усиливается также при получении неожиданной награды, а подавляется при неполучении ожидаемой награды. Если же награда в точности соответствует ожиданиям, данные клетки на нее не реагируют.

Данные Шульца согласуются с представлениями Дарвина о полярной регуляции эмоций, основанной на стремлении и избегании (или на борьбе и бегстве). Дофаминергические нейроны активируются и при получении реальной награды (во время приема пищи, секса, употребления психотропных веществ), и при восприятии стимулов, позволяющих ожидать ее получения. Таким образом, поток дофамина запускается даже простейшим ожиданием удовольствия, хотя это удовольствие, может быть, и не удастся получить.