Как нейрон «угадывает» время? Довольно просто, рассуждали Монтегю и Дайан. Когда после вспышки света раз за разом следует награда, нарастание возбуждения нейрона переносится на самый ранний надежный стимул для награды. Таким образом свет становится предвестником получения сока и, следовательно, ключевыми составляющими механизма оказывается время включения света и время прогнозируемой награды. На первый взгляд многовато для одного нейрона, но не в том случае, когда этот нейрон находится в нужном месте более крупного и невероятно сложного участка нейронной сети. А он, как мы вскоре убедимся, именно там и находится.

Монтегю и Дайану понадобилось четыре года напряженной работы, за которые им пришлось десять раз переписать статью заново, прежде чем их трактовку результатов приняли к публикации. Их руководитель и начальник лаборатории Сейновски знал, что в своем толковании данных Шульца они, скорее всего, правы, и воспринимал последовательные отказы в публикации как неизбежные издержки — хорошие идеи даются дорогой ценой. Как нетрудно догадаться, когда из журнала вместо очередного отказа пришло согласие, нейроны ВОП у самих исследователей выдали бурную реакцию: «Ух ты, это выше всех ожиданий!» Нестандартным новым идеям часто бывает нелегко пробиться, но в конце концов упорство исследовательской группы принесло свои плоды. Теперь набор общепринятых истин пополнился очередным поучительным примером узости человеческого мышления.

Способность нейронов ВОП сигнализировать об ошибке в предсказании награды имеет значение для мозга лишь в том случае, если этот сигнал принимают другие нейроны и как-то на него откликаются. Кто его адресаты? Нейроны ВОП посылают свои аксоны в другую область той же древней части системы вознаграждения — к базальным ядрам или, если точнее, к одному из ядер в составе этой структуры, а именно прилежащему[110].

Когда импульс нейрона ВОП достигает адресата в прилежащем ядре, терминаль аксона выделяет нейромодулятор — дофамин (илл. 3.4), который действует как сигнал к обучению: «Это надо повторить». Когда интенсивность импульсов нейронов ВОП превышает фоновый уровень, они высвобождают больше дофамина, чем при базовой частоте. Когда нейроны ВОП не генерируют спайки (то есть происходящее не оправдывает ожиданий), они не выделяют ничего.

Затем высвободившийся дофамин связывается со специфическими рецепторами нейронов прилежащего ядра. В результате этого воздействия поведение нейронов меняется. Часть нейронов прилежащего ядра участвует в выборе действия. Другие (и это уже любопытно) связаны с ощущением удовольствия. У третьих имеются рецепторы к опиоидам или каннабиноидам. (Как уже упоминалось выше, каннабиноиды — это марихуаноподобные нейрохимические вещества, вырабатываемые мозгом. Опиоиды — морфиноподобные нейрохимические вещества, вырабатываемые мозгом.) Прикрепляясь к предназначенным для них рецепторам, каннабиноиды или опиоиды вызывают у нас удовольствие, то есть создают положительные ощущения. Таким образом, в прилежащем ядре обнаруживается связь между усвоенной оценкой (положительной) и паттерном высвобождения дофамина в ВОП[111].

Еще одна тонкость обнаруживается при исследовании самих дофаминовых рецепторов. В прилежащем ядре содержится по крайней мере два их типа — D1 и D2. Усиление положительного подкрепления обеспечивается нейронами, оснащенными рецепторами типа D1, тогда как за ослабление положительного подкрепления (что-то вроде «рановато радуетесь») отвечают нейроны с рецепторами D2. Таким образом, две соперничающие субпопуляции внутри общей популяции дофаминовых рецепторов уравновешиваются между собой, возможно, снижая вероятность резких изменений в прогнозируемой оценке происходящего, если только положительное подкрепление не слишком сильное[112].

Илл. 3.4. Упрощенная схема устройства синапса, демонстрирующая механизм выделения нейромедиатора (в данном случае дофамина).

Вкратце колебания частоты импульсов в ВОП, как в том случае, когда животное получает приятную награду, вызывают колебания в выделении дофамина в прилежащем ядре. Эти колебания влияют на принятие решений: «Да, действуй!» или «Ну его, не утруждайся». Базальные ядра млекопитающих — и прилежащее ядро в том числе — соединены замысловатыми связями с определенными областями фронтальных участков коры. Кроме того, нейроны ВОП шлют напрямую широко распределенные дофаминовые сигналы нейронам фронтальной коры. Судя по всему, в одной из областей-адресатов, орбитофронтальной коре, происходит уточнение оценки событий в соответствии с дофаминовыми сигналами[113]. Существуют также нейронные связи, ведущие из фронтальной коры обратно к базальным ядрам и среднему мозгу. Тем не менее вычислить «собеседников» еще не значит установить содержание их сообщений. Этого мы не знаем. Но идентификация путей — принципиально важный шаг к тому, чтобы разобраться в устройстве наших нейронных механизмов.

До сих пор речь шла о положительном подкреплении или его отсутствии. А что происходит, если опыт оказывается болезненным (назовем его по аналогии «отрицательным подкреплением»)? Допустим, вы, не сбавляя хода, заворачиваете на велосипеде на гравийную дорожку, вас заносит, и вы падаете. Колени и руки ободраны до крови. Ожидания катастрофически не оправдались. В следующий раз вы либо не будете сворачивать на гравий, либо сбросите скорость, то есть в любом случае проявите осторожность. Кнут вместо пряника? Похоже на то.

Чувствительные к наказанию нейроны усиливают активность, когда результат оказывается значительно хуже предполагаемого, и ослабляют ее, когда результат превышает ожидания. Урок, усвоенный моим мозгом: не поворачивать на гравий на полном ходу. Как удалось выяснить сотрудникам Национального глазного института — Окихиде Хикосаке и его коллегам, — чувствительные к наказанию нейроны располагаются в небольшой структуре мозга под названием «поводок». От поводка пролегает нейронный путь в ствол мозга, к вентральной области покрышки, и там его главная функция состоит в том, чтобы тормозить нейроны ВОП и подавлять двигательную реакцию, которую нейроны поводка сочтут вредной. «Пожалуй, так делать не надо», — сообщают они. Если нейроны ВОП выделяют дофамин, то нейроны поводка выделяют серотонин[114].