Если коротко, мы указываем, о чем надо думать, пусть даже не можем описать сами мысли.

Слова и символы, которые мы используем для обобщения наших высокоуровневых целей и планов, не совпадают с сигналами для контроля низкоуровневых структур. Поэтому, когда наши агенты более высокого уровня пытаются исследовать деятельность низкоуровневых «субмашин», которые им подчиняются, они не могут разобраться в происходящем. Вот почему, вероятно, наши языковые агенты не могут внятно изложить, как удерживать равновесие на велосипеде, как отличать картины от реальных пейзажей и как извлекать факты из памяти. Особенно тяжело использовать наши языковые навыки для рассуждений о составных частях разума, которые осваивают такие умения, как балансирование, наблюдение и запоминание, прежде чем мы начали учиться говорить.

«Значение» само по себе относительно с точки зрения размера и масштаба; оправданно рассуждать о значении только в системе, достаточно крупной для того, чтобы иметь много значений. Для малых систем понятие значения выглядит бессмысленным и излишним. Например, агентам Строителя не нужны значение и смысл для выполнения своей работы; оператор «Добавить» просто обращается к операторам «Взять» и «Поместить». Следовательно, этим последним не требуется понимание того, что «означают» управляющие сигналы, поскольку их привлекают для выполнения конкретной работы, не для чего больше. В общем случае чем мельче агент, тем труднее будет другим агентам понять его «язык».

Чем меньше два языка, тем сложнее перевод с одного на другой. Дело не в чрезмерном обилии значений, а в их скудости. Чем меньше действий выполняет агент, тем слабее вероятность того, что действия другого агента будут отвечать этой деятельности. Если же два агента не имеют между собой ничего общего, перевод невозможен.

В более привычной ситуации трудностей перевода в человеческих языках каждое слово имеет много значений, и главная проблема заключается в том, чтобы сузить разнообразие значений до единого общего. Но в случае коммуникации между несвязанными агентами такое сужение значений бесполезно, если агенты изначально не имеют ничего общего.

6.13. Самопознание опасно

Призыв «познать себя» вполне может показаться заслуживающим внимания, ибо он сулит некое благо. Но этот якобы благой призыв маскирует заблуждения. Несомненно, разум, который хочет изменить себя, может извлечь выгоду из знания о том, как он устроен и как работает. Однако подобное знание легко может подтолкнуть к саморазрушению, ведь мы лезем неуклюжими ментальными пальцами в хитроумные мыслительные схемы разума. Может, поэтому наш разум упорно заставляет нас играть в эти психические прятки?

Просто оцените, насколько мы склонны ставить рискованные эксперименты, посредством которых изменяем себя; насколько роковым оказывается влечение к наркотикам, к медитации, к музыке, даже к беседам. Все это сильные одержимости, способные преобразовать нашу личность. Просто вспомните, насколько все люди восхищаются перспективой выйти за пределы обыденных удовольствий и вознаграждений.

В обычной жизни наша система удовольствий помогает нам учиться – и, следовательно, формирует наше поведение, – внедряя в нас структуру сдержек и противовесов. Почему, например, нам становится скучно, когда приходится выполнять одну и ту же работу снова и снова, пускай даже вначале она была приятной? По-видимому, таково отличительное свойство нашей системы удовольствий; без достаточного разнообразия она быстро пресыщается. Каждая обучаемая машина должна иметь некую защитную схему, в противном случае она может угодить в ловушку бесконечного повторения одной и той же операции. Нам повезло иметь в своем распоряжении механизмы, которые мешают тратить слишком много времени впустую, а еще повезло в том, что преодолеть сопротивление таких механизмов весьма непросто.

Если бы удалось сознательно подчинить себе нашу систему удовольствия, мы могли бы воспроизводить удовольствие от успеха без необходимости добиваться реальных достижений. И это было бы концом всего.

Что препятствует такому вмешательству? Наш разум наделен множеством самоограничений. Например, нам трудно установить, что происходит внутри разума. Позже, когда мы будем обсуждать развитие младенцев, станет ясно, что, даже будь у нас возможность видеть внутренним взором, было бы исключительно тяжело изменять тех агентов, которых мы хотели бы изменить сильнее всего (речь о тех агентах, которые в пору младенчества помогают формировать наши «долговечные» идеалы себя).

Этих агентов сложно изменить из-за их особого происхождения и влияния эволюции. Долгосрочная стабильность многих других ментальных агентов зависит от того, насколько медленно меняется наше представление о том, какими людьми мы должны быть. Немногие из нас смогли бы выжить, будучи брошенными на произвол судьбы, если бы наши самые авантюрные позывы могли свободно вмешиваться в суть наших личностей. Почему это было бы скверно? Да потому, что в обычных условиях «передумать» не страшно и можно все вернуть обратно, если налицо дурной исход. Но когда меняются идеалы, возвращаться становится некуда.

Зигмунд Фрейд предполагал, что развитие человека определяется бессознательными потребностями в удовольствии, примирении или отвержении, вплоть до радикального разрыва, родительской власти. Если мы признаем влияние этих древних образов, то можем посчитать их слишком инфантильными или слишком недостойными для сосуществования, а потому пожелаем заменить их чем-то лучшим. Но чем мы намерены их заменить – при условии, что избавились от всяких связей с инстинктом и коллективом? В итоге мы становимся инструментами достижения еще более прихотливых самоназначенных целей.

6.14. Смятение

Сознание проявляет себя в основном в ситуациях, когда другие наши системы начинают испытывать проблемы. Например, мы гуляем и разговариваем, не слишком задумываясь над тем, как это у нас получается. Но человек с травмой ноги может в первый раз в жизни предаться размышлениям о том, как работает ходьба («Чтобы повернуть налево, мне придется развернуть себя в ту сторону»), а затем, возможно, станет прикидывать, какие мышцы будут задействованы в процессе. Когда мы признаем, что оказались в замешательстве, мы начинаем думать о том, как наш разум справляется с проблемами, и вспоминать все то малое, что нам известно о стратегиях мышления. Далее мы вдруг обнаруживаем, что произносим что-то вроде:

«Теперь мне нужно собраться. Почему я не могу сосредоточиться на важных вопросах и не отвлекаться на несущественные мелочи?»

Как ни парадоксально, полезно осознать, что ты запутался – это всяко лучше, чем запутаться, не подозревая о том. Смятение побуждает нас задействовать интеллект ради изменения или исправления засбоившего мыслительного процесса. Тем не менее ощущение замешательства нам не нравится, и мы не ценим возможности, которые оно предоставляет.

Впрочем, едва мозг Б побуждает нас начать задаваться вопросом: «Что я действительно пытаюсь сделать?», возможно воспользоваться этим шансом для изменения поставленной цели – или для описания ситуации по-новому. Так мы сможем избежать разочарования от попадания в ловушку и отсутствия очевидных и