Мы выйдем на следующий уровень стратегической сложности, если примем в расчет то, что не существует идеально доброжелательного, рационального и универсального контролера над миром, который просто реализовывал бы то, что считается наилучшим вариантом действий. Любые абстрактные соображения о том, что «следовало бы сделать», должны быть облечены в форму конкретного сообщения, которое появится в атмосфере риторической и политической реальности. Его будут игнорировать, неправильно трактовать, искажать и приспосабливать для различных конфликтующих целей; оно будет скакать повсюду, как шарик в пинболе, вызывая действия и противодействия и становясь причиной целого каскада последствий, которые не будут иметь прямой связи с намерениями автора.

Проницательный агент мог бы предвидеть все это. Возьмем, например, следующую схему аргументации в пользу проведения исследований с целью создания потенциально опасной технологии X. (Один из примеров использования этой схемы можно найти в работах Эрика Дрекслера. В его случае X = молекулярная нанотехнология[547].)

1. Риск Х высок.

2. Для снижения этого риска требуется выделить время на серьезную подготовку.

3. Серьезная подготовка начнется лишь после того, как к перспективе создания Х начнут серьезно относиться широкие слои общества.

4. Широкие слои общества начнут серьезно относиться к перспективе создания Х только в случае проведения масштабных исследований возможности его создания.

5. Чем раньше начнутся масштабные исследования, тем больше времени понадобится на создание Х (поскольку в самом начале ниже уровень развития необходимых технологий).

6. Следовательно, чем раньше начнутся масштабные исследования, тем больше будет времени на серьезную подготовку и тем сильнее удастся снизить риск.

7. Следовательно, масштабные исследования в отношении Х нужно начинать немедленно.

Если следовать этой логике рассуждений, то, начав с причины двигаться вперед медленно или вовсе остановиться — из-за высокого риска, связанного с Х, — приходишь к прямо противоположному следствию.

Родственный этому тип аргументации сводится к тому, что нам следует — какая жестокость! — приветствовать мелкие и средние катастрофы на том основании, что они вскроют наши уязвимые места и заставят принять меры предосторожности, снижающие вероятность экзистенциальной катастрофы. Идея состоит в том, что мелкие и средние катастрофы служат своего рода прививкой: сталкиваясь с относительно слабой угрозой, цивилизация вырабатывает иммунитет, благодаря которому сможет справиться с потенциально губительным вариантом той же самой угрозы[548].

По сути, речь идет о призывах к так называемой шоковой терапии, когда оправдывается нечто плохое в надежде, что это сможет вызвать нужную реакцию общества. Мы упомянули о ней не потому, что одобряем ее, а для того чтобы познакомить вас с идеей того, что называем аргументацией от противного. Она подразумевает, что если относиться к другим людям как к иррациональным агентам и играть на их когнитивных искажениях и ошибочных суждениях, то можно добиться от них более адекватной реакции, чем в случае, когда говоришь о проблеме прямо и обращаешься к их рассудку.

Скорее всего, использовать стратегию аргументации от противного для достижения глобальных долгосрочных целей будет невероятно трудно. Кто сможет предсказать результирующее воздействие сообщения после его скачков влево-вправо и вверх-вниз в пинболе общественного дискурса? Для этого пришлось бы смоделировать риторический эффект на миллиарды его составляющих, для которых характерны свои уникальные черты и степень влияния на события, меняющиеся на протяжении долгого времени, в течение которого извне на систему будут действовать непредсказуемые события, а изнутри ее топология будет претерпевать непрерывную эндогенную реорганизацию — задача явно неразрешимая![549] Однако может статься, что нам не придется детально прогнозировать всю траекторию будущего развития системы, дабы обзавестись уверенностью, что наше вмешательство в нужный момент увеличит вероятность достижения ею нужной нам долгосрочной цели. Можно было бы, например, сосредоточить внимание лишь на сравнительно краткосрочных и предсказуемых этапах этой траектории, выбирая такие действия, которые облегчат их прохождение, и рассматривая поведение системы за пределами горизонта прогнозирования как случайное блуждание.

Существуют, однако, некоторые этические основания для отказа от шагов в пределах аргументации от противного. Попытки перехитрить других выглядят как игра с нулевой суммой или даже отрицательной, если учесть время и энергию, которых понадобится намного больше как на сами эти попытки, так и потому, что всем становится сложнее понять, что же на самом деле думают другие, и добиться доверия к своим собственным суждениям[550]. Повсеместное использование методов стратегического манипулирования убило бы искренность, а истина была бы обречена блуждать в коварном мраке политических игр.

Следует ли нам приветствовать успехи в создании аппаратного обеспечения? А успехи на пути к созданию компьютерной модели мозга? Давайте ответим на эти вопросы по очереди.

Повышение быстродействия компьютеров облегчает создание машинного интеллекта. Таким образом, одним из эффектов от прогресса в области аппаратного обеспечения является ускорение момента, когда на свет появится машинный интеллект. Мы уже говорили о том, что с объективной точки зрения это может быть плохо, поскольку у человечества будет меньше времени на то, чтобы решить проблему контроля и подняться на более высокую ступень цивилизации. Впрочем, это не означает неминуемость катастрофы. Поскольку сверхразум устранит множество других экзистенциальных рисков, стоит предпочесть его раннее появление, если уровень этих рисков окажется слишком высоким[551].