То есть о гипотетическом ускорителе макроструктурного развития можно сказать следующее.

1. В той мере, в которой нас беспокоит статический риск, нам следует стремиться к быстрому ускорению — при условии, что у нас есть реалистичные перспективы дожить до постпереходной эпохи, в которой все остальные экзистенциальные риски будут значительно снижены.

2. Если бы мы точно знали, что некий шаг вызовет экзистенциальную катастрофу, нам следовало бы снизить скорость макроструктурного развития (или даже обратить его вспять), чтобы дать большему количеству поколений шанс прожить жизнь до того момента, пока не опустится занавес. Но на самом деле было бы слишком пессимистично считать, что человечество обречено.

3. В настоящее время статический экзистенциальный риск, похоже, относительно низок. Если предположить, что технологические макроусловия нашей жизни останутся на нынешнем уровне, вероятность экзистенциальной катастрофы, скажем, в ближайшее десятилетие, очень мала. Поэтому с задержкой технологического развития на десять лет — при условии, что она будет сделана на нынешней стадии развития или в какой-то другой момент, когда статический риск окажется столь же низким, — будет связан лишь незначительный экзистенциальный статический риск, притом что задержка вполне способна благотворно повлиять на величину экзистенциального динамического риска, в частности, из-за большего времени на подготовку к переходу.

Делаем вывод: скорость макроструктурного развития важна постольку, поскольку влияет на то, насколько подготовлено будет человечество к тому моменту, когда столкнется с ключевыми динамическими рисками[541].

Поэтому мы должны спросить себя, как когнитивное совершенствование (и соответствующее ускорение макроструктурного развития) повлияет на ожидаемый уровень подготовки в момент перехода. Следует ли нам предпочесть более короткий период подготовки на более высоком уровне интеллекта? С более высоким интеллектом время подготовки можно использовать более эффективно, а последний критически важный шаг сделает более разумное человечество. Или нам следует предпочесть действия на том уровне интеллекта, который более близок сегодняшнему, если это даст нам больше времени на подготовку?

То, какой вариант лучше, зависит от природы вызова, к которому мы готовимся. Если он заключается в решении проблемы, для которой ключевым является обучение на основе опыта, тогда определяющим фактором может быть длительность периода подготовки, поскольку для накопления требуемого опыта нужно время. Как мог бы выглядеть подобный вызов? В качестве гипотетического примера можно предположить, что в какой-то момент в будущем будет создано новое оружие, способное в случае начала войны вызвать экзистенциальную катастрофу, скажем, с вероятностью один к десяти. Если мы столкнулись бы с таким вызовом, то могли бы захотеть замедлить темпы макроструктурного развития, чтобы у нашего вида было больше времени для совместных действий до того момента, когда будет сделан критически важный шаг и новое оружие станет реальностью. Можно надеяться на то, что благодаря этой отсрочке, подаренной торможением развития, человечество научится обходиться без войн, например, международные отношения на Земле станут напоминать те, что характерны для стран Евросоюза, которые яростно боролись друг с другом на протяжении многих веков, а теперь сосуществуют в мире и относительной гармонии. Такое умиротворение может стать следствием или постепенного смягчения нравов в результате различных эволюционных процессов, или шоковой терапии в результате вспышки насилия, недотягивающей до экзистенциального уровня (например, локального ядерного конфликта и вызванного им изменения во взглядах, способного привести к созданию глобальных институтов, необходимых для исключения войн между государствами). Если такого рода обучение не может быть ускорено за счет когнитивного совершенствования, тогда в таком улучшении смысла нет, поскольку оно лишь ускорит горение бикфордова шнура.

Однако с потенциальным взрывным развитием искусственного интеллекта может быть связан вызов и иного рода. Для решения проблемы контроля требуется проницательность, здравый смысл и теоретические знания. Не очень понятно, чем тут может помочь дополнительный исторический опыт. Получить непосредственный опыт переживания взрывного развития невозможно (пока не будет слишком поздно), да и многие другие скрытые от глаз аспекты проблемы контроля делают ее уникальной и не позволяют использовать какие-то исторические прецеденты. По этим причинам количество времени, которое пройдет до взрывного развития искусственного интеллекта, мало что значит само по себе. Но, вполне вероятно, приобретут значение следующие обстоятельства: 1) интеллектуальный прогресс в изучении проблемы контроля, достигнутый к моменту детонации; 2) навыки и интеллект, доступные в этот момент, чтобы реализовать наилучшие из имеющихся решения (или сымпровизировать в случае их отсутствия)[542]. Очевидно, что последний фактор должен положительно повлиять на когнитивное улучшение. Как когнитивное улучшение повлияет на первый фактор — пока неясно.

Одна из причин, по которым когнитивное совершенствование способно привести к прогрессу в проблеме контроля к моменту, когда произойдет взрывное развитие искусственного интеллекта, состоит в том, что этот прогресс может быть достижим лишь на экстремально высоких уровнях интеллектуальной производительности — даже более высоких, чем те, что требуются для создания машинного интеллекта. При решении проблемы контроля роль проб и ошибок, а также накопления экспериментальных результатов не так велика, как в работе над искусственным интеллектом или в исследованиях эмуляции головного мозга. То есть относительная важность времени и умственных усилий сильно варьируется в зависимости от типа задачи, и прогресс в решении проблемы контроля, достигнутый за счет когнитивного совершенствования, может оказаться большим, чем прогресс в деле создания машинного интеллекта.

Еще одна причина, почему когнитивное совершенствование способно обеспечить больший прогресс в решении проблемы контроля, состоит в том, что сама потребность в этом прогрессе будет скорее признана интеллектуально более развитыми обществами и индивидуумами. Чтобы понять, почему проблема контроля важна, и присвоить ей высший приоритет, нужно обладать прозорливостью и здравомыслием[543]. А для решения столь непривычной задачи требуется обладать редкостным разумом.