ли других областей, ведущие исследователи в которых полагают, что с вероятностью один к двадцати конечная цель их работы чрезвычайно плохо повлияет на человечество?

Разумеется, это не доказывает, что риски реальны. Но это дает нам понять, что многие исследователи ИИ всерьез полагают, что ОИИ может появиться в течение 50 лет и что это может обернуться экзистенциальной катастрофой. Многое пока неясно, и сохраняется огромный разброс мнений, но эту позицию никак нельзя считать маргинальной.

Один любопытный аргумент в пользу скептического отношения к риску, сопряженному с ИИ, становится сильнее, а не слабее, по мере того как наличие рисков признает все большее число исследователей. Если исследователи понимают, что разработка ИИ чрезвычайно опасна, зачем им вообще ею заниматься? Не станут же они, зная о последствиях, создавать то, что их уничтожит[436].

Если бы все мы были поистине мудры, бескорыстны и действовали сообща, этот аргумент и правда работал бы. Но в реальном мире люди склонны разрабатывать технологии при первой возможности и разбираться с последствиями позже. Одна из причин этого – разница в наших установках: если даже небольшая доля исследователей не верит в риски (или хочет, чтобы в новом мире у руля стояли машины), именно они сделают решающие шаги. Здесь снова дает о себе знать проклятие односторонности (о котором мы говорили на с. 164). Другая причина – мотивы: даже если бы некоторые исследователи полагали, что риск составляет целых 10 %, они, возможно, все равно пошли бы на него, если бы решили, что цель оправдывает средства. Это может быть рационально с точки зрения их личных интересов, но ужасно для всего мира.

В некоторых подобных случаях в дело может вмешаться государство, которое решит проблемы координации и мотивации в общественных интересах. Однако такие же проблемы координации и мотивации возникают между странами, и нет простых механизмов их решения. Если бы одна страна решила действовать медленно и осторожно, у нее, вероятно, возникли бы опасения, что награда достанется другим. Заключать конвенции в этой сфере чрезвычайно тяжело, поскольку проверять, выполняются ли их положения, еще сложнее, чем в случае с биологическим оружием[437].

Переживем ли мы развитие ИИ, не растеряв свой потенциал, вероятно, зависит от того, успеем ли мы научиться настраивать и контролировать ИИ-системы, прежде чем создадим достаточно мощный интеллект, который будет представлять для нас угрозу. К счастью, исследователи уже работают над множеством важных вопросов, включая повышение безопасности, надежности и объяснимости ИИ. Но по-прежнему лишь малое число людей изучает возможности калибровки ИИ в соответствии с человеческими ценностями. Это новая сфера, в которой предстоит пройти очень долгий путь, если мы хотим обеспечить свою безопасность.

Несмотря на то, что системы, которые существуют сегодня и могут появиться в обозримом будущем, не представляют риска для человечества в целом, нам нельзя терять времени. Отчасти потому, что прогресс может случиться внезапно: благодаря непредсказуемым научным прорывам или стремительному масштабированию первых интеллектуальных систем (например, при их запуске на тысячекратно большем количестве оборудования или в случае, если мы позволим им совершенствовать собственный интеллект)[438]. А отчасти потому, что на должную подготовку к такому эпохальному изменению в человеческих делах может уйти больше пары десятилетий. Или, как сказал один из основателей DeepMind Демис Хассабис,

нƒам нужно использовать время вынужденного бездействия, пока все спокойно, чтобы подготовиться к моменту, когда в грядущие десятилетия события примут серьезный оборот. Надо ценить имеющееся у нас время и использовать его с умом[439].

Дистопические сценарии

Пока мы рассматривали экзистенциальные катастрофы двух типов: вымирание и необратимый коллапс цивилизации. Но ими дело не ограничивается. Как мы помним, экзистенциальная катастрофа – это окончательное уничтожение долгосрочного потенциала человечества, и мы берем это определение в широкой трактовке, включая исходы, при которых небольшой фрагмент потенциала может и уцелеть.

Потеря потенциала предполагает, что мы зайдем в тупик в одном из неудачных вариантов будущего. Мы можем классифицировать экзистенциальные катастрофы по тому, какие аспекты нашего будущего они блокируют. Это может быть мир без людей (вымирание) или мир без цивилизации (необратимый коллапс). Но также будущее может принять форму необратимой дистопии – мира, сохранившего цивилизацию, но застывшего в ужасном состоянии, почти или совсем не представляющем ценности[440].

Этого пока не произошло, но прошлое не слишком нас успокаивает. Дело в том, что такие катастрофы стали возможны лишь с пришествием цивилизации, поэтому интересующий нас период наблюдений гораздо меньше. И есть причина полагать, что риски вырастут со временем, когда мир станет более взаимосвязанным и начнет экспериментировать с новыми технологиями и идеологиями.

Я не стану разбирать эти дистопические сценарии на том же уровне научной детализации, как другие риски, поскольку сценариев много, а наши представления о них весьма ограниченны. Вместо этого я постараюсь сделать первые шаги к тому, чтобы признать существование и проанализировать характер этих катастроф другого типа.

Необратимые дистопии, с которыми мы можем столкнуться, можно разделить на три типа в зависимости от того, хотят ли люди, живущие в них, жить в таких мирах. В некоторых сценариях люди не хотят жить в таком мире, но общество устроено таким образом, что люди практически лишены возможности скоординировать свои усилия и изменить ситуацию. В других сценариях люди хотят жить в таком мире, но они заблуждаются, а мир не идет ни в какое сравнение с тем, чего они могли бы достичь. Есть и промежуточный вариант, когда лишь небольшая группа людей хочет жить в таком мире, но заставляет остальных жить в нем против их воли. Каждой из этих дистопий придется преодолеть определенные сложности, прежде чем они станут по-настоящему необратимыми.

Рисунок 5.2. Расширенная классификация экзистенциальных катастроф по типу исхода, который становится необратимым.

Заметьте, чтобы считаться экзистенциальными катастрофами, эти сценарии не должны предполагать невозможность изменения ситуации и не должны продолжаться миллионы лет. Их определяющая характеристика в том, что переход к соответствующему режиму случился в важный поворотный момент в истории человеческого потенциала, после чего ситуация изменилась к худшему и почти весь наш потенциал построить достойное будущее оказался заблокирован. Можно сказать, что тогда, когда они закончатся (а они рано или поздно закончатся), мы с гораздо большей вероятностью, чем раньше, станем жертвами вымирания или коллапса, чем сможем реализовать свой потенциал. Следовательно, дистопическое общество, просуществовавшее до момента, когда человечество уничтожат внешними силами, будет считаться экзистенциальной катастрофой. Однако, если дистопический исход не имеет такого свойства, а по его