риска назвали свои цифры. Джон Лесли (1996, pp. 146–147) оценил риск в последующие пять столетий в 30 % (после чего, по его мнению, нам очень повезет, если мы сохраним возможность реализовать свой потенциал). Ник Бустрём (2002b) высказался об общем экзистенциальном риске в долгосрочной перспективе: “На мой субъективный взгляд, ошибкой будет присвоить ему вероятность менее 25 %, а лучшая оценка может быть и существенно выше”. Мартин Рис (2003) оценил вероятность глобального (хотя, возможно, временного) коллапса цивилизации в XXI веке в 50 % (в книге нет точных указаний на масштаб оцениваемой катастрофы, но позже Рис пояснил, что имел в виду коллапс цивилизации). Мои оценки сопоставимы с этими.

Кроме того, показательную оценку вероятности вымирания в последующие 100 лет дал Карл Саган – 60 % (Sagan, 1980, p. 314; Sagan et al., 1980). Интересно, что он назвал эту цифру в 1980 году, еще до открытия ядерной зимы и до написания своей знаковой работы о том, насколько плохо вымирание человечества. Неясно, однако, насколько взвешенной была эта оценка. Она дана без комментариев в перечне ключевых статистических данных о Земле, которые могли бы попасть в гипотетическую “Галактическую энциклопедию”.

471

Другая проблема с оценками, основанными на допущении, что жизнь пойдет в привычном режиме, состоит в том, что сложно описать, что именно это значит: какую реакцию человечества нам следует считать базовой? Хотя оценить риск с учетом всех обстоятельств очень сложно, вполне понятно, что в него вкладывается, – это просто степень уверенности человека в том, что катастрофа произойдет.

472

Cotton-Barratt, Daniel & Sandberg (готовится к публикации).

473

Более точное правило предписывает анализировать более мелкие шаги, например искать фактор, который легче всего уменьшить на 1 % от текущего уровня. Затем предполагается применять это правило снова и снова, работая над одним фактором, фактором, который легче всего уменьшить на 1 %, не станет другой – и тогда нужно переключиться на него. Если работа над каждым из факторов приносит достаточный убывающий добавочный доход, а бюджет достаточно велик, в итоге проработанными могут оказаться все три фактора.

474

Команда CSER предлагает три классификации: ключевые системы, механизм глобального распространения (что соответствует “распространению”) и сбой в предотвращении и сдерживании (что связано с человеческим фактором в “предотвращении” и “реакции”). Их схема разработана для классификации более широкого класса глобальных катастрофических рисков (необязательно экзистенциальных). См. подробнее у Avin et al. (2018).

475

Можно подумать, что этот риск на самом деле неизбежен, поскольку человечеству рано или поздно все равно наступит конец. Не стоит, однако, забывать, что экзистенциальные катастрофы – это катастрофы, которые уничтожают долгосрочный потенциал человечества, не позволяя нам достичь того, чего мы могли бы достичь. Если человечество (или наши потомки) вымрет, реализовав свой долгосрочный потенциал, это станет экзистенциальным успехом, а не провалом. Следовательно, общий экзистенциальный риск примерно равен вероятности того, что мы не реализуем свой долгосрочный потенциал. Примерно – потому что не реализовать свой потенциал мы можем и по другой причине, например если постепенно растратим его или если сохраним его, но даже не попробуем реализовать. Эти сценарии могут также представлять серьезную угрозу нашему долгосрочному будущему, а потому требуют внимательного изучения и действия. Но наше поколение не может уничтожить будущее человечества одним из этих способов, а потому они не рассматриваются на страницах этой книги.

476

Есть две основных причины, по которым это предположение может не оправдаться: первая связана с ужасными катастрофами, а вторая – с корреляциями между объективными вероятностями риска и ценностью реализации нашего потенциала.

В первом случае стоит отметить, что точная оценка требует от нас сравнения ожидаемой ценности всех рисков, то есть произведения их вероятности и ставок. Но если их ставки почти одинаковы (скажем, различаются не более чем на 1 %), то, сравнивая риски только по вероятности, мы теряем лишь крошечную долю точности. Во многих случаях есть веские причины полагать, что ставки варьируют не более чем на процент.

Это объясняется тем, что разница в ценности между миром, где человечество реализует свой потенциал, и миром, где этот потенциал будет уничтожен, в абсолютных значениях, как правило, гораздо больше, чем разница между различными исходами, в которых наш потенциал разрушается. Так, вымирание и необратимый коллапс цивилизации – два сценария, при которых наше будущее окажется весьма коротким и весьма малоценным. Следовательно, разница между ними гораздо меньше, чем разница между любым из них и долгим будущим, в котором нас ждет тысяча тысячелетий головокружительных побед.

Но есть и экзистенциальные риски, при наступлении которых ценность будущего не упадет почти до нуля, а окажется очень большой и отрицательной. Это случаи, когда мы почти достигнем максимума по своим масштабам (во времени, пространстве, технологическом уровне), но заполним свое будущее чем то, что имеет отрицательную ценность. Разница в ценности между таким ужасным исходом и вымиранием может соперничать с разницей между вымиранием и лучшим из возможных вариантов будущего. Для таких рисков необходимо скорректировать подход к анализу общего риска. Например, если риск предполагает, что будущее будет ужасным в той же степени, в которой прекрасен лучший из его вариантов, этому риску стоит придать двойной вес (или вообще отказаться от метода общего риска и переключиться на менее изящный метод ожидаемой выгоды). Поскольку я считаю, что такие риски очень маловероятны (даже с поправкой на увеличенный вес), а не стану вдаваться в детали.

Вторая проблема связана с неочевидной формой корреляции – не между двумя рисками, а между рисками и ценностью будущего. Возможно, есть риски, которые с гораздо большей вероятностью могут наступить в мире с высоким потенциалом. Например, если можно разработать искусственный интеллект, значительно превосходящий человеческий по всем фронтам, это повышает риск неконтролируемого ОИИ, но также повышает ценность, которую мы можем создать, используя ОИИ, настроенный в соответствии с человеческими идеалами. Не учитывая эту корреляцию, метод общего риска недооценивает ценность работы с этим риском.

Можно представить, что у риска и блага есть общая причина, которая и создает корреляцию. Высокий потолок технологических возможностей может считаться еще одной общей причиной целого ряда рисков и исключительно положительных вариантов будущего. Я не стану принимать эту возможность в расчет в остальной части книги, но это важный вопрос, который заслуживает рассмотрения в будущем.

477

Обратите внимание, что если несколько рисков имеют очень высокую