которым мы сталкиваемся, менее серьезен. Можем ли мы ожидать, что проживем еще 2000 таких веков, как этот? Можем ли мы быть на 99,95 % уверены, что протянем еще сто лет?

Таблица 6.1. Мои лучшие оценки вероятности экзистенциальной катастрофы по каждой из перечисленных причин в последующие 100 лет (если катастрофа имеет отложенный эффект, как в случае с изменением климата, я оцениваю вероятность того, что в ближайшие 100 лет будет пройдена точка невозврата). Погрешность этих оценок достаточно велика: их следует считать указанием на верный порядок величин, но каждая при этом вполне может оказаться в 3 раза выше или ниже. Обратите внимание, что цифры не совсем согласуются друг с другом, потому что иначе могло бы возникнуть ложное ощущение точности оценок, а также по неочевидным причинам, описанным в разделе “Объединение и сравнение рисков”.

В связи с этим я присвою рискам количественные вероятности и поясню, как их трактовать. В научном контексте количественные оценки порой безосновательно кажутся людям объективными или точными[467]. Не считайте эти цифры совершенно объективными. Даже с таким хорошо изученным риском, как столкновение с астероидом, научные данные дают нам лишь часть информации: мы неплохо знаем, какова вероятность столкновения, но плохо представляем, какова вероятность того, что определенное столкновение уничтожит наше будущее. Не считайте оценки точными. Они нужны, чтобы показать верный порядок величин, а не более точную степень вероятности.

Цифры показывают мою степень уверенности в том, что каждая из катастроф случится в текущем столетии. Это значит, что в них находят отражение не только сведения и доводы из глав о рисках, но и вся совокупность знаний и суждений о каждом из рисков, которую невозможно в сжатой форме изложить на нескольких страницах. Их никак нельзя считать окончательными – скорее эти цифры представляют собой краткий конспект всего, что я знаю о рисковом ландшафте.

Одна из самых удивительных характеристик этого рискового ландшафта – огромная разница между вероятностями разных рисков. Одни риски в миллионы раз вероятнее других, и мало какие из рисков имеют вероятности одного порядка. Такая разница наблюдается и между разными классами рисков: по моим оценкам, антропогенные риски более чем в 1000 раз вероятнее природных[468]. Из антропогенных рисков, на мой взгляд, риски, сопряженные с технологиями будущего, примерно в 100 раз серьезнее рисков, сопряженных с существующими технологиями, а следовательно, риски в третьей, четвертой и пятой главах расположены по мере роста их вероятности.

На первый взгляд такая неоднородность может показаться неожиданной, но в науке на удивление часто встречается подобное распределение, включающее цифры различных порядков, где основной вклад в целое вносят максимальные величины. Из-за этой неоднородности нам крайне важно отдавать приоритет работе с нужными рисками. Кроме того, именно поэтому наша оценка общего риска сильно зависит от оценки нескольких самых серьезных рисков (которые входят в число самых слабо изученных). В связи с этим ключевой задачей становится более глубокое изучение этих рисков и более точная их оценка.

На мой взгляд, самый серьезный риск для человеческого потенциала в ближайшее столетие представляет неконтролируемый искусственный интеллект, которому я присвоил вероятность 1 к 10. Может показаться странным, что вероятность такого умозрительного риска столь высока, поэтому не помешает объяснить, чем я руководствовался.

При оценке вероятности беспрецедентного события, способного потрясти весь мир, принято проявлять скепсис: начинать с исключительно низкой вероятности и увеличивать ее лишь в том случае, когда появляется большое количество объективных данных в поддержку такого решения. Я не согласен с таким подходом. Я полагаю, что правильнее начинать с вероятности, которая отражает наши общие впечатления, а затем корректировать ее с учетом научных данных[469]. Когда данных много, эти подходы соединяются. Но когда данных мало, нам не все равно, с чего начинать.

В случае с искусственным интеллектом никто не спорит, что данные и доводы пока далеки от однозначности, но возникает вопрос: что нам это дает? Если не вдаваться в подробности, в своем анализе я отталкиваюсь от общего мнения экспертного сообщества, согласно которому вероятность того, что в ближайшее столетие появятся агенты ИИ, способные превзойти человека в выполнении практически любой задачи, составляет примерно 1 к 2. Если это случится, не стоит удивляться, что агенты, превосходящие нас по всем фронтам, в итоге, возможно, унаследуют наше будущее. Особенно если, рассматривая ситуацию в деталях, мы предвидим серьезные трудности при настройке таких агентов на соответствие нашим ценностям.

Одни мои коллеги присваивают этому риску большую вероятность, чем я, а другие – меньшую. Но в целом наши цифры сходятся. Допустим, вы более скептически подходите к оценке этого риска и присваиваете ему вероятность 1 к 100. С информационной точки зрения эти оценки не так далеки друг от друга: нужно не так уж много данных, чтобы перейти от одной из них к другой. С практической точки зрения они тоже, скорее всего, не слишком различаются: экзистенциальный риск, имеющий любую из этих вероятностей, стал бы проблемой первостепенной важности во всем мире.

Порой я представляю рисковый ландшафт, ориентируясь на пять серьезных рисков: ядерной войны, изменения климата, другого экологического ущерба, пандемий искусственного происхождения и неконтролируемого ИИ. Хотя я считаю последние два особенно важными, на мой взгляд, каждый из них с вероятностью не менее 1 к 1000 может в текущем столетии уничтожить потенциал человечества, а потому каждому из них необходимо противостоять силами всего мира, учитывая их вклад в общий уровень экзистенциального риска (в дополнение к другим убедительным причинам).

В целом я считаю, что вероятность экзистенциальной катастрофы в последующее столетие составляет примерно 1 к 6. Это не малая статистическая вероятность, которую нам следует держать в голове, как, например, вероятность погибнуть в дорожной аварии, а серьезная цифра, свидетельствующая о том, что действительно может произойти, сопоставимая с вероятностью выпадения любого из чисел на игральной кости или вероятностью неудачи в русской рулетке.

Риск велик, но наше положение вовсе не безнадежно. Оценка подразумевает, что в пяти случаях из шести человечество сумеет прожить следующую сотню лет, не растеряв свой долгосрочный потенциал. В связи с этим, хотя я считаю, что управление некоторыми рисками (скажем, рисками с вероятностью 1 к 1000 и выше) следует признать глобальной задачей первостепенной важности, я не говорю, что этот век станет для нас последним.

Что насчет более отдаленной перспективы? Если бы я был вынужден сделать прогноз, я бы сказал, что вероятность того, что человечество избежит всех экзистенциальных катастроф и реализует свой потенциал, то есть построит будущее, которое будет