исход с вымиранием: “Если вы человек, Уинстон, вы – последний человек. Ваш вид вымер; мы наследуем Землю. Вы понимаете, что вы один? Вы вне истории, вы не существуете”.

Хотя книга была опубликована в 1949 году, письма военного времени показывают, что Оруэлла действительно тревожили такие перспективы (это были не просто умозрительные построения) и многие его идеи появились еще до создания ядерного оружия (Orwell, 2013). В примере Оруэлла почти ни у кого – даже у элит – не осталось в жизни ничего поистине ценного. Это один из возможных исходов – но ясно, что и менее радикальные могут быть дистопическими, поскольку обнищание масс вполне может перевесить обогащение избранных.

Я считаю, что Оруэлл рисует правдоподобную картину, но в целом я все равно склонен считать первым серьезным (и антропогенным) экзистенциальным риском ядерное оружие (либо из за угрозы воспламенения атмосферы, либо из за угрозы мировой ядерной войны).

443

Обратите, однако, внимание, что, даже если изначально глобальная экспансия не входила в их планы, развитие все равно могло пойти в этом направлении, как только они обеспечили бы себе такую возможность. Даже если сначала у них были средства только для того, чтобы построить режим, способный держаться десятилетиями, это давало время, чтобы разработать технологические и социальные методы, чтобы десятилетия стали веками. За это время режим продолжил бы укрепляться и дальше.

444

Скотт Александер убедительно анализирует такие возможности в книге “Размышления о Молохе” (2014).

445

К. С. Льюис (1943; перевод Н. Трауберг) намекает на эту возможность, анализируя растущую власть человечества над природой, в частности обеспечиваемую генетическими технологиями. Он отмечает, что такая власть вполне может дойти до уровня, где одно поколение (или даже его часть), по сути, сможет определять траекторию развития человечества на все последующие поколения вперед: “Таким образом, речь может идти не о «прогрессе», но об одном столетии (скажем, сотом от Рождества Христова), которому лучше прочих удастся подмять под себя все остальные века и овладеть родом человеческим. Несомненно, в столетии этом, или, скорее, поколении, такой силой будет обладать не большинство, а меньшинство. Если мечты ученых осуществятся, крохотная часть человечества получит власть над многими миллиардами людей”.

446

Большинство нормативных установок обладает этим неочевидным свойством, поскольку задаваемый стандарт поведения не учитывает, что сама установка может быть неверна. Так как фиксация верной установки сопряжена с малыми издержками и большими выгодами, часто установка дает именно такую рекомендацию. К важным исключениям относятся установки, которые вообще не предполагают оглядки на последствия (например, если действия, способные привести к тому, что навсегда закрепится другая установка, не вызывают опасений), и установки с сильным либеральным посылом (например, если другая установка вызывает беспокойство, нормативная теория в явной форме дает свободу ее отвергнуть).

Хотя меня тревожит вероятность преждевременного утверждения нормативной теории, о которой все мы потом пожалеем, я не считаю встроенную в нее рекомендацию к фиксации причиной ее отвергать. Я думаю, что верное решение находится на том уровне моральной неопределенности, который я подробно проанализировал в другой работе (MacAskill, Bykvist & Ord, готовится к публикации). Людям следует сохранять некоторые сомнения в том, какие нормативные теории верны, и это дает нам веские, основанные на моральной неопределенности причины противостоять фиксации теории, даже если мы полагаем, что она с высокой вероятностью верна, поскольку нам надо оградить себя от риска ошибиться.

447

Бустрём (Bostrom 2013) предостерегает нас от этого, а Батлер (Butler 1863, 1872) заигрывает с этой идеей. Она практически гарантировала бы, что продолжительность жизни человечества будет ограничена фоновым уровнем природных рисков (хотя антропогенные риски, разумеется, все равно могут покончить с нами еще раньше). И это точно лишило бы нас возможности увеличить продолжительность своей жизни и расселиться за пределами Земли, хотя в ином случае это было бы в наших силах (и, вероятно, оставалось бы важной частью нашего потенциала).

448

Еще одним вероятным примером могут служить миры, где мы отказываемся от всех попыток покинуть Землю (возможно, чтобы оставить небеса нетронутыми). См. главу 8, где я рассуждаю о том, почему главное, чего мы можем достичь, стоит искать за пределами Земли.

449

Тринадцатая поправка гласит: “Запрещается вносить в Конституцию поправки, которые наделяют Конгресс полномочиями ликвидировать или видоизменять местные институты любого из штатов, включая институт принудительного труда или услужения, предусмотренный законами этого штата”.

Поправка была принята Конгрессом и даже поддержана Линкольном, но так и не ратифицирована. Неясно, могла ли она сработать, поскольку осталась бы возможность сначала аннулировать ее, а затем отменить рабство. Кроме того, она не гарантировала бы сохранение рабства навсегда, поскольку каждый из рабовладельческих штатов все равно был бы в состоянии отменить рабство на своей территории (Bryant, 2003).

450

По крайней мере, если его не подтолкнет к этому ранняя разработка продвинутого ОИИ. Такую катастрофу лучше причислять к рискам, сопряженным с ИИ.

451

Обратите внимание, что даже при таком подходе варианты могут считаться плохими в инструментальном смысле, если отсекают многие другие варианты. Следовательно, отсечение таких вариантов обретет инструментальную ценность (например, если отсечь вариант, в котором мы намеренно спровоцируем собственное вымирание). В связи с этим можно сделать вывод, что закреплять нам нужно лишь минимизацию блокировки.

Это изящный и логичный принцип, но, вероятно, его можно улучшить, просто ограничив нашу возможность выбирать такие варианты или сделав так, чтобы выбрать их можно было только огромным квалифицированным большинством голосов (такие техники часто применяются при заключении обязательных к исполнению многосторонних соглашений, таких как конституции и контракты). Так мы поможем себе не вымереть случайно (при явном отказе здравого смысла в любом обществе), но сохраним гибкость на тот маловероятный случай, если позже мы поймем, что наше вымирание будет только к лучшему.

452

Главная причина такого разброса вероятностей в том, что самовоспроизводящиеся машины кажутся технологически гораздо более сложными, чем фабрикаторы, и гораздо медленнее выходят на самоокупаемость, а потому над ними работают гораздо меньше (Phoenix & Drexler, 2004). Однако научное любопытство и возможность нишевого применения технологии в конце концов заставят нас испробовать ее, и на этот случай нужно разработать меры безопасности.

Атомарно точное производство позволит наладить дешевое производство ядерного оружия. Можно подумать, что такое невозможно,