Мысль в том, что подобное творение будет последним инструментом, телеологическим концом нашего пути, начавшегося с броска первого копья. Оно будет «последним изобретением, которое человеку когда-либо нужно будет создать». Гуд верил, что такое изобретение будет необходимо для выживания нашего вида, а катастрофы удастся избежать, только если сделать машину «достаточно покорной, чтобы рассказать нам, как ее контролировать».

Этот механизм, покорный или нет, работал бы на интеллектуальном уровне, настолько превышающем уровень его человеческих прародителей, что его уловки, его загадочные пути мысли были бы для нас непостижимы – аналогично тому, как наши действия непонятны для крыс и обезьян, которых мы используем в научных экспериментах. И поэтому интеллектуальный взрыв станет завершением эпохи господства человека и, возможно, окончанием человеческого существования.

Как выразился Минский, «неразумно думать, что машины станут такими же умными, как мы, и остановятся на этом, или что мы всегда сможем тягаться с ними в остроумии или мудрости. Сможем ли мы сохранить контроль над этими машинами при условии, что он может нам понадобиться, когда основы деятельности или устремлений будут полностью изменены присутствием на Земле созданий, интеллектуально превосходящих человека».

Это, по сути, основная идея сингулярности и ее обратной стороны – катастрофического экзистенциального риска. Слово «сингулярность» – это прежде всего физический термин, характеризующий центр черной дыры с бесконечной плотностью материи, где не работают пространственно-временны́е законы.

– Очень сложно будет предсказать будущее, как только появится нечто умнее человека, – сказал Нейт. – Так же, как шимпанзе очень трудно предсказать, что случится, потому что многое вокруг выше его понимания. Так вот что такое сингулярность – это некий момент в прошлом, который вы ожидаете и который не сможете увидеть.

Несмотря на убеждение, что после появления искусственного интеллекта предсказать будущее станет сложнее, чем угадать, сколько цветов вырастет в саду, Нейт считал, что ситуация, в которой человечество будет просто выброшено в мусорную корзину истории, весьма вероятна.

Вот над чем он и его коллеги работали в МИРИ, в Институте будущего человечества, в Институте будущей жизни: они пытались предотвратить создание искусственного сверхинтеллекта, который смотрел бы на нас, своих создателей, как на сырье, которое можно переработать в более полезную форму (и совсем не обязательно в канцелярские скрепки). По тому, как Нейт говорил, становилось ясно, что, по его мнению, вероятность нашего провала непомерно высока.

– Поясню, – сказал Нейт. – Я думаю, это дерьмо убьет меня.

Я почему-то испугался его прямоты. Похоже, Нейт воспринимает эту угрозу так же серьезно, как и говорит о ней. Я достаточно хорошо понимал, что для таких людей, как он, это не просто интеллектуальное развлечение, и что они действительно видят такой вариант развития событий весьма реальным. И все же мысль о том, что Нейт предпочел бы умереть от рук гениальной компьютерной программы, а не от рака, болезни сердца или от старости, в конечном счете кажется безумной. Похоже, он пришел к этой позиции самым рациональным путем. Хотя я почти ничего не понимал в математических символах и логических схемах, которые он рисовал мне на доске, я принял их в качестве доказательства. И все же его позиция показалась мне настолько нерациональной, насколько это было возможно. Не в первый раз я был поражен тем, как абсолютный разум может служить абсолютному безумию. Но, опять же, возможно, это я был сумасшедшим или, по крайней мере, безнадежно необразованным тупицей, неспособным понять логику надвигающегося апокалипсиса.

– Ты действительно веришь в это? – спросил я. – Ты действительно считаешь, что искусственный интеллект собирается тебя убить?

Нейт коротко кивнул и щелкнул крышкой красного маркера.

– Всех нас, – ответил он. – Вот почему я покинул Google. В перспективе этот риск самый серьезный. И, в отличие от других разрушительных рисков, например изменения климата, он чрезвычайно недооценен. Над проектом разработки искусственного интеллекта трудятся тысячи людей, в него вливаются миллиарды долларов. А над его безопасностью по-настоящему работают меньше десяти человек во всем мире, четверо из которых находятся в этом здании. Это подобно тому, как если бы тысячи людей пытались опередить друг друга в разработке ядерного синтеза, но никто бы не задумывался о его сдерживании. А мы должны работать над сдерживанием искусственного интеллекта. Потому что очень умные люди, работающие над искусственным интеллектом и постепенно приближающиеся к нему сейчас, в случае успеха просто убьют всех.

– При нынешнем положении дел, – сказал я, – с большей вероятностью мы будем уничтожены этой технологией, не так ли?

– По умолчанию – да, – ответил Нейт и поставил свой красный маркер на стол, удерживая его вертикально, словно ракету, готовящуюся к запуску. Он произносил это удивительно отстраненно для говорящего о моей смерти, или о смерти моего сына, или о смерти моих будущих внуков, не говоря уже о любом человеке, кому не посчастливится столкнуться с этим неизбежным апокалипсисом. Он будто говорил о какой-то чисто технической проблеме, о некотором требовательном и строгом бюрократическом препятствии.

– Я настроен довольно оптимистично, – сказал он, откидываясь в кресле. – Если мы будем больше говорить об этих проблемах, то по мере стремительного продвижения в направлении создания искусственного интеллекта люди станут гораздо больше беспокоиться и подготовятся к его приходу. Но без таких людей, как мы, поднимающих эти вопросы, наш путь по умолчанию, безусловно, обречен на провал.

По причинам, которые мне трудно объяснить, эта фраза «путь по умолчанию» все утро не выходила у меня из головы, тихо отдаваясь эхом в сознании – когда я покинул офис МИРИ и направился в сторону станции скоростных электропоездов системы BART и когда мчался на запад через темноту бухты. Никогда ранее я не слышал эту фразу, но интуитивно понял, что это был термин программирования, перенесенный на более широкий контекст будущего. Фраза «путь по умолчанию», обозначающая, как я позже узнал, список каталогов, в которых операционная система ищет исполняемые файлы в соответствии с заданной командой, представляла собой взгляд на нашу реальность в миниатюре: уверенность, подкрепленная абстракциями и повторяющимися доказательствами того, что мир представляет собой тайную систему команд и действий и что его уничтожение или спасение – это следствие неукоснительно выполняемых логических операций. Это был именно тот апокалипсис, или, иными словами, именно то спасение, которое мог вообразить программист. И какова природа этих неукоснительно выполняемых логических операций? Что необходимо для предотвращения такого апокалипсиса?

Прежде всего необходимы, как и всегда, деньги и умные люди. И, к счастью, было много людей с достаточным количеством денег для финансирования достаточно умных людей. Большая часть средств финансирования МИРИ поступала в виде небольших пожертвований от заинтересованных граждан, людей, работающих в сфере технологий, в основном программистов, инженеров программного обеспечения и так далее. Также поступали щедрые пожертвования от таких миллиардеров, как Питер Тиль и Илон Маск.