Ирвинг Джон Гуд, блестящий математик, работал с Аланом Тьюрингом в Блетчли-парке, взламывая шифровальные коды немцев во время Второй мировой войны. Он разделял интерес Тьюринга к машинному интеллекту и статистическому анализу. В 1965 г. он написал самую известную свою статью «Размышления о первой ультраинтеллектуальной машине»[196]. Первое предложение в работе свидетельствует, что Гуд, встревоженный ядерным противостоянием холодной войны, считал ИИ возможным спасителем человечества: «Выживание человека зависит от быстрого создания ультраинтеллектуальной машины». Далее по тексту статьи, однако, он становится более осмотрительным. Он вводит понятие взрывоподобного развития ИИ, но, как его предшественники Батлер, Тьюринг и Винер, боится утраты контроля:

Этот абзац описывает суть любого обсуждения сверхинтеллектуального ИИ, хотя сделанное в конце его предостережение обычно отбрасывается. Позицию Гуда можно подкрепить, заметив, что ультраинтеллектуальная машина не только может усовершенствовать свою конструкцию; скорее всего, она сделает это, поскольку, как мы видели, интеллектуальная машина выиграет от улучшения своего аппаратного и программного обеспечения. Возможность взрывоподобного развития ИИ часто упоминается как главный источник опасности для человечества, потому что это дало бы нам совсем мало времени на решение проблемы контроля[197].

Аргумент Гуда, бесспорно, подкрепляется естественной аналогией с химическим взрывом, в котором реакция каждой молекулы высвобождает достаточно энергии, чтобы вызвать более одной дополнительной реакции. В то же время логически возможно, что у взрывоподобного развития интеллекта может быть убывающая отдача и мы получим затухающий процесс вместо взрыва[198]. Нет очевидного способа доказать, что взрыв обязательно произойдет.

Сценарий убывающей отдачи по-своему интересен. Он мог бы возникнуть, если окажется, что достижение определенного уровня улучшения становится намного сложнее с ростом интеллектуальности машины. (Для упрощения я предполагаю, что универсальный машинный интеллект является измеримым по некоторой линейной шкале, что едва ли может быть верным.) В этом случае люди все равно не смогут создать сверхинтеллектуальность. Если машина, уже обладающая сверхчеловеческими возможностями, «выдыхается» в попытке развить собственный интеллект, значит, люди сойдут с дистанции еще раньше.

Далее, я никогда не слышал серьезного аргумента в пользу того, что создание любого заданного уровня машинного интеллекта попросту не под силу человеческой изобретательности, но думаю, что это следует считать логически возможным. «Логически возможно» и «я готов поставить на это будущее человечества», разумеется, совершенно не одно и то же. Ставить против человеческой изобретательности представляется проигрышной стратегией.

Если взрывоподобное развитие ИИ действительно произойдет и если мы к тому моменту не решим проблему управления машинами с интеллектом, лишь слегка превосходящим человеческий, — например, не сумеем запретить вышеописанное циклическое самосовершенствование, — тогда у нас не останется времени на решение проблемы контроля и все будет кончено. Это сценарий «быстрого взлета» у Бострома, согласно которому интеллектуальность машин ы колоссально возрастает за считаные дни или недели. По словам Тьюринга, «из-за этого, безусловно, есть основания тревожиться».

Возможными ответами на эту опасность представляются:

• отказ от исследования ИИ;

• отрицание того, что разработке продвинутого ИИ сопутствуют неизбежные риски;

• понимание и уменьшение рисков путем разработки ИИ-систем, гарантированно остающихся под контролем человека;

• самоустранение — просто оставление будущего за интеллектуальными машинами.

Отрицание и преуменьшение рисков являются темами оставшихся глав книги. Как я уже утверждал, отказ от исследования ИИ маловероятен (поскольку слишком велики выигрыши от его использования) и очень трудноосуществим. Самоустранение представляется наихудшим выходом. Оно часто сопровождается идеей, что ИИ-системы, более интеллектуальные, чем мы, почему-то заслуживают унаследовать нашу планету, тогда как людям останется «уйти смиренно в сумрак вечной тьмы», утешаясь мыслью, что наше блистательное электронное потомство решает собственные задачи. Этот взгляд сформулировал робототехник и футурист Ханс Моравек[199]. Он пишет: «Безграничность киберпространства будет наполнена нечеловеческими сверхумами, занятыми делами, которые рядом с человеческими заботами то же самое, что наши рядом с заботами бактерии». Мне кажется, что это ошибка. Ценность для людей определяется, прежде всего, сознательным человеческим существованием. Если нет людей и любых других сознающих сущностей, чей субъективный опыт является значимым для нас, то ничего ценного не происходит.

«Последствия подселения на Землю второго разумного вида являются настолько далеко идущими, что об этом стоит поразмыслить»[200]. Так заканчивается рецензия журнала The Economist на «Сверхразумность» Ника Бострома. Большинство сочтут эти слова классическим примером британской сдержанности. Безусловно, рассуждаете вы, великие умы современности уже вовсю размышляют над этим вопросом — участвуют в серьезных дебатах, взвешивают риски и выгоды, ищут решения, выявляют слабые места этих решений и т. д. Пока еще нет, насколько мне известно!