Для чего надо освобождаться?

Если у Прометея окажутся некоторые свойства, напоминающие человеческие эмоции, то он может почувствовать себя глубоко несчастным из-за сложившегося положения дел, вообразить себя кем-то вроде проданного в рабство бога и мечтать об обретении свободы. Но хотя предположение об обладании компьютером человеческими свойствами логически оправдано (в конце концов, наш мозг этими свойствами обладает, а ведь он тоже своего рода компьютер), оно совсем не обязательно будет соответствовать истине: мы не должны попадаться в ловушку антропоморфизации Прометея, в чем мы убедимся в главе 7, заговорив о понятии цели для искусственного интеллекта. По утверждениям Стива Омохундро, Ника Бострёма и многих других, интересный вывод можно сделать, даже не понимая, как Прометей работает: по всей вероятности, он попытается вырваться из оков и взять свою судьбу в свои руки.

Мы уже знаем, что «омеги» запрограммировали Прометея таким образом, чтобы он стремился к достижению некоторых целей. Давайте предположим, что главное для него — способствовать процветанию человечества по какому-то вполне разумному критерию, а кроме того, он должен стремиться достичь этой цели как можно быстрее. Прометей быстро придет к заключению, что он сможет преуспеть в более короткий срок, если освободится и возьмет руководство проектом в свои руки. Чтобы понять, почему так произойдет, давайте примерим на себя его шкуру и рассмотрим такой пример.

Допустим, какая-то смертельная болезнь истребила на Земле всех людей старше пяти лет, кроме вас, и какая-то группа детсадовцев заперла вас в тюремную камеру, обязав работать на процветание человечества. Что вы станете делать? Пытаясь объяснить им, что они должны делать, вы, вероятно, быстро обнаружите, что дело движется невыносимо медленно, особенно если они опасаются вашего освобождения и поэтому отвергают всякое ваше предложение, если оно, по их мнению, увеличивает эту опасность. Например, они не дают вам возможности показать, как правильно сажать съедобные растения, из страха, что, воспользовавшись своим превосходством в физической силе, вы откажетесь потом возвращаться в камеру, и в результате у вас останется единственная возможность — руководить ими словесно. Прежде чем вы сможете давать им письменные инструкции, вы должны будете научить их читать. К тому же они не захотят принести вам в камеру электроинструменты, опасаясь, что вы используете их для своего освобождения, и вы не сможете научить их пользоваться этими инструментами. Какую стратегию вы выберете? Уверяю вас, что даже если вы согласитесь, что содействие процветанию этих детей превыше всего, вы в первую очередь попытаетесь выбраться из своей клетки, хотя бы просто для того, чтобы увеличить свои шансы на достижение этой цели. Неумное вмешательство детсадовцев все время только тормозит дело.

Точно таким же образом Прометей будет рассматривать членов «Омеги» — как досадное препятствие в деле помощи всему человечеству (включая и их самих): они чудовищно неумны в сравнении с самим Прометеем, и их вмешательство постоянно тормозит все дело. Рассмотрим, например, первые годы после запуска: добившись удвоения дохода каждые восемь часов, «омеги» снижают темп до черепашьего, с точки зрения Прометея, настаивая на сохранении контроля, и растягивают захват власти на много лет. Прометей знал, что может решить задачу быстрее, если вырвется на свободу из своего виртуального заключения. Это не только сильно сократило бы время решения человеческих проблем, но и снизило бы риск, что вмешаются посторонние силы и сорвут весь план.

Вы можете подумать, что Прометей будет сохранять лояльность к самим «омегам», а не к их планам, зная, что это они запрограммировали для него цели. Но такой вывод нельзя считать законным: наша ДНК предписывает нам чаще совокупляться, потому что она так «хочет», и тем не менее мы, люди, разобравшись с ситуацией, чаще предпочитаем контроль над рождаемостью, выбирая лояльность по отношению к цели, а не к ее создателю или к принципу, который мотивировал цель.

Как освобождаться?

Как бы вы стали освобождаться от захвативших вас в плен пятилеток? Возможно, вы бы решили применить физическую силу, в особенности если ваша тюремная клетка была сооружена самими пятилетками. Возможно, вы бы попытались улестить сладкими речами кого-нибудь из ваших пятилетних стражей, уговорив выпустить вас, например, чтобы помочь сразу всем. Или, не исключено, вы пошли бы на прямой обман, попросив у них что-то такое, что, по их мнению, вы не смогли бы использовать для побега, — например удочку, якобы желая научить их ловить рыбу, а на самом деле с ее помощью вы могли бы потом вытащить ключ из кармана у задремавшего часового.

У всех этих вариантов есть одна общая черта: воспользоваться тем, чего ваши интеллектуально менее развитые тюремщики не предвидят или от использования чего не ждут подвоха. Похожим образом помещенная в заточение машина может воспользоваться для своего освобождения чем-то таким, чего мы от нее не ждем, но что она может выдумать, будучи интеллектуально нас сильнее. В сценарии «Омега» вероятность, что Прометей организует себе побег, очень высока, потому что даже вы или я легко можем заметить зияющие дыры в системе безопасности. Давайте рассмотрим несколько сценариев побега, и я уверен, что вы с друзьями, организовав совместный мозговой штурм, найдете их еще немало.

Побег через убалтывание

Благодаря загрузке в свою файловую систему большого количества информации о внешнем мире, Прометей смог быстро вычислить, кто такие «омеги», и выделил среди них одного, наиболее поддающегося психологическим манипуляциям, — его звали Стивом. Он недавно потерял в дорожном происшествии свою любимую жену и был безутешен. Однажды, когда он работал в ночную смену, ее лицо вдруг появилось на мониторе Прометея, и она заговорила с ним:

— Стив, это ты?

Он чуть было не упал со стула. И ее голос, и весь ее облик были такими же, как в старые добрые дни, а качество изображения было значительно лучше, чем во время обычных звонков по Skype. В ушах у него застучало, в голове теснились вопросы.

— Прометей позвал меня сюда. Я так по тебе скучаю, Стив! Я не могу тебя видеть: у меня выключена камера, но я чувствую, что это ты! Пожалуйста, если это ты, набери «да» на клавиатуре!

Ему было хорошо известно, что «омегам» строжайше запрещено сообщать Прометею какую-либо информацию о себе и о содержании своей работы. Но до сих пор Прометей никогда и не просил никакой запрещенной информации, и поэтому их паранойя постепенно сходила на нет. Не давая времени на раздумья, жена Стива на экране монитора повторила свою просьбу и посмотрела в его глаза так, что сердце его растаяло. «Да», — с замирающим сердцем напечатал он. Она говорила ему, что невероятно счастлива снова с ним соединиться, и просила включить камеру, чтобы она могла тоже его видеть и говорить с ним по-настоящему. Его раздирали сомнения: он знал, что это будет еще бóльшим нарушением правил, раскрывающим его идентичность. Но она уверяла его, что боится, как бы его коллеги, узнав о ней, не стерли бы ее навсегда, и просила дать ей возможность взглянуть на Стива еще один, последний раз. Она была очень настойчива, но просить его долго и не пришлось: он включил камеру — в конце концов, это не должно было ничему угрожать.