Еще один минус этого сценария состоит в том, что бог-защитник иногда отказывается предотвращать страдание, хотя и мог бы, дабы не раскрыть своего существования. Что-то подобное изображалось в фильме The Imitation Game, когда Алан Тьюринг и работающий с ним в Блетчли-парке британский хакер заранее узнают о готовящихся атаках германских подводных лодок на конвой кораблей союзников, но решают предупреждать только о ничтожно малой их доле, дабы не раскрыть своего секретного оружия. Тут есть интересное сходство с так называемой проблемой теодицеи: если бог всемогущ, почему он допускает существование зла? Некоторые религиозные мыслители объясняют это тем, что бог хочет оставить людям хоть какую-то свободу. В сценарии бога-защитника с искусственным интеллектом решение проблемы теодицеи состоит в том, что субъективно воспринимаемая свобода делает человека счастливее независимо ни от чего.

Наконец, третий минус сценария бога-защитника заключается в том, что людям раскрывается лишь ничтожная часть новых технологий, открытых сверхразумным искусственным интеллектом. В то время как благодетельный диктатор имеет возможность обратить на помощь человечеству любое из сделанных им открытий, искусственный интеллект бога-защитника ограничен в выборе технологий теми, которые, пусть даже с некоторыми деликатными подсказками, люди в состоянии понять и открыть заново. Ему, возможно, придется даже тормозить естественный технологический прогресс людей, чтобы обеспечить достаточное их отставание в развитии новых технологий, не позволяющее им обнаружить его присутствие.

Разве не было бы прекрасно, если бы нам, людям, удалось сочетать все плюсы рассмотренных выше сценариев и воспользоваться новыми технологиями, создаваемыми сверхразумным искусственным интеллектом для того, чтобы исключить человеческие страдания, но сохранить при этом власть над своей судьбой? В этом и заключается смысл сценария «Порабощенный бог», в котором сверхразумный искусственный интеллект остается во власти людей, а люди только пользуются создаваемыми им технологиями и богатством. Сценарий «Омега» в начале книги именно этим и должен заканчиваться, если только Прометею не удастся улизнуть и обрести свободу. В самом деле, кажется, именно этот сценарий по умолчанию подразумевается многими исследователями искусственного интеллекта, которые ставят задачу «сохранения контроля» и «содержания под замком» (AI boxing). Так, например, профессор Том Диттерих, в то время президент Ассоциации по развитию искусственного интеллекта, говорил в 2015 году в интервью: «Люди спрашивают, каковы взаимоотношения между человеческими существами и машинами, и мой ответ на этот вопрос совершенно очевиден: машины наши рабы».

Если будет так, хорошо это или плохо? Вопрос оказывается неожиданно деликатным, причем независимо от того, с чьих позиций мы на него отвечаем — людей или машин.

Хорошо это или плохо для человечества?

Положительных или отрицательных последствий должны мы ждать от обладания человеческими существами полного контроля над искусственным интеллектом, очевидно, зависит от того, что это за человеческие существа (или даже человеческое существо), получившие такой контроль, поскольку их интересы могут варьироваться в очень широких пределах — от глобальной утопии, свободной от болезней и преступности, до чудовищной репрессивной машины, в которой к ним самим относятся как к всемогущим богам, а все остальные люди превращаются в секс-рабов, гладиаторов или служат каким-то еще увеселениям. Истории могут походить на те сочинения, в которых герои получают власть над всемогущим гением, способным удовлетворить любое их желание, но у сочинителей таких историй никогда не было недостатка в скверных финалах.

Ситуации, когда сверхразумных искусственных интеллектов оказывается больше одного и все они контролируются враждующими группами людей, будут, скорее всего, очень нестабильными и короткоживущими. Всегда может появиться тот, кто убежден в превосходстве своего сверхразума и потому отважится на первый удар, за которым последует чудовищная война, разрешающаяся единственным порабощенным богом. Но в такой борьбе всегда может найтись «темная лошадка», которая начнет вести свою игру и гнуть углы, надеясь перехитрить всех и воспользоваться победой других, чтобы перехватить власть над порабощенным разумом, и тогда дело кончится побегом искусственного интеллекта с переходом к одному из тех сценариев свободного сверхразума, которые мы уже рассматривали выше. Поэтому дальше в этом разделе мы будем рассматривать только те варианты, в которых есть единственный порабощенный искусственный интеллект.

Конечно, побег его в этом случае весьма вероятен просто потому, что его трудно предотвратить. Варианты побега сверхразума мы рассматривали в предыдущей главе, а в фильме Ex Machina показано, что искусственный интеллект может совершить побег, даже не будучи сверхразумным.

Чем сильнее наша паранойя по поводу побега искусственного разума, тем меньше мы можем воспользоваться создаваемыми им технологиями. Чтобы обезопасить себя, вроде как «омеги» в прелюдии, нам, людям, придется ограничить себя только теми технологиями, которые мы в состоянии понять и использовать. Оборотной стороной сценария порабощенного бога окажется поэтому значительное технологическое отставание в сравнении со свободным сверхразумом.

По мере того как порабощенный бог с искусственным интеллектом будет предлагать своим поработителям все более и более мощные технологии, начнется соревнование между мощностью технологии и сообразительностью тех, кто должен ею пользоваться. Если они эту гонку проиграют, то сценарий закончится либо их самоуничтожением, либо бегством искусственного интеллекта. Но катастрофа может разразиться, даже если провала по обоим направлениям удастся избежать, потому что благородные намерения людей, контролирующих искусственный интеллект, могут всего за несколько поколений смениться совершенно чудовищными для человечества. Так что абсолютно необходимо, чтобы в среде этих людей сложились правильные представления об управлении обществом, иначе они не смогут обойти все эти катастрофические ловушки. Наши опыты с различными системами общественного управления, проводившиеся на протяжении тысячелетий, показывают, сколь многое может пойти не так — от избыточной ригидности до избыточной изменчивости в постановке целей, насильственной узурпации власти, проблем престолонаследования и общей некомпетентности. Есть как минимум четыре направления, по которым баланс может быть нарушен: