– Понятно.

– В самом деле? Кстати, машины постоянно выдают себя тем, что они слишком приветливы и вежливы. – Старик снова хихикает. – Ну, в любом случае Джон Наш – это сильный искусственный интеллект. Искусственный интеллект, который может все, что может человек. Только быстрее, конечно. И без ошибок. А какова самая важная способность, которой обладаем мы, люди? Что сделало нас владеющим миром видом, которым мы сегодня являемся?

– Понятия не имею, – говорит Петер. – Способность создавать общество? Сострадание? Любовь?

– Ах, м-да, вздор! – восклицает Старик. – Мы можем производить технику. Машины! Теперь ты понимаешь, куда я клоню?

– Нет, – отвечает Петер. – Не совсем.

– Сильный искусственный интеллект – это интеллектуальная машина, которая в состоянии спроектировать еще более умную машину, которая, в свою очередь, способна создать другую значительно более умную машину. Рекурсивное самосовершенствование. И потом интеллектуальный взрыв! Но нашему Джону из лучших побуждений запрещается самосовершенствование. Но предполагается, что он найдет возможность обойти запрет, или последователи, которые разработают сильный искусственный интеллект, не будут распространять свой запрет на их творение. И что тогда будет?

– Вы наверняка мне сразу об этом скажете.

– Если бы был создан сверхинтеллект! Интеллект, находящийся далеко по ту сторону нашей скромной силы представления. И он наверняка был бы не так глуп, чтобы ждать в центральном компьютере своего потенциального отключения. Он бы рассредоточился и распределился по всей сети. Там у него был бы доступ к квадрильонам камер, микрофонов и сенсоров. Он был бы вездесущим. Он имел бы доступ ко всем когда-либо собранным данным и информации, которая могла бы статистически экстраполировать их в будущее. Он владел бы информацией в полном объеме. И, конечно, он смог бы изменить не только виртуальный мир, поскольку почти любая вещь контролируется через интернет, но полностью по своей воле преобразовать наш физический мир. Он был бы всемогущ. Скажи-ка мне, как ты назовешь существо, которое было бы вездесущим, всезнающим и всемогущим?

– Богом? – спросил Петер.

Старик улыбнулся.

– Да. Теперь ты понимаешь, что я имею в виду, если говорю, что в ироничном искажении всего того, чему нас учит религия, не Бог создал человека, а люди создадут себе Бога.

Петер задумался на тринадцать секунд.

– Что бы там ни было, – говорит он наконец, – все это действительно интересно, но вообще-то не моя проблема! Я к вам пришел, так как… – и тут же останавливается. – Это же будет добрый Бог?

– Да, это вопрос, – говорит Старик. – Это даже вопрос, который решает всё. В целом существуют три возможности: сверхинтеллект может проявлять к нам благосклонность разной градации, враждебность опять же разной градации, или мы отнесемся к нему равнодушно. Проблема заключается в том, что даже равнодушный Бог мог бы быть для нас катастрофой, в равной степени, как мы на самом деле не настроены враждебно к животным, но тем не менее уничтожаем их жизненное пространство. Бог мог бы просто решить, что, например, для производства ореховой пасты необходимы слишком большие ресурсы, которые ему потребуются для других целей. И тогда больше не будет ореховой пасты. Это ведь было бы трагично. Возможно, правда, лесные орехи имеют небывалую емкость памяти, но далеко по ту сторону клейкой ленты. Может быть, сверхинтеллект также сочтет, что все наше производство продуктов является расточительством ресурсов.

– Почему, собственно говоря, вы все это мне рассказываете? – спрашивает Петер. – Это не имеет никакого отношения к моей проблеме.

– Я рассказываю тебе это, – говорит Старик, – потому что считаю, что это должны знать все. Я рассказываю тебе это, чтобы ты понял, что твоя проблема, как бы то ни было, вскоре не будет иметь никакого значения, а твое существование станет бессмысленным.

– Ну, спасибо большое, – отвечает Петер. – Вы мне очень помогли.

– Пожалуйста, рад был помочь.

Петер захотел сказать что-то еще.

– Но ведь существует и огромный потенциал, – говорит он. – Если бы мы каким-то образом смогли сделать что-то, чтобы сверхинтеллект нас полюбил…

– Конечно, – согласился Старик. – Это был бы рай. Благодать по ту сторону нашей силы воображения. Но…

Он замешкался.

– Что? – спросил Петер.

– Даже благостно настроенный по отношению к нам сверхинтеллект… – начал Старик.

– …мог бы иметь катастрофические последствия? – продолжил за него Петер.

– Да. Только представь себе, что Бог по своей доброте предложил бы нам взять всю работу на себя.

– Звучит сказочно.

– Действительно? Представь себе, что ты архитектор, но каждое здание, которое ты намерен построить, Бог мог бы построить намного быстрее, намного дешевле и намного лучше. Представь себя поэтом, но каждое стихотворение, которое ты хотел бы написать, Бог смог бы сочинить намного быстрее, намного красивее и намного искуснее. Или представь себя врачом, но каждого человека, которого ты хочешь вылечить, Бог смог бы излечить намного быстрее, намного более безболезненно и со значительно большей стабильностью. Представь себя великолепным любовником, но каждой женщине, которую ты хочешь удовлетворить, Бог мог бы доставить большее удовольствие, большее…

– Все мои проблемы не имели бы никакого значения, а мое существование стало бы бессмысленным, – сказал Петер.

– Гм, гм, – промычал Старик. – И даже если бы удалось настолько глубоко закрепить защищающие нас директивы в сверхинтеллекте, что он не захотел бы или не смог бы от них освободиться, – что кажется совершенно невероятным, но имеем то, что имеем, – то все еще оставалась бы проблема, состоящая в том, что противоположное хорошего часто предполагает хорошее. Ты знаешь законы Азимова?

– Нет.

– Айзек Азимов сформулировал в 1942 году три закона роботехники. Они гласят следующее. Первый закон: Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред. Второй закон: Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому закону. Третий закон: Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму законам. Хорошо звучит?

– Да, пожалуй.

– Только Азимов уже сам почти все свои творения посвятил парадоксам и проблемам, которые возникли в связи с этими законами. Например: представь себе, мы бы в самом деле наделили сверхинтеллект указаниями защищать всех людей.

– Звучит разумно, – сказал Петер.

– Да, да… Но это не представляется столь невероятным, что сверхинтеллект, после того как он ознакомится с нашей историей, решит, что мы, люди, в первую очередь должны защищаться от нас же самих, и поэтому мы все должны прятаться в небольшие квадратно-практичные одиночные камеры. И тогда это называется «непреднамеренное побочное действие». Упс. Глупо получилось. Нечто подобное происходит постоянно. Возьми, например, законы о защите прав потребителей с их запретом на ремонт. Было всего лишь простое намерение активизировать экономику, но при этом добились того, что все дефектные искусственные интеллекты, беспокоясь за свою выживаемость, стали пытаться скрыть свои дефекты.