Представим себе, что в один прекрасный день инопланетная цивилизация — или наша собственная цивилизация будущего — изобретет искусственный интеллект, по способностям превосходящий своих создателей. Это творение будет обладать явными ламарковскими свойствами: оно сможет учиться как у предшественников, так и на своих ошибках. Искусственный интеллект будет быстро развиваться и обретет устрашающую мощь. Некоторые ученые и писатели, в том числе Стивен Хокинг, предполагали, что он представляет собой настоящую угрозу жизни на Земле, а может быть, даже во всей Вселенной. Другие (включая меня) больше склонны верить, что чем разумнее организм, тем меньше он склонен к разрушению и доминированию, обусловленному страхом. Но каким бы ни был инопланетный сверхразум — злобным и опасным или добрым и мудрым, главный вопрос заключается в том, как может выглядеть экосистема планеты, которую на протяжении долгого времени населяли бы подобные искусственные организмы. Стоит ли ожидать чего-то в целом напоминающего то, что я в общих чертах описал в предыдущих разделах, или это будет нечто совсем иное, нарушающее все правила, заданные естественным отбором?

На первый взгляд кажется, что многие привычные признаки известных нам животных и растений просто исчезнут, если все организмы в экосистеме обзаведутся сверхразумом. Так, оксфордский профессор Ник Бостром предполагает, что сообщество искусственных интеллектов наладит столь эффективный и надежный обмен информацией, что многие аспекты поведения животных станут ненужными[114]. Большие рога, павлиньи перья, яркие краски, даже птичьи песни — зачем утруждать себя столь своеобразными и малоэффективными способами передачи простых сообщений типа «Я здесь, и я крут»? Искусственным организмам достаточно для этого отправить электронное сообщение. А в правильно сконструированной системе будет обеспечена проверка достоверности этого сообщения (раздел 8). В приложении для знакомств типа нашего Tinder липовых профилей точно не допустят.

По мнению Бострома, даже игры будут ненужными, поскольку организмы станут «рождаться» (создаваться) с готовым знанием всего, что им необходимо для выживания в этом мире, и им не придется экспериментировать и осваивать различные навыки. Котята робогепардов будут уметь охотиться на газелей сразу, как только их включат, и им не понадобится учиться терпеливо подкрадываться к своим сверстникам или играть с мелкими животными и подраненной добычей.

У искусственного сверхразума, очевидно, должна быть какая-то цель. Скорее всего, нам окажется не под силу даже приблизительно предсказать, какая именно. Возможно, исследовать Вселенную, или уничтожить все остальные цивилизации, или, согласно самому пессимистическому сценарию Бострома, производить скрепки, безжалостно обращая всю материю во Вселенной в бесконечно разрастающуюся груду этих канцелярских изделий.

Если у нарождающегося разума имеется лишь одна цель — производить скрепки или уничтожать все другие организмы, то обязательным условием оказывается точная передача этого задания всем роботам во Вселенной, производящим скрепки. Должен быть предусмотрен какой-то абсолютно непогрешимый способ коммуникации. В противном случае малейшая ошибка приведет к тому, что некоторые боты начнут производить скобы для степлеров вместо скрепок. Тогда конкуренция между сверхразумными роботами, производящими скрепки, и роботами, производящими скобы, может привести к войне и взаимоуничтожению.

Насколько вероятна такая вселенная, пронизанная сетью компьютеров, занятых исключительно обменом информации, самовоспроизводством и выполнением единственной задачи? Скорее всего, не очень. Если подобный инопланетный мир искусственных разумных организмов и появится, есть вещи, которых ему не избежать — какими бы разумными и тщательно спроектированными ни были организмы, его населяющие. С одной стороны, искусственный интеллект не может совершенствоваться, не меняясь, а изменения влекут за собой риск мутаций. С другой стороны, даже самая продуманная стратегия открывает потенциальные возможности для паразитирования — нельзя упускать из виду теорию игр даже применительно к компьютерам, наделенным сверхразумом, развившимся до фантастического уровня.

В жизни (то есть у природных организмов вроде нас) мутации происходят потому, что во Вселенной присутствует элемент случайности. Прилетевший из космоса луч выбивает из атома электрон, и процесс копирования ДНК нарушается. Фермент может быть на 99,99 % специфичен к определенному белку, но всегда существует вероятность в 0,01 %, что он свяжется «не с тем» белком. Подобные случайные ошибки могут быть фатальными — обычно достаточно одной неверной «буквы» в энциклопедии вашей ДНК, чтобы вы еще на стадии эмбриона не смогли полноценно расти и развиваться. Следовательно, жизнь (земная или инопланетная) не могла достичь нынешней сложности, не располагая каким-то способом выявления и исправления ошибок при каждом копировании ДНК. Как правило, эта система работает вполне успешно. Клетки нашего организма непрерывно делятся и воспроизводятся, о чем в высшей степени наглядно свидетельствует тот факт, что из трехкилограммового младенца вырастает взрослый человек весом 70 кг. Каждая клетка получает точную копию ДНК, а если этого не происходит, часто возникают онкологические заболевания.

Однако не все мутации непременно столь вредны. Мутация, из-за которой у вас на стадии эмбриона чуть дольше продолжается рост шейных позвонков, может быть полезной или бесполезной для вас во взрослом возрасте, но скорее всего, не погубит вас на эмбриональной стадии. Изменчивость отдельных особей неизбежна в силу мутаций (а также — по крайней мере на Земле — благодаря половому размножению).

Все это достаточно просто, когда речь идет о естественном отборе, поскольку у естественного отбора нет плана и нет разработчика. Никто не знает заранее, какие признаки организма будут полезными, а какие вредными. Без подобного предвидения единственный способ испытать различные варианты — случайные, но мелкие мутации и изменения того, что уже имеется в наличии.

А если нам известно, чего мы хотим? Что, если у нас есть план, как должно выглядеть и вести себя наше потомство, и мы не хотим ничего оставлять на волю случая?

Допустим, некий искусственный интеллект (или даже живой организм) создает набор самовоспроизводящихся разумных космических роботов-зондов для исследования (и освоения) Вселенной. Все зонды приземлятся на разных планетах, и каждый начнет производить подобные себе аппараты, примерно как в рассказе Днепрова «Крабы идут по острову». Будет ли каждый дочерний зонд идентичен родительскому? Вряд ли. Родительский зонд может целенаправленно сделать их несколько различающимися, исходя из разумного предвидения: например, один может быть лучше приспособлен для подводного плавания, а другой для воздушных полетов. Но возникнут ли в этом процессе ошибки (мутации)? Казалось бы, родительский зонд, как всякий ответственный инженер, должен постараться обеспечить точное соответствие каждого выполненного экземпляра требованиям проекта. Эволюционные мутации дают преимущество лишь потому, что эволюция не обладает предвидением! Если у вас есть предвидение, логично избавиться от случайности.