Подводя итог, мы можем сказать, что вопрос о том, каким образом будет контролироваться сверхразумное будущее, увлекательно сложен, и никаким внятным ответом мы пока не располагаем. Одни говорят, что неизбежно усиление авторитаризма, другие говорят о росте индивидуальной свободы.

Один из коньков современной научной фантастики — это идея слияния людей и машин либо путем технологического дополнения биологического тела, превращающего человека в киборга (сокращение от «кибернетический организм»), либо путем заливки индивидуального разума в машину. Экономист Робин Хансон в своей книге The Age of Em дает поразительное описание того, на что будет похожа жизнь в мире, кишащем такими «заливками» (их также называют «эмуляциями», откуда сокращение «эмы»). Я думаю о заливке как о последнем рубеже в череде киборгов, когда от человека остается только его «софт». Разнообразие голливудских киборгов простирается от сугубо механических, вроде Борга в Star Trek, до почти неотличимых от людей андроидов вроде Терминатора. Область фантастических заливок охватывает и разум человеческого уровня, как в эпизоде «Белое Рождество» сериала Black Mirror, и, очевидно, сверхчеловеческого, как в Transcendence.

Если сверхразуму суждено случиться, то соблазн стать киборгом или заливкой будет очень велик. Как писал Ганс Моравец в своей книге Mind Children: «Длинная жизнь становится довольно бессмысленным делом, если нам суждено провести ее, пялясь тупо на ультраразумные машины, когда те пытаются описать нам свои все более удивительные открытия с помощью того детского лепета, который мы только и способны понимать». В самом деле, идея технологического дополнения реальности так сильна, что мы уже давно пользуемся очками, слуховыми аппаратами, кардиостимуляторами и искусственными конечностями — наряду с множеством медицинских молекул, циркулирующих в нашей крови. Некоторые подростки кажутся сросшимися со своими смартфонами, а моя жена то и дело подначивает меня из-за моей неразлучности с ноутбуком.

Один из наиболее видных проводников идеи киборгов — Рэй Курцвейл. В своей книге The Singularity Is Near он доказывает, что естественное продолжение этой идеи — использование наноботов, интеллектуальных систем биологической обратной связи и других технологий, которые к началу 2030‐х заменят наши пищеварительную и эндокринную системы, наши кровь и сердце, а потом дело дойдет до апгрейда скелета, кожи, мозгов — в последующие два десятилетия. Он полагает, что мы сохраним эмоциональную привязанность к эстетике человеческого тела, но переделаем его так, чтобы можно было быстро менять внешность по собственной прихоти и физически, и в виртуальной реальности (благодаря внедрению интерфейсов типа «мозг — компьютер»). Моравец согласен с Курцвейлом, что киборгизация пойдет значительно дальше простого улучшения наших ДНК: «генетическая инженерия сверхчеловека — это всего лишь второе поколение роботов, дизайн которых осложнен требованием генетически обусловленного синтеза белков». Дальше, утверждает он, нам придется и вовсе отказаться от человеческого тела и заливать свой разум, создавая свою полноразмерную программную эмуляцию. Такая заливка сможет либо существовать в виртуальной реальности, либо быть воплощенной в теле робота, благодаря чему сможет ходить, летать, плавать, перемещаться в космическом пространстве или делать еще что-то, не противоречащее законам физики, но не отвлекаясь на такие постоянно преследующие нас сейчас заботы, как неизбежность смерти или ограниченность познавательного ресурса.

Хотя все эти рассуждения могут показаться заимствованными из области научной фантастики, они определенно не нарушают никаких известных нам законов физики, так что самый интересный из возникающих в связи с ними вопросов — это не «может ли такое случиться?», а «случится ли когда-нибудь такое?», и если да, то когда? Некоторые ведущие специалисты в области искусственного интеллекта предполагают, что первый AGI будет заливкой, и именно отсюда начнется наш путь к созданию сверхразума[30].

Однако справедливости ради я должен признать, что сейчас среди исследователей в области искусственного интеллекта и нейронных сетей таких взглядов придерживается меньшинство, большинство же полагает, что наиболее быстрый путь к созданию сверхразума идет в обход эмуляции человеческого мозга, как-то иначе, после чего мы сможем вернуться, если захотим, к проблеме эмуляции. В конце концов, почему наш путь к новой технологии должен повторять тот, что был проделан эволюцией, которую сдерживали требования полной самостоятельности в создании, воспроизводстве и устранении препятствий? Эволюция шла в условиях недостаточного количества пищи, что требовало оптимального расходования энергии, и у нее не было нужды заботиться о том, чтобы получающиеся конструкции оказались легки в сборке и понятны людям-инженерам. Моя жена Мейя любит повторять, что авиация не начиналась с постройки механических птиц. В самом деле, когда мы, наконец, в 2011 году поняли, как строить механических птиц, уже более века минуло со времен первого полета братьев Райт, и авиационная промышленность не проявила никакого интереса к перспективе перейти к путешествиям на машущих крыльями механических птицах, хотя это было бы значительно более экономно с точки зрения расхода энергии — просто потому, что наше предыдущее и более простое решение лучше подходит для удовлетворения наших потребностей в перелетах.

Каким-то похожим образом, думаю я, удастся найти и более простую технологию постройки машин, думающих по-человечески, чем та, к которой пришла эволюция, и даже если однажды нам и удастся то ли воспроизвести мозг, то ли «залить» его в машину, мы прежде найдем какое-то решение попроще. Наверное, оно потребует расходовать побольше 12 Ватт энергии, обеспечивающей работу мозга, но инженеры не так одержимы идеей экономить энергию, как эволюция, — и очень скоро те же самые инженеры при помощи созданных ими интеллектуальных машин найдут и более экономичные решения.

Короткий ответ состоит в том, что у нас, естественно, нет ни малейшего понятия, что же может произойти, когда мы создадим AGI человеческого уровня. Именно по этой причине мы потратили целую главу на то, чтобы обсудить широкий круг сценариев. По этой причине я постарался включить в нее все возможности, на обсуждении которых присутствовал или о которых слышал от специалистов в области искусственного интеллекта: быстрый разгон / медленный разгон / без разгона, управление людьми / машинами / киборгами, один центр власти / много центров и т. д. Некоторые говорили мне, что не верят в возможность чего-то подобного. Однако я считаю, что на нынешней стадии нам негоже заноситься и следует признавать, как мало мы знаем. И для каждого из обсуждавшихся выше сценариев я могу указать по меньшей мере одного солидного и уважаемого ученого, полагающего его совершенно возможным.