Кто прав? Мы сильно зависим от роботов в поддержании лунных баз и марсианских городов. Что произойдет, если роботы однажды решат, что они в нас больше не нуждаются? Не получится ли так, что мы создадим колонии в дальнем космосе только для того, чтобы роботы отобрали их у нас?

Эти страхи появились отнюдь не вчера, еще в 1863 г. романист Сэмюэл Батлер предупреждал: «Мы сами создаем себе преемников. Человек станет для машины тем, чем для человека являются лошадь и собака»[29]. Когда роботы постепенно станут разумнее нас, мы, возможно, почувствуем себя неполноценными, ведь нас оставят позади и заставят глотать пыль наши собственные творения. Специалист по ИИ Ханс Моравек говорит: «Жизнь может показаться бессмысленной, если нам суждено глупо пялиться на своих сверхразумных потомков, когда они будут пытаться объяснить нам свои невероятные открытия на упрощенном языке, который мы только и способны понять». Исследователь компании Google Джеффри Хинтон сомневается, что сверхразумные роботы будут продолжать прислушиваться к нам. «Это как спрашивать, может ли дитя контролировать своих родителей… из опыта ясно, что ничего хорошего не получается, когда менее разумные сущности управляют сущностями более разумными». Оксфордский профессор Ник Бостром заявляет, что «перед перспективой взрывного развития разума мы, люди, подобны маленьким детям, играющим с бомбой… Мы понятия не имеем, когда произойдет детонация, хотя стоит поднести устройство к уху — и можно услышать слабое тиканье».

Но есть и люди, убежденные в том, что восстание роботов вполне укладывается в естественный ход эволюции. Самые приспособленные сменяют на Земле более слабые организмы, это естественный порядок вещей. Некоторые специалисты-компьютерщики готовы даже приветствовать тот день, когда роботы обойдут человека в понимании. Клод Шеннон, отец теории информации, однажды заявил: «Я представляю себе время, когда мы станем для роботов тем, чем являются собаки для людей, и поддерживаю машины»[30].

Все исследователи искусственного интеллекта, у которых мне приходилось брать интервью (а их было немало), убеждены, что ИИ-машины когда-нибудь приблизятся по интеллекту к человеку и принесут человечеству огромную пользу. Однако многие из них отказывались назвать конкретную дату или обозначить примерные сроки этого события. Профессор Марвин Мински из МТИ, автор нескольких основополагающих работ по искусственному интеллекту, в 1950-е гг. делал оптимистические прогнозы, но в недавнем интервью признался, что не хочет уже называть конкретные сроки, поскольку в прошлом ИИ-исследователи слишком часто ошибались. Эдвард Фейгенбаум из Стэнфордского университета утверждает: «Нелепо говорить о подобных вещах — до ИИ нам еще очень далеко»[31]. Некий ученый-компьютерщик, процитированный в статье журнала The New Yorker, сказал: «Меня это [машинный разум] не беспокоит по той же причине, по какой меня не беспокоит перенаселенность Марса».

Если говорить о споре между Цукербергом и Маском, то моя личная точка зрения состоит в том, что в краткосрочной перспективе Цукерберг прав. ИИ не только даст нам возможность построить города в космосе, но и сделает общество богаче, произведет многие вещи эффективнее, лучше и дешевле, создав одновременно массу принципиально новых рабочих мест в индустрии робототехники, которая когда-нибудь, возможно, станет огромной. Но в долгосрочной перспективе прав Маск, он указывает на более серьезную опасность. Ключевой вопрос в этом споре звучит так: в какой момент произойдет этот переход и роботы станут опасны? Я лично думаю, что ключевым поворотным пунктом станет именно тот момент, когда роботы осознают себя[32].

Сегодня роботы не знают, что они роботы. Но однажды, возможно, обретут способность формулировать собственные цели, а не принимать безропотно те цели, которые выбрали для них программисты. Тогда они, может быть, поймут, что их намерения отличаются от наших. Как только наши интересы разойдутся, возникнет реальная возможность того, что роботы будут представлять для нас опасность. Когда это может произойти? Никто не знает. Сегодня роботы обладают интеллектом жука. Но к концу этого столетия они, возможно, осознают себя. К тому времени у нас, помимо всего прочего, будут стремительно растущие поселения на Марсе. Поэтому важно обратиться к этому вопросу сейчас, не дожидаясь момента, когда от решений роботов будет зависеть само выживание человека на Красной планете.

Чтобы получить некоторое представление о масштабах этой принципиальной проблемы, давайте разберем наилучший и наихудший сценарии возможного развития событий.

Одним из самых активных пропагандистов наилучшего сценария развития событий является изобретатель и автор нескольких бестселлеров Рэй Курцвейл. Каждый раз, когда мне случается брать у него интервью, он описывает ясную и убедительную, но противоречивую картину будущего. Он считает, что к 2045 г. мы подойдем к «сингулярности», то есть к тому моменту, когда роботы сравняются с человеком по интеллектуальным способностям или превзойдут его[33]. Термин «сингулярность» позаимствован из концепции гравитационной сингулярности в физике, где речь идет об областях бесконечного тяготения, как в черной дыре. В информатику его ввел математик Джон фон Нейман, который писал, что компьютерная революция должна породить «все ускоряющийся прогресс и перемены в образе человеческой жизни, что создает впечатление приближения какой-то существенной сингулярности… после которой человеческие дела, какими мы их знаем, продолжаться уже не смогут». Курцвейл утверждает, что, когда эта сингулярность наступит, компьютер стоимостью в тысячу долларов будет в миллиард раз умнее всех людей, вместе взятых. Более того, роботы будут самосовершенствующимися, а их «потомство» унаследует приобретенные характеристики, так что каждое поколение будет превосходить предыдущее — таким образом возникнет восходящая спираль высокопроизводительных машин.