размера, который позволял бы Google использовать ее в режиме реального времени в онлайн-сервисах, мгновенно обслуживая миллионы людей по всему миру. Это был брачный союз долгой карьеры Хинтона (нейронные сети) и огромного опыта Дина (компьютеры и информатика). Затем Хинтон решил выйти за рамки изучения нейронных сетей, чтобы попробовать создать новую, более сложную модель, имитирующую человеческий мозг. Эта идея впервые пришла ему в голову еще в конце 1970-х годов, и он назвал ее капсульной сетью. Летом, после того как Google приобрела DeepMind, Хинтон запланировал провести три месяца в лондонской лаборатории, чтобы поработать над этой новой старой идеей.

Он купил два билета на лайнер Queen Mary 2 от Нью-Йорка до Саутгемптона – один для себя, другой для своей жены Джекки Форд, историка искусства, на которой он женился в конце 1990-х, после того как его первая жена, Розалинда, умерла от рака яичников. Они должны были отплыть из Нью-Йорка в воскресенье. В четверг перед отъездом из Торонто у Джеки обнаружили прогрессирующий рак поджелудочной железы. Врачи дали ей около года жизни и посоветовали немедленно начать химиотерапию. Зная, что шансов на выздоровление нет, она решила съездить в Великобританию, чтобы начать лечение, когда они вернутся в Торонто осенью. Ее семья и многие друзья оставались в Англии, и для нее это был последний шанс увидеться с ними. Поэтому они с Хинтоном отправились в Нью-Йорк, а оттуда в воскресенье в Саутгемптон. Хинтон действительно провел лето, работая над капсульными сетями, но существенного прогресса не достиг.

Глава 9

Возражения. «Зло можно причинить и ненамеренно»

Четырнадцатого ноября 2014 года на сайте Edge.org появилось обращение Илона Маска232. В лабораториях типа DeepMind, заявил он, искусственный интеллект развивается с тревожащей скоростью:

У кого нет прямого контакта с такими исследовательскими группами, как DeepMind, тот даже не представляет, как быстро он растет – в темпе, близком к экспоненциальному. Существует риск, что в течение пяти лет может произойти что-то очень опасное. Самое большее – десять лет. Не подумайте, что я кричу «волки!», не понимая, что происходит. Это не тот случай. Я не одинок в своих опасениях. Ведущие компании, занимающиеся ИИ, делают многое для обеспечения безопасности. Они осознают угрозу, но думают, что могут удерживать цифровой сверхразум под своим контролем и предотвращать проникновение его опасных форм в интернет. Это еще предстоит выяснить…

Час спустя сообщение исчезло. Но его содержание не сильно отличалось от того, о чем Маск говорил уже многие месяцы как на публике, так и в частных беседах.

Годом ранее в разговоре за ужином с обозревателем Bloomberg Businessweek Эшли Вэнсом Маск сказал, что больше всего боится233, что Ларри Пейдж создаст армию наделенных искусственным разумом роботов, которые могут в конечном итоге уничтожить человеческую расу. Нет, он не приписывал Пейджу злые намерения234. Пейдж был его близким другом, и Маску не раз случалось ночевать у него на диване. Проблема была в том, что Пейдж235 исходил из предположения, что все, создаваемое Google, может нести миру только благо. Но, как выразился Маск, «зло можно причинить и ненамеренно»236. Об этом приватном разговоре стало известно лишь через несколько лет, когда Вэнс опубликовал биографию Маска, но вскоре после их ужина Маск говорил почти то же самое по национальному телевидению и в социальных сетях. Во время выступления на канале CNBC он упомянул «Терминатора»237. «Об этом было много фильмов», – сказал он. В своем твиттере он назвал искусственный интеллект «потенциально более опасным, чем ядерное оружие»238.

В том же твите он призвал своих последователей прочитать книгу «Искусственный интеллект239. Этапы. Угрозы. Стратегии», незадолго до этого опубликованную философом из Оксфордского университета Ником Бостромом (Nick Bostrom, Superintelligence: Paths, Dangers, Strategies). Бостром считает240, что искусственный интеллект может обеспечить будущее человечества – или уничтожить его. «Пожалуй, нас ожидает самая серьезная и пугающая повестка241, которую когда-либо получало человечество, – пишет он. – И независимо от того, победим мы или проиграем, – не исключено, что этот вызов станет для нас последним». Его беспокоит, что ученые242 разрабатывают системы, призванные улучшить тот или иной аспект нашей жизни, не осознавая, что однажды это может обернуться хаосом, который никто не сможет остановить. В книге в качестве метафоры243 часто упоминается система ИИ, предназначенная для производства как можно большего количества канцелярских скрепок. Такая система, по его словам, «вначале превращает в фабрику по производству скрепок всю Землю, а потом и обозримую Вселенную»244[3].

Той же осенью Маск появился на конференции Vanity Fair в Нью-Йорке, где в разговоре с журналистом Уолтером Айзексоном высказался об опасности245 искусственного интеллекта, способного к «рекурсивному самосовершенствованию». Например, если ученые разработают систему для борьбы со спамом246 в электронной почте, объяснил он, в конце концов система может прийти к выводу, что лучший способ избавиться от всякого спама – просто убрать людей. Когда Айзексон спросил, помогут ли его ракеты SpaceX спасти человечество247 от этих роботов-убийц, Маск ответил, что спасение может оказаться невозможным. «Если есть какой-то сценарий апокалипсиса248, – сказал он, – он может последовать за людьми с Земли в космос».

А еще через несколько недель Маск разместил то самое обращение249 на веб-сайте Edge.org, контролируемом организацией, которая занимается изучением новых научных идей и организует ежегодные мероприятия под общим названием «Ужин миллиардеров», в котором в разные годы участвовали такие светила, как Маск, Ларри Пейдж, Сергей Брин и Марк Цукерберг, и которая в скором времени оказалась в центре скандала, когда миллиардер Джеффри Эпштейн250, один из ее основных финансовых спонсоров, был арестован за участие в секс-торговле и вскоре покончил с собой в тюремной камере. В своем выступлении на веб-сайте Edge Foundation Маск был более откровенным, чем в прошлом. Он указал на деятельность лаборатории DeepMind251 как на свидетельство того, что мир на всех парах мчится к созданию сверхразума. Он предупредил, что опасность нам грозит самое большее через пять-десять лет252. И как один из инвесторов, он наблюдал за деятельностью DeepMind изнутри – до того, как эта лондонская лаборатория была внезапно приобретена Google. Однако было неясно, видел ли он что-нибудь такое, чего не видели другие.

Маск опубликовал обращение в пятницу. А уже в следующую среду он обедал с Марком Цукербергом. Это была их первая личная встреча. Цукерберг пригласил Маска в свой утопающий в листве деревьев белый дом в Пало-Альто, надеясь убедить этого предпринимателя с южноафриканскими корнями, что