года Институту будущего жизни было меньше года от роду, когда под его эгидой это растущее сообщество собралось на закрытый саммит257 в Пуэрто-Рико. Его организатором выступил Макс Тегмарк, космолог и физик из Массачусетского технологического института, и за образец была взята основополагающая конференция258, состоявшаяся в 1975 году в конференц-центре Asilomar, на которой ведущие генетики мира встретились, чтобы обсудить, не приведет ли их работа – редактирование генов – к уничтожению человечества. На приглашениях, разосланных институтом, были две фотографии: на одной был изображен пляж в Сан-Хуане, на другой – какой-то бедолага, раскапывающий свой «Фольксваген-жук», утонувший в снежном сугробе (смысл был такой: «В начале января в Пуэрто-Рико вам будет гораздо веселее»). Было также обещание, что прессы на мероприятии не будет (смысл такой: «Вы можете свободно обсуждать свои страхи по поводу будущего искусственного интеллекта, не опасаясь, что назавтра вас будут дразнить “Терминатором”»). Эта встреча за закрытыми дверями получила название «Будущее искусственного интеллекта: возможности и вызовы». Среди прочих, присутствовали Демис Хассабис и Шейн Легг. Илон Маск тоже. В первое воскресенье 2015 года, через шесть недель после обеда с Марком Цукербергом, Маск вышел на сцену, чтобы обсудить угрозу «интеллектуального взрыва»259, то есть момента, когда искусственный интеллект внезапно достигнет уровня, который не предвидели даже эксперты. В этом, по его словам, заключен большой риск260: технология может внезапно перейти в опасную зону, и никто этого не заметит. Это был отзвук предостережений Бострома, который также выступал на сцене в Пуэрто-Рико, но Маск даже усилил его посыл.

Яан Таллинн, когда основал Институт будущего жизни, обещал платить по 100 000 долларов в год. В Пуэрто-Рико Маск решил выделить 10 миллионов261 долларов на проекты по изучению вопросов безопасности ИИ. Он собирался публично объявить об этом новом подарке262, но передумал, опасаясь, что это новость отвлечет внимание от предстоящего запуска ракеты SpaceX и ее последующей посадки на автономный плавучий космодром в Тихом океане. Кто-то напомнил ему, что на конференции нет репортеров263 и что присутствующие были связаны «правилами Чатем-Хауса», то есть согласились не разглашать то, о чем говорилось на совещании в Пуэрто-Рико, но Маск все же был настороже. Поэтому он сделал объявление, не назвав конкретную цифру264. Через несколько дней, после того как его ракета разбилась во время попытки посадки, он сообщил о гранте в размере 10 миллионов долларов в своем твите265. Для Маска угроза со стороны сверхразума была лишь одной из многих забот. Главной же его заботой, казалось, было привлечь к себе максимум внимания. «Он очень занятой человек, и у него нет времени копаться в нюансах вопросов, но он понимает основные контуры проблемы, – говорит Таллинн. – Он также искренне наслаждается вниманием прессы, чем объясняются его твиты, похожие на лозунги, и многое другое. Между Илоном и прессой существует симбиоз, который раздражает многих исследователей ИИ, но это цена, которую наше сообщество должно заплатить».

На конференции Тегмарк распространил открытое письмо266, в котором стремился оформить общие взгляды тех, кто собрался в Пуэрто-Рико. «Мы считаем, что исследования267, нацеленные на то, как сделать системы искусственного интеллекта надежными и полезными, являются одновременно важными и своевременными», – говорилось в письме, а дальше шли разного рода рекомендации – от подготовки прогнозов состояния рынка труда до разработки инструментов, которые могли бы обеспечить безопасность и надежность технологий ИИ. Тегмарк отправил копию письма всем присутствующим, чтобы каждый мог под ним подписаться. Тон письма был сдержанным, а содержание простым – все было в рамках здравого смысла, – но его подписание фактически означало, что вы привержены идее безопасности ИИ или, по меньшей мере, готовы выслушать глубокие опасения таких людей, как Легг, Таллинн и Маск. Одним из тех, кто присутствовал на конференции, но не подписал письмо, был Кент Уокер268, главный юрисконсульт Google, который в Пуэрто-Рико был скорее наблюдателем, чем участником, поскольку его компания стремилась расширить свои усилия по разработки ИИ как в Калифорнии (силами Google Brain), так и в Лондоне (силами DeepMind). Но большинство других участников подписались, в том числе один из ведущих сотрудников Google Brain269 Илья Суцкевер.

Позже Макс Тегмарк написал книгу о потенциальной угрозе сверхразума270 для человечества и Вселенной. На первых страницах он описывает271 встречу Илона Маска и Ларри Пейджа на званом ужине, состоявшемся после пуэрториканской конференции где-то в калифорнийской долине Напа. После еды и коктейлей Пейдж выступил в защиту того, что Тегмарк назвал «цифро-утопизмом»272, сказав, что «цифровая жизнь – естественный и желательный новый этап космической эволюции, и если мы дадим ей свободу, не пытаясь удушить или поработить ее, то это принесет безусловную пользу всем»[4]. Пейдж беспокоился, что паранойя по поводу появления искусственного интеллекта отсрочит реализацию этой цифро-утопии, даже если она способна доставить жизнь в миры, находящиеся далеко за пределами Земли. Маск ощетинился и спросил, как это Пейдж может быть уверен, что этот сверхразум не уничтожит человечество. Пейдж упрекнул его в «видошовинизме», потому что он, дескать, отдает превосходство углеродным формам жизни, пренебрегая нуждами новых видов, относящихся к кремниевой форме жизни. По крайней мере, с точки зрения Тегмарка, эти ночные дебаты за коктейлем свидетельствовали о формировавшихся в самом сердце технологической индустрии коренных противоречиях.

* * *

Примерно через полгода после конференции в Пуэрто-Рико Грег Брокман шагал по Сэнд-Хилл-роуд, короткой асфальтированной дороге, которая петляет мимо более чем пятидесяти крупнейших венчурных компаний Кремниевой долины. Он направлялся в Rosewood – фешенебельный отель в стиле калифорнийского ранчо, где предприниматели делали свои предложения крупным венчурным капиталистам, – и при этом постоянно поглядывал на часы. После ухода с поста главного технического директора Stripe, успешного стартапа, предоставляющего услуги онлайн-платежей, двадцатишестилетний выпускник Массачусетского технологического института направлялся на ужин с Илоном Маском и опаздывал. Но когда Брокман вошел в приватный обеденный зал отеля Rosewood, оказалось, что Маск еще не прибыл: как это часто с ним случается, основатель и генеральный директор Tesla и SpaceX сам опаздывал больше чем на час. Но другой известный инвестор Кремниевой долины был уже на месте – Сэм Альтман, президент фонда Y Combinator, акселератора стартапов. Он поздоровался с Брокманом и представил его небольшой группе разработчиков ИИ, собравшихся во внутреннем дворике с видом на холмы к западу от Пало-Альто. Среди них был и Илья Суцкевер.

Когда они вошли внутрь и сели ужинать, появился Маск и сразу же заполнил помещение своими необычайно широкими плечами и бьющей через край энергией. Но он, как и все остальные, не