все эти разговоры об опасностях сверхразума не имеют большого смысла. Когда основатели DeepMind настаивали на том, что не продадут свою лабораторию без гарантии того, что независимый совет по этике будет контролировать разработки AGI, он отверг их требования, и теперь, когда Маск продолжал нагнетать страсти по телевидению и в социальных сетях, он не хотел, чтобы у законодателей и политиков сложилось впечатление, что такие компании, как Facebook, способны нанести миру вред своим разработками в сфере искусственного интеллекта. Себе в помощь он также пригласил Яна Лекуна, Майка Шрепфера и Роба Фергуса, профессора Нью-Йоркского университета, который работал вместе с Лекуном в новой лаборатории Facebook. «Фейсбукеры» на протяжении всего обеда пытались объяснить Маску, что в своих взглядах на ИИ он введен в заблуждение кликушами, которые остаются в явном меньшинстве. Философские размышления Ника Бострома, по словам Цукерберга и его коллег, не имели никакого отношения к тому, что Маск мог видеть в DeepMind или в любой другой лаборатории искусственного интеллекта. Нейронные сети все еще слишком далеки от сверхразума. DeepMind создавала системы, которые отлично играли в Pong или Space Invaders, но во всем остальном были совершенно бесполезны. И игры, в которые они играют, вы можете выключить в любой момент.

Но Маск остался при своем мнении. Проблема в том, сказал он, что ИИ слишком быстро совершенствуется. И есть риск, что эти технологии могут перейти рубеж, отделяющий безобидное от опасного, быстрее, чем мы поймем, что происходит. Он повторял все те же аргументы, которые уже приводил в своих твитах, телевизионных интервью и публичных выступлениях, и, когда он это говорил, никто не мог точно сказать, он действительно во все это верит или просто позерствует, преследуя какую-то свою цель. «Я искренне верю, что такая опасность существует», – говорил он.

* * *

Через несколько дней после обеда в Пало-Альто Илон Маск позвонил Яну Лекуну. Он сообщил, что его компания Tesla планирует заняться созданием беспилотного автомобиля, и попросил посоветовать ему кого-нибудь, кто мог бы возглавить этот проект. На той же неделе он связался с еще несколькими исследователями из Facebook, обращаясь к каждому с той же самой просьбой, и эта его уловка в конечном итоге вызвала гнев Марка Цукерберга. Лекун посоветовал Маску связаться с Урсом Мюллером, его бывшим коллегой по Bell Labs, который создал свой стартап для разработки автономных транспортных средств с помощью технологии глубокого обучения. Однако Маск не успел нанять этого швейцарского исследователя – его опередили. Дело в том, что через несколько дней после Маска к Лекуну с таким же запросом обратился Дженсен Хуанг, основатель и генеральный директор Nvidia. Лекун дал ему такой же совет, и Nvidia медлить не стала. Компания хотела создать собственную лабораторию, которая способствовала бы развитию технологии автономного транспорта, что в свою очередь позволило бы компании продавать еще больше графических процессоров.

Маск бил тревогу, что гонка за искусственным интеллектом может уничтожить нас всех, и при этом сам присоединялся к ней. Сначала его заинтересовала идея беспилотного автомобиля, но в скором времени он последовал примеру DeepMind и создал свою собственную лабораторию для разработки AGI. Маск видел во всем этом звенья одного технологического тренда. Сначала распознавание изображений. Потом машинный перевод. Потом автомобили без водителя. Потом AGI.

Он был частью растущего сообщества исследователей, руководителей и инвесторов, которые предупреждали об опасности сверхразума, в то время как сами пытались его создавать. В это же число входили основатели DeepMind и те, кто их с самого начала поддерживал, а также многие мыслители, вовлеченные в их орбиту. Сторонние эксперты считали все это чепухой. Не было никаких свидетельств тому, что идея сверхразума хоть сколько-нибудь близка к реализации. Современные технологии все еще боролись за то, чтобы так называемый искусственный разум был способен надежно управлять автомобилем, поддерживать беседу или сдать школьный экзамен по естествознанию. И даже если бы осуществление мечты об AGI было действительно близким, позиция таких людей, как Маск, выглядела противоречивой. «Если эта штука уничтожит нас всех, – спрашивали скептики, – тогда зачем ее создавать?» Но для тех, кто принадлежал к этому крошечному сообществу, казалось вполне естественным развивать эти исключительно важные технологии, но при этом учитывать связанные с ними риски. Если уж создавать сверхразум, то для всех будет лучше создавать его, одновременно остерегаясь любых непредвиденных последствий.

Еще в 2008 году Шейн Легг описал эту двойственную позицию в своей диссертации253, где утверждает, что хоть риск и велик, потенциальные выгоды его перекрывают254. «Если и может существовать что-то приближающееся к абсолютной власти255, то это будет машина, наделенная сверхразумом. По определению она способна к достижению самого широкого спектра целей в самых разных условиях, – писал он. – Если мы тщательно и заблаговременно подготовимся к такой возможности, то не только сумеем предотвратить катастрофу, но и приблизим эпоху процветания, не похожую ни на что виденное ранее». Он признавал, что такая позиция может казаться крайностью256, но при этом ссылался на авторитетных деятелей, которые придерживались такой же точки зрения. Создавая DeepMind, они с Хассабисом влились в это сообщество. Они добрались до Питера Тиля благодаря участию в конференции Singularity Summit. Потом они заручились поддержкой еще одного инвестора, Яана Таллинна – одного из основателей телефонного интернет-сервиса Skype, – который вскоре присоединился к группе ученых, создавших организацию под названием Институт будущего жизни (Future of Life Institute), призванную исследовать экзистенциальные риски искусственного интеллекта и других технологий. Затем Хассабис и Легг понесли эти идеи дальше: познакомили с ними Маска и пытались внушить их руководству Facebook и Google, когда два этих технологических гиганта боролись за право приобрести их молодую компанию. Пока они обхаживали инвесторов и покупателей, Легг не стеснялся излагать свои взгляды на будущее. Сверхразум появится в следующем десятилетии, говорил он, и связанные с этим риски тоже. Марк Цукерберг воспротивился этим идеям – его интересовали исключительно талантливые кадры, работавшие в DeepMind, – а вот Ларри Пейдж и Google их восприняли. Оказавшись внутри Google, Сулейман и Легг создали из числа сотрудников DeepMind специальную группу, занятую вопросами «безопасности ИИ», как они это называли, чтобы гарантировать, что технологии, разрабатываемые лабораторией, не причинят человечеству вреда. «Если этим технологиям суждено успешно служить человечеству в будущем, моральная ответственность должна быть заложена в них по умолчанию, – говорит Сулейман. – Этические соображения должны учитываться каждым, кто приступает к разработке подобной системы». Став инвестором DeepMind, Илон Маск присоединился к этому движению обеспокоенных и начал со своей стороны предпринимать усилия в этом направлении, пока не дошел до крайности.

Осенью 2014