цель которых – научное изучение рисков для человечества как вида, создаваемых в первую очередь ИИ. Исследователи из MIT последовали их примеру и основали в Бостоне Институт будущего жизни, тогда как на Западном побережье США в университете Беркли был создан Институт исследований машинного интеллекта. Илон Маск финансирует OpenAI, некоммерческий исследовательский центр, также нацеленный на предотвращение неконтролируемости ИИ. А передовиц известнейших авторов, начиная с Билла Гейтса и заканчивая нобелевским лауреатом по физике Фрэнком Вильчиком, которые предостерегают о возможности уничтожения человечества вследствие нашей собственной неосторожности, уже и не счесть…

Следует, правда, отметить, что среди этих кассандр высокого полета редко встречаются специалисты по информатике. Программисты, с которыми я встречался, такие как Ян Легун или Джерри Каплан, обычно пожимают плечами, когда слышат разговоры о сильном ИИ. Пока, например, не решена даже задача идентификации трехмерного изображения черепашки, а кто-то уже хочет управлять Вселенной[33]. Майк Вулдридж, который руководит факультетом компьютерных наук в Оксфорде, заверил меня, что в сообществе исследователей ИИ эта тема не считается интересной, поскольку никто не представляет, как можно было бы технически реализовать эту интеллектуальную фантазию. Большинство фанатиков сильного ИИ – это такие физики, как Ник Бостром, Макс Тегмарк или покойный Стивен Хокинг. То есть ученые, занимающиеся черными дырами, сверхновыми, потуханием Солнца и космоапокалипсисом – словом, концом всего, который планируется где-то через 10–100 миллиардов лет. Космическое господство ИИ легко вписывается в их соображения. Это, конечно, важные темы, но надо все же помнить о том, что ньютоновской физике всего три столетия и есть определенная доля высокомерия в предположении, будто наши познания достаточно крепки, чтобы из них можно было извлечь столь далеко идущие выводы. Подобные предсказания – полезные фикции, позволяющие организовывать и развивать наши знания (Кант сказал бы, что это «регулятивные идеи»). Но это не значит, что из них надо делать барометр наших экзистенциальных страхов. Кто знает, что скажет наука через миллион лет?

Тем не менее некоторые заслуженные специалисты по компьютерным наукам, пусть и немногочисленные, разделяют представление о сильном ИИ. Один из них – Стюарт Рассел, глава Университета Беркли, соавтор книги, долгое время остававшейся главным справочником для всех изучающих ИИ[34], и основатель исследовательского центра, задача которого – сохранить господство человека над искусственным интеллектом. На досуге он еще и нейрохирург… Чтобы встретиться с этим уникумом, надо встать рано утром и пройтись по крутым и извилистым улочкам жилого района Беркли. Стюарт Рассел принимает гостей за завтраком, в милой семейной обстановке, которая совершенно не соответствует радикализму его заявлений. Ничего общего с пророческой истерией Рэя Курцвейла. Рассел – серьезный и обходительный человек, не жалеющий своего времени. Он дружелюбно сообщает, что ко всему прочему еще и франкофил… Наш разговор прерывается из-за вторжения собачки, забрать которую приходит дочь Рассела, школьница. Изящные кофейные чашки, за подъемными окнами просыпается сад. На фоне всего этого благолепия радикальность его тезисов становится еще более заметной. У меня возникает впечатление, что я оказался в начале голливудского фильма, буквально за несколько минут до прихода сметающего все на своем пути торнадо или же банды, которая вот-вот ворвется в дом.

Профессор и в самом деле не видит никаких технических пределов для бесконечной экспансии ИИ независимо от того, что она будет означать – добро или зло. По его мнению, создать сознательные машины можно даже случайно, экспериментируя с различными комбинациями доступных нам техник ИИ. Такое сознание, конечно, отличалось бы от нашего: поскольку Рассел – нейрохирург, он лучше прочих знает, что нейронные механизмы остаются неизведанной территорией, которую мы только начинаем изучать. Но он не исключает того, что другая форма субъектности, отличная от человеческой, может развиться случайно, в компьютерных экспериментах. Машина могла бы тогда обрести независимость от своего собственного кода и легко регулировать поведение людей, решения которых становятся все более предсказуемыми. Об этой опасности Рассел думает уже давно, еще с тех пор как подростком посетил завод IBM, где работницы выполняли одну-единственную функцию – манипулировали кабелями в соответствии с инструкциями машины. Соединять, разъединять, снова соединять – вот все, что осталось человеку. «Эти женщины больше не были самостоятельными», – взволнованно говорит он.

Угроза полномасштабной утраты контроля представляется еще более серьезной в силу того, что сопротивление новым технологиям довольно слабо. ИИ уже показал свою темную сторону, вызвав искусственные «молниеносные обвалы» на бирже. Также им пользовались для политических манипуляций, что в полной мере доказал скандал с компанией Cambridge Analytica. Однако ничто из этого не произвело «эффекта Чернобыля», который грозил бы отрасли в целом. Возможно, потребуется какая-нибудь грандиозная катастрофа, например взлом искусственным интеллектом всей международной финансовой системы или даже крах мировой экономики[35], чтобы люди поняли злокозненность машины и попытались овладеть ею, пока еще не поздно. Сегодня же Рассел злится, когда его коллеги сравнивают ИИ со сложными калькуляторами, нивелируя таким образом необходимость дискуссии об экзистенциальных рисках, созданных машинами.

Стюарт Рассел – гуманист: он боится, как бы ИИ, сбежавший от своих программистов, не стал концом нашей цивилизации. Пластичность человека позволяет адаптироваться к чему угодно, в том числе и к собственному вымиранию. Рассел признаёт, что значительная часть сообщества ИИ не разделяет этих страхов (что само по себе, с его точки зрения, является отрицанием в психоаналитическом смысле слова), однако он обращает внимание на секретность, в которой сегодня работают исследователи. «В большинстве компаний, – объясняет он мне, – все сотрудники получают инструкции, запрещающие говорить о сильном ИИ». Пока же он не перестает выступать со своими тезисами, в том числе в книгах и на TED Talk, рассказывая, как следует регулировать ИИ, не навязывая ему этические критерии, которые всегда будут оставаться неполными, но заставляя его наблюдать и имитировать человеческое взаимодействие. То есть Рассел отказался от идеи затормозить технологическое развитие и просто ищет способ канализировать его невероятный потенциал, направив его в полезную для нас сторону. «Если нам удастся управлять машиной, мы могли бы жить как боги, – заключает он. – Но пока все развивается в противоположном направлении».

Я расстался со Стюартом Расселом, с его милым домом и просвещенным катастрофизмом в самых ужасных сомнениях. Я не ожидал, что столь рациональный и информированный эксперт тоже поставит вопрос о сильном ИИ – в категориях одновременно взвешенных и драматичных. От этой темы не удалось отмахнуться, оставив ее любителям научной фантастики и астрофизикам, убоявшимся кометы. Зачем задаваться вопросами о свободе воли, если человечеству грозит гибель? Гипотеза сильного ИИ выходит далеко за рамки проведенного в предыдущей главе различия между процессом и результатом мышления, с которым Стюарт Рассел тоже бы согласился. Ведь речь идет не о том, чтобы сымитировать