Ныне уже покойный профессор Стивен Хокинг, один из самых уважаемых и известных британских учёных, заявил, что усилия по созданию мыслящих машин могут привести к тому, что само существование человечества окажется под угрозой. В интервью Би-би-си он отметил, что «появление полноценного искусственного интеллекта может стать концом человечества»[3065]. Хокинг в данном случае имел в виду сценарий «интеллектуального взрыва» [intelligence explosion]: «Он [полноценный искусственный интеллект] сам вырулит на взлётную полосу и станет сам себя совершенствовать со всё возрастающей скоростью. Люди, ограниченные медленной биологической эволюцией, не смогут тягаться [с ИИ] и будут вытеснены [superseded]». Конечно, в отличие от Батлера, Хокинг не предлагал уничтожить машины и вернуться к первобытному порядку вещей, однако если «полноценный искусственный интеллект» действительно угрожает самому существованию человечества, то некоторые люди могут сделать вывод о том, что необходимо полностью запретить исследования в данной области.

На необычный вариант ИИ-риска указывает популярный в наши дни шведский философ, профессор Оксфордского университета Ник Бостром. Он придерживается мнения, что достигший интеллектуального уровня человека ИИ [human-level AI] будет способен уничтожить человечество ввиду ошибочного целеполагания. Бостром объясняет это на примере машины, предназначенной для производства канцелярских скрепок: предположим, что вы поставили перед системой ИИ задачу изготавливать скрепки, причём делать их максимально эффективно и как можно больше. Система в какой-то момент поймёт, что человек представляет угрозу, поскольку может просто отключить её, что будет противоречить задаче максимизации количества скрепок. Кроме того, человеческие тела состоят из атомов, которые можно использовать для производства отличных скрепок. В итоге, руководствуясь поставленной целью, машина изведёт всё человечество на скрепки[3066]. История с машиной для производства скрепок имеет немало общего со средневековыми легендами, в которых фигурирует договор с дьяволом (вроде польской легенды о пане Твардовском). В этих историях дьявол обычно находит способ трактовать то или иное положение договора в свою пользу — совсем не так, как понимает его заключивший договор человек.

Более прямолинейные суждения можно услышать от икон высокотехнологического бизнеса. Например, в июне 2014 г. Илон Маск заявил, что создание продвинутых систем ИИ может привести к воплощению в жизнь сюжета фильма «Терминатор», и предупредил, что, если человечество не предпримет необходимых мер, чтобы обезопасить разработку, уже через пять лет планету может ожидать появление реальной SkyNet[3067].

Не останавливаясь на отсылке к кинобоевику, в октябре того же года на симпозиуме MIT Маск задействовал религиозные аналогии: «Разрабатывая ИИ, мы призываем демона. Знаете, все эти истории, где есть парень с пентаграммой и святой водой? Он уверен, что сможет управлять демоном, но это не так»[3068].

В целом Маск характеризует ИИ как «самую большую угрозу существованию человечества» [biggest existential threat][3069]. Правда, вполне возможно, что Маск со своей вульгарной риторикой не столько выражает своё мнение, сколько стремится привлечь внимание аудитории, что для него обычное дело.

Однако помимо упомянутых нами учёных, некоторые высказывания которых могут быть интерпретированы в технопессимистическом ключе, существуют и публичные персоны, поддерживающие идею ограничения развития технологий путём отказа от «нашего стремления к определённым родам знаний». К их числу относятся, например, американский писатель, автор книги «Хватит: оставаясь человеком в спроектированный век» (Enough: Staying Human in an Engineered Age) и сторонник антитехнологического «движения за отказ» [relinquishment movement][3070] Билл Маккиббен, а также американский учёный в области теории вычислительных систем Билл Джой.

Хотя в своих работах ни Джой, ни Маккиббен не требуют запрета всех исследований в области ИИ, другими исследователями их позиция нередко трактуется именно в таком ключе. Например, именно так трактует эти идеи Билл Хиббард, исследователь из Висконсинского университета в Мадисоне и автор множества исследований, посвящённых рискам, связанным с развитием ИИ[3071], [3072].

Ещё дальше пошёл американский математик и социальный критик, бывший старший преподаватель Калифорнийского университета в Беркли Теодор Качинский, печально известный ныне как Унабомбер (Unabomber, сокращение от University and airline bomber — подрывник университетов и авиалиний). Не ограничившись одной лишь пропагандой неолуддитских идей, в период с 1978 по 1995 г. Качинский разослал по почте 16 посылок с бомбами, целью которых были университеты, авиалинии и магазины компьютерной техники. Итогом стала гибель трёх (владелец компьютерного магазина, руководитель отдела рекламы и лоббист лесной промышленности) и ранение 23 человек. Среди получивших тяжёлые ранения были профессор Калифорнийского университета в Беркли Диогенес Ангелакос, профессор Мичиганского университета Джеймс Макконнелл, профессор Йельского университета Дэвид Джелернтер, ряд других сотрудников университетов.

В 1995 г. Качинский отправил в газету The New York Times письмо, в котором обещал отказаться от рассылки бомб, если в The New York Times или The Washington Post будет опубликован его манифест. Чтобы избежать жертв, ФБР рекомендовало опубликовать текст, что и было исполнено. Манифест Унабомбера, озаглавленный «Индустриальное общество и его будущее» (Industrial Society and Its Future), помимо позаимствованных позже Брейвиком рассуждений об опасности левых идей, содержит пространные рассуждения о том, как развитие технологий приводит ко всё большему порабощению людей. Террорист также анализирует различные сценарии развития человечества, один из которых, по его мнению, завершится порабощением человечества разумными машинами[3073]. Билл Джой писал: «Качинский действовал кровожадно и, по моему мнению, невменяемо. Он несомненно является луддитом, но простое указание этого факта не отклоняет его аргументацию; как ни тяжело мне было это осознавать, но в рассуждениях, изложенных в этом единственном отрывке, я видел некоторую логику. Я чувствовал необходимость противостоять ей»[3074].

К сожалению, подобная риторика, отчасти легализующая нарративы Унабомбера, содержит в себе потенциальную опасность, поскольку расширяет границы допустимого противодействия ИИ-рискам. Хотя современные настроения в обществе трудно назвать технофобскими, никто не может поручиться за то, что ситуация не изменится в одночасье, как это произошло в случае антипрививочного движения, которое получило в последние десятилетия широкое распространение в развитых странах. Кто знает, на какие крайности окажутся способны люди, чьи страхи подпитываются заявлениями в духе отсылок к «Терминатору» или парню с пентаграммой?

Ситуация особенно обострилась вслед за запуском ChatGPT — впечатляющая демонстрация возможностей современных генеративных моделей привлекла к себе огромное внимание общественности и послужила «спусковым крючком» для ряда публичных заявлений. Под влиянием «момента ChatGPT» некоторые учёные пересмотрели свои прогнозы в отношении ожидаемых темпов развития технологий ИИ. И у некоторых из них это, похоже, привело к экзистенциальному кризису. Вот что, например, говорит известный американский физик и информатик Дуглас Хофштадтер:

Для меня это [быстрый прогресс в области ИИ] довольно страшно, потому что это говорит о том,