Однако бывало и так, что мир висел на волоске, и это большая удача, что в цепи оказался человек. 27 октября 1962 года, во время кризиса из-за размещенных на Кубе ракет, одиннадцать эсминцев ВМС США и авианосец USS Randolph выследили советскую подводную лодку Б‐59 недалеко от Кубы, в международных водах за пределами американской «карантинной» зоны. Они не знали, что температура на борту к тому времени выросла до 45 °C, потому что все аккумуляторные батареи сели и кондиционирование воздуха было прекращено. На грани отравления углекислым газом многие из членов экипажа были без сознания. Подлодка не могла связаться с Москвой уже много дней, и никто на ней не знал, не началась ли уже третья мировая война. Американцы начали сбрасывать небольшие глубинные бомбы, которые, как они потом объясняли Москве, оставались незамеченными советским экипажем, хотя предназначались исключительно для того, чтобы заставить подводную лодку подняться на поверхность. «Думали, все — финиш, — вспоминал один из членов экипажа В. П. Орлов. — Казалось, будто сидишь в железной бочке, по которой колотят кувалдой»[26]. А еще американцы не знали, что Б‐59 была вооружена ядерной торпедой, которую им было разрешено использовать без согласования с Москвой. И капитан Савицкий действительно принял решение пустить эту торпеду. Валентин Григорьевич, торпедный офицер, воскликнул: «Мы сейчас по ним шарахнем! Сами погибнем, их потопим всех, но флот не опозорим!»[27]. К счастью, решение о пуске должно приниматься тремя офицерами, и один из них, Василий Архипов, сказал нет. Очень немногие слышали об Архипове, хотя его решение, возможно, предотвратило третью мировую войну и должно рассматриваться как едва ли не наиболее ценный вклад в современную историю человечества. Почти полная неизвестность Архипова действует отрезвляюще, и не меньше отрезвляют размышления о том, что могло бы случиться, если бы Б‐59 была автономной, контролируемой искусственным интеллектом подводной лодкой без людей в цепи управления.

Два десятилетия спустя, 9 сентября 1983 года, напряженность в отношениях сверхдержав снова выросла: Советский Союз получил клеймо «империи зла» от президента США Рональда Рейгана после того, как неделей раньше был сбит пассажирский самолет Корейских авиалиний, сбившийся с курса в воздушном пространстве, и в результате погибло 269 человек, в том числе конгрессмен США. На этот раз по советской автоматизированной системе раннего оповещения прошла тревога: США выпустили пять ядерных ракет наземного базирования по Советскому Союзу, и у дежурного офицера Станислава Петрова оставались минуты, чтобы решить, не была ли тревога ложной. Спутник проверили — он работал в штатном режиме, и входящий протокол обязывал Петрова рапортовать о начале ядерного нападения. Но он этого не сделал, поверив внутреннему чувству, говорившему ему, что Соединенные Штаты вряд ли стали бы атаковать всего лишь пятью ракетами, и сообщил командованию, что тревога ложная, хотя никакой уверенности, что это действительно так, у него быть не могло. Позднее стало ясно, что спутник ошибочно принял солнечные блики от облаков за пламя ракетных двигателей. Хотел бы я знать, что случилось бы, будь на месте Петрова система искусственного интеллекта, которая должным образом отреагировала бы на должным образом поступивший протокол.

Снова гонка вооружений?

Как вы, несомненно, уже догадались, лично у меня создание автономных систем оружия вызывает серьезную озабоченность. Но я пока даже не начал рассказывать вам о главной причине моего беспокойства: конечной точке в гонке вооружений с применением искусственного интеллекта. В июле 2015 года я выразил это беспокойство в открытом письме, написанном вместе со Стюартом Расселом, с содержательными откликами от моих коллег по Институту будущего жизни:

В пользу автономного оружия и против него выдвигаются многочисленные аргументы. Например, замена людей на поле боя машинами хороша тем, что ведет к уменьшению числа человеческих жертв у собственника, но плоха тем, что снижает порог, за которым конфликт превращается в военный. Ключевой вопрос для человечества сегодня таков: начать ли глобальную гонку AI-вооружений, или предотвратить ее. Если каждая крупная военная держава подталкивает инженеров к разработкам AI-оружия, то глобальная гонка вооружений практически неизбежна, и конечная точка этой технологической траектории очевидна: автономное оружие станет автоматом Калашникова завтрашнего дня. В отличие от ядерного оружия, для его создания не требуется дорогостоящих или трудно получаемых материалов, поэтому оно превратится в широко распространенный, недорогой и доступный для всех значительных военных держав продукт массового производства. Его появление на черном рынке, а потом и в руках террористов, диктаторов, стремящихся к усилению контроля над населением, полевых командиров, мечтающих о новых этнических чистках, — не более чем вопрос времени. Автономное оружие идеально подходит для таких задач, как политические убийства, организация массовых волнений, подчинение населения и выборочное убийство представителей определенной этнической группы. Поэтому мы считаем, что военная гонка AI-вооружений не принесет добра человечеству. Есть много способов, как с помощью искусственного интеллекта сделать зоны военных конфликтов более безопасными для человека, особенно гражданских лиц, без создания на его основе новых орудий убийства.

Так же, как большинство химиков и биологов не проявляют никакого интереса к созданию химического или биологического оружия, большинство исследователей искусственного интеллекта не заинтересованы в создании AI-оружия и не хотят, чтобы другие порочили сферу их деятельности, производя его, провоцируя граждан на выступления против технологии искусственного интеллекта, что усложнит внедрение более благоприятных для общества способов его использования. Действительно, и биологи и химики всемерно поддержали международные соглашения, запрещающие химическое и биологическое оружие, так же как большинство физиков поддерживали договоры о запрещении ядерного оружия космического базирования и ослепляющего лазерного оружия.