и другие области, поскольку приобретение знания с целью получения власти вытесняет другие цели, ориентированные скорее на публичное благо.

Когда фирмы и государства все больше обращаются к машинам, чтобы те судили людей, они отдают огромную власть тем, кто разрабатывает ИИ. Власть – это способность одного человека заставить другого сделать то, что он в ином случае не сделал бы[451]. Наиболее очевидно это в политике и войне, но власть имеет значение и в экономике, обществе и семье. Искусственный интеллект, возможно, одновременно закрепляет и подрывает наличные властные отношения в школах, на рабочем месте и даже в семьях. Нам нужно хорошо понимать эту динамику, чтобы оградить себя от одного из ее наиболее опасных проявлений, а именно от гонки вооружений.

Все мы можем интуитивно понимать, как две конкурирующие армии тратят ресурсы, когда запасаются ракетами, системами противоракетной обороны, техниками, позволяющими уклоняться от ПВО или перегружать ее, и т. д. В индивидуальном плане вполне рационально быть на шаг впереди своих врагов, но в коллективном плане это безумие – пытаться постоянно опередить друг друга. Нет такого объективного количества денег, потратив которое можно было бы достичь «безопасности»[452]. Есть лишь относительное преимущество, которое всегда может аннулироваться, если враг придумает новую тактику или технологию.

Это одна из причин, по которым США, хотя они и тратят на «оборону» больше денег, чем следующие за ними семь стран, вместе взятых, постоянно инвестируют все больше и больше средств в армию, полицию и разведывательные службы.

Модели гонки вооружений важны и за пределами военного контекста. В работе «Ловушка двойного дохода» Элизабет Уоррен, в те годы профессор, описала то, как семьи из среднего класса поднимают цены на имущество в районах с более качественными школами. Экономист Роберт Франк в своей работе «Отставание» сформулировал общую теорию подобной «гонки вооружений». Когда существует ограниченный запас чего-либо, например власти, престижа или территорий в центре города, неизбежна конкуренция. Во многих таких гонках право и финансы существенно влияют на определение конечного победителя: к примеру, человек, который может получить самую большую ипотеку, перебивает предложения других на один и тот же дом[453].

Право, политика и даже политический активизм – все это может выродиться в подобную гонку вооружений. Франк описывает судебное решение деловых споров в качестве бездонной бочки, поскольку каждая сторона закачивает ресурсы в юридические фирмы (а сегодня и в юридическую аналитику), чтобы получить преимущество перед оппонентом. В политике даже небольшое преимущество может стать критическим; кандидат выигрывает выборы не благодаря некоему магическому числу голосов, а просто потому, что он получил больше голосов, чем противники. Подобные преимущества не просто обнуляются, когда подходят новые выборы. Партия большинства может (иногда благодаря одному-единственному голосу) провести свое решение и отстоять интересы своих союзников, нанеся ущерб своим врагам. В некоторых странах демократия сама вырождается после нескольких раундов получения победителями преимуществ, которые закрепляют сами себя. Политические кампании могут пониматься как война, которая ведется другими средствами, – бой за умы является игрой с нулевой суммой[454].

Третий закон робототехники, который запрещает гонку вооружений на основе ИИ, должен определять все эти области. Это общая линия рассуждений в этой главе и следующей. ИИ, подсчитывающий рейтинг во имя рационализации социальных суждений при найме, увольнениях и в борьбе с преступностью, грозит тем, что подведет всех нас к скользкой дорожке конкуренции за статус, когда надо будет раскрывать все стороны своей жизни мощным, но непрозрачным организациям, а также регламентировать собственную жизнь в угоду им. Только согласованные действия могут остановить эту гонку по направлению к будущему полного разоблачения.

Порой путь к кооперации может быть достаточно очевидным, например в финансовом регулировании, которое может ограничить способность кредиторов применять дроны или анализ социальных сетей для наблюдения за поведением актуальных или будущих клиентов. В других ситуациях, особенно военной конкуренции крупных держав, наша способность ввести ограничения будет, возможно, зависеть от довольно хрупких норм международных отношений. Так или иначе, человеческие стратегии кооперации имеют ключевое значение, если только не передать машинам еще больше сведений об устройстве социального порядка.

6. Автономные силы

В классической игре компании Atari Pong игрок двигал «ракеткой» (которая обозначалась небольшим прямоугольником, перемещавшимся по краю экрана), чтобы защищаться от прилетающего мяча и отбивать его так, чтобы он вылетел за ракету противника. Pong., одна из простейших игр за всю историю, сводит настольный теннис к двум измерениям. Для выигрыша требуется ловкость рук и хорошее интуитивное понимание геометрии.

Или, по крайней мере, они требовались для выигрыша людям. Команда исследователей ИИ проверила на практике совершенно иной подход. Они просто дали компьютеру задание тестировать каждый возможный ответ на прилетающий мяч – компьютер мог избегать его, отбивать его, бить по нему краем ракетки, и все это под разными углами и с разными скоростями. Поскольку ИИ способен проверять миллионы стратегий в секунду, быстро сформировались паттерны выигрыша. ИИ овладел игрой Pong и стал выигрывать у любого игрока-человека. Позже он научился тому, как выигрывать у любого человека в других видеоиграх и даже в древнекитайской настольной игре го. [455]

Исследователи ИИ назвали эти выигрыши важным прорывом, поскольку они стали результатом самообучения. Программа не изучала прошлые партии Pong или го, чтобы выявить стратегии, чем, возможно, стал бы заниматься человек. Скорее, ИИ смог овладеть игрой, комбинируя грубую силу (то есть симулируя огромный массив сценариев) и алгоритмическую сортировку. По-видимому, человек его победить уже не может.

Подобное господство – фантазия военных теоретиков, которые давно используют военные игры для моделирования действий противника и ответов на них. Действительно, корни ИИ – в кибернетике середины XX в., когда эксперты по исследованию операций стали давать генералам советы о том, как лучше программировать автоматические ответы на действия противника, который, считалось, стремится любой ценой достичь технологического превосходства[456]. Моделирование создало эффект зеркальной комнаты, в которой отражались военные, пытающиеся спроектировать то, как враг проектирует то, как они будут сами проектировать что-то, чтобы застать его врасплох.

Мы уже обсуждали специфические этические и правовые сложности, создаваемые роботизацией полицейских сил. Применение ИИ в военных условиях усложняет ситуацию еще больше. Все сценарии гонки вооружений, описанные мной до сих пор, предполагают наличие государства, которое может устанавливать правила и наказывать тех, кто их нарушает. Но в глобальном масштабе такой власти не существует. ООН может осудить определенное государство, но часто на ее авторитет никто не обращает внимания.

Отсутствие глобальной власти превращает обсуждение военных роботов в игру антиномий. Аболиционисты хотят путем международных договоренностей поставить роботов-убийц вне закона.