в код роботов алгоритмическую этику, Сингер основывается на нашем многовековом опыте регулирования частных лиц. Но есть немало работ, в которых встречаются прогнозы или надежды на появление полностью автономных роботизированных или программных систем, отделенных от любого человека[515]. Для обеспечения ответственности за применение «военных алгоритмов» военные должны были бы гарантировать то, что роботов и алгоритмических – 62 агентов можно отследить вплоть до их создателей[516].

Технология допускает такую возможность. В гражданском контексте исследователи предлагали ввести «номерные знаки для дронов», чтобы можно было связать неосторожный или халатный полет с собственником или оператором дрона[517]. Компьютерные системы уже пытаются решить или сгладить проблему атрибуции в кибербезопасности (возникающую, когда кто-то анонимно атакует ту или иную систему), сопоставляя сигнатуры действия с известными нарушителями[518]. Четвертый новый закон робототехники («Робот всегда должен указывать на идентичность своего создателя, оператора или собственника») должен послужить фундаментальным правилом войны, а его нарушение должно караться серьезными санкциями.

Удорожание силы

Разработка глобальных систем атрибуции, а также режима инспектирования, гарантирующего, что вооружения и компьютерные системы с ними совместимы, будет стоить дорого. В обычной экономике это было бы проблемой. Однако в перевернутой экономике технологий разрушения такие издержки могут быть выгодой: они препятствуют накоплению крупных резервов машин, способных нанести вред людям.

Существует много способов сделать применение силы дороже, начиная с юридических условий использования роботов-убийц или обязательного человеческого контроля и заканчивая налогообложением подобных технологий. Такие ограничения, как и препятствия наблюдению, военным футуристам не понравятся. Они предпочли бы полную свободу разработки и применения автономных сил. Однако неэффективность в этом случае – не просто бюрократические препоны, она отражает человеческие ценности[519]. Роботизированное военное или полицейское государство – очевидная угроза свободе. Когда дело доходит до насилия со стороны государства, издержки осмысленного человеческого контроля над применением силы также становятся выгодой[520]. «Кентаврическая стратегия», сочетающая человеческие экспертные знания и ИИ, повышает военную эффективность и в то же время этическую ответственность. И дело не только в том, что война, запускаемая нажатием одной кнопки, может начаться в силу ошибки (эта возможность еще больше пугает в мире фейковых новостей, безответственных платформ и развитых технологий подделки видео и аудио)[521]. Наблюдение и контроль должны быть дорогостоящими предприятиями, иначе гарнизонное государство сможет легко следить за еще большей частью нашей жизни и контролировать ее[522].

Глобальная политическая экономия также имеет значение. Инвестирования в вооружения – реакция на оценку угрозы. В 2018 г. США увеличили свои военные расходы до 649 млрд долл. Китай – следующий в этом списке, там потратили 250 млрд. Военные расходы Китая росли два последних десятилетия, и по крайней мере с 2013 г. они составляли постоянную долю (1,9 %) растущего ВВП страны[523]. Саудовская Аравия, Индия, Франция и Россия – следующие страны с крупными военными бюджетами, в них было потрачено от 60 до 70 млрд долл, на военное оборудование и услуги. Все эти цифры на самом деле занижены, поскольку обычно в них не включаются расходы на внутренний аппарат безопасности, безотлагательные ассигнования и долгосрочное обеспечение раненых солдат (или поддержку семей убитых).

В США оборонный бюджет обычно превосходил расходы семи следующих по списку стран вместе взятых. Массивное наращивание вооружений будущим историкам, скорее всего, покажется абсолютно ошибочной инвестиций национальных ресурсов[524]. Мрачная ирония в том, что главная военная «сверхдержава» в 2020 г. серьезно пострадала от коронавируса, и это притом, что на биобезопасность были потрачены миллиарды долларов, а другие страны смогли намного успешнее сократить число смертей и уровень заболеваемости. Доминик Моиси, политолог из Institut Montaigne, пояснил: «Америка готовилась не к той войне. Она готовилась к новым терактам 11 сентября, но вместо них пришел вирус»[525]. Американские лидеры, снедаемые призрачными тревогами, вложили триллионы долларов в вооружения, откладывая при этом профилактические меры, которые могли бы спасти больше жизней, чем страна потеряла во вьетнамской, иракской и афганской войнах вместе взятых.

По оценкам Джозефа Стиглица и Линды Билмс, к 2008 г. американцы вложили по крайней мере 3 трлн долл, в военные действия на Ближнем Востоке. В 2016 г. Билмс оценила ту же величину в размере 5 трлн долл. Многие комментаторы утверждали, что, несмотря на важные победы над «Талибаном» (и смерть таких террористов, как Усама бен Ладен), эти многомиллиардные инвестиции на самом деле повредили долгосрочным стратегическим интересам страны[526]. Американские военные стратегии инвестирования в программное обеспечение и оборудование также критиковались многими военными 78 аналитиками[527].

Примерно так же китайские аналитики описали то, как массивные инвестиции в Синьцзяне (в обычные системы безопасности и в то же время в системы распознавания лиц и классификации на основе ИИ) повредили более общим целям Коммунистической партии Китая (КПК) внутри страны и за границей. Китайское государство, демонстративно среагировав на ножевые атаки недовольных мусульман, поместило сотни тысяч жителей в лагеря перевоспитания. КПК также развивала высокотехнологичные способы наблюдения, оценки и рейтингования. Бурные протесты в Гонконге отчасти были обусловлены нежеланием подчиняться тому правящему классу, который местные жители считали неподотчетным и в то же время чрезвычайно мощным. Зейнеп Туфеки сообщала, что боязнь применения сценария Синьцзяна, с повсеместными камерами безопасности (даже внутри домов) и постоянными оценками лояльности режиму, усилила отчаяние гонконгских протестующих. Их борьба помогла изменить результаты выборов в Тайване в 2020 г. Хотя в 2010 г. в Тайване на опросах лидером оставался Гоминьдан, он постоянно терял популярность по мере развития событий в Гонконге. Выступающая за независимость президент Цай Инвэнь смогла переизбраться, продолжив культивировать общественные настроения, поддерживающие политическую обособленность и культурное отличие[528].

Мнения вроде тех, что выражены в предыдущем абзаце, вряд ли получат широкое распространение в Китае, что обусловлено автоматизацией публичной сферы, о которой мы говорили в главе 4. Цензура, усиливаемая ИИ, в ближайшее время может укрепить режим. Она представляет собой превращение медиа в оружие, цель которого – настроить общество против внешнего влияния. Но в долгосрочной перспективе даже недемократические правительства должны опираться на определенные механизмы обратной связи, чтобы определять, что работает, а что нет, что ведет к легитимности, а что раздувает угли недовольства. Генри Фаррел утверждал:

В вероятной петле обратной связи предубеждение ведет к ошибкам, которые приводят к другим предубеждениям, методов исправления которых не найдется. Все это, конечно, подкрепляется обычной политикой авторитаризма и типичным нежеланием поправлять руководителей, даже если их курс ведет к катастрофе. Ложная идеология вождизма («Мы все должны изучать идеи товарища Си, чтобы открыть истину!») и алгоритм («Машинное обучение – это магия!») способны