Ограничения на возможности ИИ и кибернетического потенциала будет сложно определить, а распространение оружия на базе ИИ – сложно остановить. Потенциал, созданный и используемый крупными державами, может попасть в руки террористов. Малые государства, не обладающие ядерным оружием, могут многократно усилить свое влияние, инвестируя в передовые арсеналы ИИ и кибероружия. Будут задействованы также оборонительные возможности кибер- и информационного пространства, такие как выявление вредоносного контента в цифровых медиа или кибернетическое управление оборонительными системами на базе ИИ[59]. В той мере, в какой подобные системы работают внутри страны или на сетевых платформах, ориентированных на гражданское население, их характеристики и проблемы будут аналогичны тем, которые мы рассматривали в главе 4.

Государства неизбежно будут делегировать алгоритмам ИИ (в том числе управляемым частными организациями) малые, не ведущие к человеческим жертвам задачи, включая обнаружение и предотвращение кибератак. Так называемая поверхность атаки цифрового общества, активно использующего компьютерные сети, слишком обширна, чтобы операторы-люди могли защищать ее вручную. С переходом многих аспектов человеческой жизни в онлайн и продолжением цифровизации экономики растет вероятность того, что ИИ-диверсии смогут нарушать работу целых секторов экономики. Чтобы уйти от такой опасности, странам, компаниям и даже отдельным людям придется вооружаться средствами кибербезопасности. Наиболее экстремальной (хотя все равно потенциально несовершенной) формой такой защиты будет разрыв сетевых соединений и отключение систем от сети, особенно для государств. Если не прибегать к таким крайним мерам, то некоторые жизненно важные функции киберзащиты будет способен выполнять только ИИ, отчасти из-за огромных размеров киберпространства и почти бесконечного множества возможных действий в нем. В подобной гонке вооружений противникам потребуются огромные объемы данных и вычислительные мощности, поэтому лидировать в этой области смогут лишь несколько стран.

За системами обороны с поддержкой ИИ скрывается самая сложная категория – смертоносные автономные системы вооружений. Обычно под ними понимают системы, которые после активации могут выбирать и поражать цели без дальнейшего вмешательства человека – в том числе со смертельным исходом[60]. Ключевой вопрос в этой области – человеческий надзор и возможность своевременного вмешательства человека.

Обычно системы, оснащенные ИИ, контролируются человеком, задача которого – предоставлять разрешение на определенные действия. Но если это не будет ограничено контролируемыми межгосударственными соглашениями, новейшие формы систем вооружений смогут выполнять самые широкие боевые задачи – такие как защита границ, уничтожение материальных или кибернетических объектов и т. п. – и без существенного участия человека. Обеспечить человеческий контроль применения силы в этих сферах крайне важно, но такие ограничения не будут иметь смысла, если они будут приняты в одностороннем порядке – одной страной или небольшой группой стран. Такие меры должны быть взаимными и подкрепленными принудительным контролем, в противном случае риск кризиса или внезапной эскалации, вызванных применением автономного оружия, будет расти[61].

Поскольку эти технологии не просто изучаются, а реально используются, существует риск преждевременного применения основанного на них оружия, за которым последует война. Например, страна, которая пытается упредить своего противника, может атаковать его – но чем оправдать такую атаку? Действительно ли противник создал потенциал, о котором подозревал нападающий, и был ли он использован? Соответственно, возможны две группы доктрин: одна – ориентированная на ограничение и сдерживание, другая – на соперничество и превосходство. Это неразрешимый спор. Обе стороны могут быть правы в том смысле, что технология должна развиваться (становясь более эффективной и более угрожающей), чтобы противостоять ожидаемым угрозам. В этом смысле и распространение, и сдерживание являются вполне логичными целями и в некоторых случаях могут быть совместимы – но только если крупные державы будут наращивать свои вооружения в рамках проверяемых ограничений. Переговоры должны быть направлены на ограничение этой гонки, при этом важно, чтобы обе стороны в общих чертах знали, что делает противник, и ни одна сторона не скрывала свои самые важные для безопасности секреты. Полного доверия не будет никогда – но, как показали переговоры по ядерному оружию времен холодной войны, нужно пытаться достичь определенного взаимного доверия.

Раньше военные и гражданские области было легко разделить по признакам технологической дифференциации, сосредоточения контроля и степени поражения. Технологическая дифференциация означает, что технология имеет либо исключительно военное, либо исключительно гражданское применение (в отличие от технологий двойного назначения). Сосредоточение контроля означает, что правительство может легко управлять технологией, которую оно контролирует, в отличие от технологий, распространение которых происходит вне контроля правительства. Наконец, степень поражения говорит о разрушительном потенциале технологии.

Многие технологии в истории человечества имели двойное назначение, или легко распространялись, или обладали огромным разрушительным потенциалом. Однако до сих пор ни одна из них не обладала всеми тремя качествами: двойным применением, легкостью распространения и значительным разрушительным потенциалом. Железные дороги имеют двойное назначение, они обеспечивают перевозки как промышленных товаров, так и военной силы – но не имеют разрушительного потенциала. Ядерные технологии часто имеют двойное назначение и могут создавать огромный разрушительный потенциал, но их инфраструктура слишком сложна, поэтому они подконтрольны правительству. Огнестрельное оружие легко распространяется и имеет двойное назначение, но не является оружием массового поражения.

ИИ ломает эту парадигму: он имеет двойное назначение, легко распространяется (это всего лишь код) и, как правило (за некоторыми примечательными исключениями), может работать на отдельных компьютерах или в небольших сетях, что означает неподконтрольность правительствам, и обладает значительным разрушительным потенциалом. Эта уникальная комбинация качеств в сочетании с широким кругом заинтересованных сторон порождает стратегические проблемы нового уровня сложности.