«заметила» пуск советской ракеты, приписав этому событию «вероятность в 99,9 %». Выяснилось, что поводом для сигнала тревоги стал необычный отблеск Луны. К счастью, НАТО успело выявить ошибку и не стало действовать по плану возмездия.

Существуют некоторые невыдуманные и при этом действительно поразительные примеры действия бесконтрольных алгоритмов, производящих к печальным результатам, которые в принципе могут возникнуть и в военных условиях. Например, два продавца книг на сайте Amazon запрограммировали ботов на индивидуальное рациональное действие: каждый поднимал свою цену, когда замечал, что другой ее тоже поднял[496]. Когда два бота взаимодействовали друг с другом, они создали петлю обратной связи, в которой книга, обычно стоившая около 30 долл., стала стоить 2 млн[497]. Компьютерный сбой уничтожил фирму Knight Capital, автоматически сгенерировав десятки тысяч сделок, которые привели к финансовым потерям[498]. Резкий обвал в 2010 г. связывали с неожиданным взаимодействием более сложных алгоритмов трейдинга[499]. Абстрактные паттерны любого из этих примеров – конкуренции, превосходства, фрактальных цепочек рассуждений, которые ведут к неожиданным результатам, – могут возникнуть и во все более компьютеризируемом вооружении. Даже если ввести предохранители и механизмы безопасности, они станут дополнительными слабыми местами, которые могут быть взломаны врагом. Риск увеличится, если государства начнут выделять больше ресурсов на то, чтобы соперники не смогли взять над ними верх.

Помехи запретам

Учитывая эти опасности, глобальные лидеры могли бы прямо запретить определенные функции или методы убийства, следуя принципам МГП. Один из этих принципов – «военная необходимость», которая требует, чтобы командующие уравновешивали практические требования успешности долгом «гуманности»[500]. Уважение к «требованиям общественного сознания» является еще одной основой этого закона[501]. Неопределенность таких терминов, как «гуманность» или «сознание», является препятствием для алгоритмических логик, которым для начала действий требуются очевидные значения[502]. Некоторые исследования демонстрируют серьезную общественную озабоченность развитием автоматических роботов[503]. Организации Human Rights Watch, International Committee for Robot Arms Control, Pax Christi, Article 36, Nobel Women’s Initiative и Pugwash сформировали «коалицию, чтобы начать кампанию гражданского общества за новый юридически обязывающий международный договор, запрещающий разработку, производство и применение полностью автономных вооружении»[504].

Чтобы понять будущее подобных соглашений по контролю над вооружениями, полезно обратиться к прошлому. Простейшее из автономных вооружений – мина-растяжка, поставленная на врага.

Более опасна скрытая бомба, запрограммированная взорваться, когда ничего не подозревающий человек задевает за определенный проводок. Противопехотная наземная мина, которая должна убивать или калечить любого, кто ступит на нее или рядом с ней, пугала комбатантов еще в Первую мировую войну[505]. Дешевые и легкие в распространении мины сохранили свою популярность в небольших конфликтах по всему земному шару. К 1994 г. солдатами было заложено 100 млн наземных мин в 62 странах[506].

Хотя мины и малы по размеру, они уничтожали и запугивали население спустя годы после завершения военных действий. Жертвы мин обычно теряли по крайней мере одну ногу, иногда две, страдали от сопутствующих ран, инфекций и травм. Мины привели к кризису общественного здравоохранения в некоторых странах, особенно от них пострадавших. В 1994 г. один из 236 камбоджийцев потерял по крайней мере одну конечность в результате детонации мины[507].

К середине 1990-х гг. укрепился международный консенсус о необходимости запретить наземные мины. Международное движение за запрещение противопехотных мин (ICBL) требовало от правительств разных стран осудить их. Моральный аргумент в пользу запрета был достаточно сложным. Противопехотная мина не настолько смертоносна, как многие другие вооружения. Но в отличие от других применений силы она может калечить или убивать нонкомбатантов спустя многие годы после завершения боевых действий. В 1997 г., когда ICBL (и ее лидер Джоди Уильямс) получила Нобелевскую премию мира, десятки стран подписали международный договор, взяв на себя обязательства не производить, не хранить и не применять подобные мины.

США колебались, и на сегодняшний день они так и не подписали соглашение о запрете противопехотных мин.[508] Во время переговоров представители США и Великобритании настаивали на том, что реальное решение проблемы противопехотных мин – сделать так, чтобы в будущем мины автоматически отключались по прошествии определенного времени или были оснащены удаленным управлением[509]. Устройство, которое могло бы «позвонить домой», можно было бы удаленно отключить после завершения военных действий[510]. Но, конечно, его также можно было бы включить снова.

Многие участники переговоров по противопехотным минам не разделяли стремление Америки искать исключительно технологические решения. Десятки стран в 1998 г. подписали Оттавское соглашение[511]. В период 1998–2010 гг. к нему присоединились еще несколько стран, включая такие крупные державы, как Китай[512]. Американские дипломаты при обсуждении этого вопроса обычно ссылаются на свои военные власти. Последние, однако, относятся к международным договорам о контроле над вооружением со скепсисом. Их отношение к подобным соглашениям, скорее всего, приведет к ускорению автоматизации войны.

Ответственность за военных роботов

В качестве альтернативы запрету роботов-убийц военное руководство США предпочитает регулирование. Озабоченность сбоями и другими непредумышленными последствиями автоматизированного вооружения дала толчок достаточно взвешенным разговорам о реформе в среде военной робототехники. Например, Питер У. Сингер из New America Foundation хотел бы, чтобы робот мог «автономно применять лишь нелетальное оружие»[513]. Так, автономный дрон мог бы патрулировать пустыню и обездвиживать или ловить сетью комбатанта, но «решение об убийстве» принимали бы люди. Если будет введено подобное правило, даже попытайся комбатант уничтожить дрона, тот все равно не станет его убивать.

Подобные правила подстегнули бы превращение войны в миротворческую операцию и в конечном счете в определенную форму полицейских мер. Время между поимкой и решением об убийстве допускает исполнение надлежащей правовой процедуры, необходимой для оценки вины и назначения наказания. Сингер подчеркивает и то, что, «если программист по ошибке взрывает целую деревню, он должен уголовно преследоваться»[514]. Строгий стандарт обязательств требует ответственности за «оружие математического уничтожения» (так специалист по данным Кэти О’Нил назвала ошибающиеся алгоритмы). Однако насколько вероятно то, что «ошибившегося» программиста действительно накажут? В 2015 г. американская армия разбомбила больницу, где работала международная НПО «Врачи без границ», удостоившаяся Нобелевской премии мира. В момент бомбежки персонал больницы пытался дозвониться до своих знакомых в американской армии, чтобы упросить их ее прекратить. За атаки дронов на больницы, школы, свадьбы и другие ложные цели прямо отвечали определенные люди. Поэтому едва ли реалистично ожидать, что гражданская или международная правовая система (или то, что от нее осталось) сможет призвать к ответу программистов, которые могут стать причиной похожего или даже еще более страшного кровопролития.

Если Аркин стремится внедрить