обучения уже сегодня обладают значительным потенциалом применения в качестве компонентов оружия. Впрочем, если разобраться в этой проблеме чуть глубже, то окажется, что первые образцы оружия, способного убивать без решения человека, так называемого летального автономного оружия (Lethal autonomous weapons, LAWs), появились не позже XVII в. Речь идёт о наземных и водных минах. Примитивный механизм мины «уполномочен» принимать решения об убийстве людей. Развитие технологий привело к появлению в XX в. различных самонаводящихся машин убийства — торпед и ракет, а затем и первых боевых роботов. К сожалению, несмотря на протесты общественности, разработка новых, всё более «умных» видов вооружения продолжается семимильными шагами во всех ведущих технологических державах. Многие учёные, работающие в области ИИ, выступают за запрет автономного летального оружия. В июле 2015 г. более тысячи экспертов в области ИИ подписали письмо, предупреждающее об угрозе гонки вооружений, основанных на технологиях ИИ, и призывающее к запрету автономного оружия. Письмо было представлено на XXIV Международной совместной конференции по искусственному интеллекту (International Joint Conferences on Artificial Intelligence, IJCAI-15) в Буэнос-Айресе. В числе его подписантов были Стюарт Рассел, Питер Норвиг, Ян Лекун, Йошуа Бенджио, Нильс Нильссон, Демис Хассабис и многие другие. Свою подпись под письмом поставили и учёные, работающие в других областях, такие как Стивен Хокинг, Макс Тегмарк, знаменитый американский лингвист и философ Ноам Хомский, а также ряд предпринимателей из мира информационных технологий — Илон Маск, Стив Возняк, соучредитель Skype Яан Таллинн и так далее[3133].

Хотя большинство стран — членов ООН выступает за запрет летального автономного оружия, меньшинство блокирует это решение. Всё дело в том, что в составе этого меньшинства США, Россия, Великобритания, Австралия и Израиль[3134].

При этом было бы наивно полагать, что другие страны в таких условиях откажутся от применения технологий ИИ при разработке систем вооружений. Например, масштабы их применения Китаем позволяет оценить вышедший в 2021 г. доклад, подготовленный специалистами Центра безопасности и перспективных технологий (Center for Security and Emerging Technology, CSET), под названием «Обузданная молния. Как китайские военные внедряют искусственный интеллект» (Harnessed Lightning. How the Chinese Military is Adopting Artificial Intelligence). В основу исследования положен анализ около 350 контрактов на связанное с ИИ оборудование, заключенных в 2020 г. Народно-освободительной армией Китая с государственными оборонными предприятиями[3135].

В марте 2022 г. печально известный журнал Nature Machine Intelligence опубликовал статью «Двойное использование основанных на ИИ методов поиска лекарственных препаратов» (Dual use of artificial-intelligence-powered drug discovery)[3136], в которой было показано, что генеративные модели могут вполне успешно использоваться для разработки новых видов химического оружия. К сожалению, многие технологии, создаваемые в области ИИ, могут применяться не только в мирных целях.

Завершившаяся 17 декабря 2021 г. в Женеве VI конференция по рассмотрению действия Конвенции о запрещении или ограничении применения конкретных видов обычного оружия (Convention on Certain Conventional Weapons) стала очередным источником пессимизма для сторонников ограничения применения технологий ИИ в военной сфере. Вот как резюмировал итоги конференции председатель Лиги независимых IT-экспертов, эксперт Российского совета по международным делам Сергей Карелов:

Лицензия ИИ на убийство людей продлена на неограниченный срок.

8 лет экспертных обсуждений спущены в унитаз.

Завершившаяся в пятницу в Женеве 6-я конференция по рассмотрению действия Конвенции о запрещении или ограничении применения конкретных видов обычного оружия теперь войдёт в историю.

• 8 лет человечество обсуждало необходимость введения юридически значимых международных правил защиты людей от автономного смертельного оружия (роботов-убийц, принимающих решения с минимальным участием человека или без него).

• Впервые большинство из 125 стран заявили, что хотят ограничить возможности роботов-убийц.

• США, Россия, Великобритания и Индия заблокировали такое решение.

Моральные, этические и гуманитарные риски, риски безопасности и правовые риски применения роботов-убийц оказались далеко не самым важным вопросом для Конвенции ООН.

Конференция завершилась в пятницу лишь расплывчатым заявлением о целесообразности в 2022 [году] рассмотреть возможность поиска приемлемых для всех стран мер по данному вопросу.

«Я подумаю об этом завтра», — говорила в подобных случаях героиня «Унесённых ветром» Скарлетт О’Хара. Но проблема в том, что завтра может быть поздно.

За день до этого, в ходе дискуссии, организованной Международным Красным Крестом, я предсказал ровно этот бесславный итог конференции, за который очень скоро будет заплачено многими жизнями людей.

В той или иной мере разделяют оценку Карелова и другие эксперты в этой области[3137], [3138]. Хотя я радикально не согласен с Кареловым по целому ряду вопросов, связанных с развитием технологий ИИ, в данном случае я поддерживаю его обеспокоенность сложившейся ситуацией.

28 мая 2021 г. британская газета Daily Mail со ссылкой на отчёт ООН рассказала о первом в истории применении полностью автономных дронов, снабжённых взрывчаткой, для атаки на пехоту противника[3139], [3140]. Дроны-квадрокоптеры Kargu-2 производства турецкой компании STM (Savunma Teknolojileri Mühendislik ve Ticaret AŞ) способны самостоятельно обнаруживать и поражать цели — оператору нужно лишь направить их в определённую зону. При этом оператор может отменить атаку дрона или перенаправить его на другую цель (если, разумеется, имеется радиосвязь с дроном). В марте 2020 г. Kargu-2 были размещены в Ливии, где использовались в гражданской войне против сил, лояльных генералу Халифе Хафтару.

Несмотря на высокий уровень секретности, связанный с военным применением технологий ИИ, вряд ли приходится сомневаться, что подобные разработки ведутся сегодня практически всеми развитыми странами. Соответствующие заявления неоднократно делали официальные источники разных стран: США, России, Китая, Великобритании, Израиля, Южной Кореи, также известно о разработке летального автономного оружия и в странах Евросоюза: Франции, Германии, Италии и Швеции[3141], [3142]. Растущая международная напряжённость и военные конфликты последних лет ещё в большей мере подстегнули гонку вооружений в этом направлении[3143].

Заметим, что для создания автономного оружия вовсе не нужен ни AGI, ни сверхразум, ни «интеллектуальный взрыв». Для этого вполне подходят современные прикладные системы ИИ, причём эта опасность носит не гипотетический, а весьма реальный характер. К сожалению, в результате спекуляций представителей лагеря алармистов на страхах публики, воспитанной на «Терминаторе» и знаменитом HAL 9000 Кларка и Кубрика, происходит смещение акцентов в сфере безопасности ИИ в сторону анализа маловероятных, но эффектных сценариев. При этом реальные опасности зачастую ускользают из виду.

Катастрофические нотки, звучащие из уст заметных медийных фигур, вульгаризируются вечно ищущими сенсации журналистами, а затем и авторами сценариев голливудских фильмов. В целом технопессимистические нотки доминируют в современном мейнстримном искусстве. На смену эпохе Жюля Верна, воспевавшей человеческий разум, жажду знаний и научно-технический прогресс, постепенно пришла эпоха творцов, в произведениях которых