– отличное средство, которое авторитарные режимы могут применять для того, чтобы нарушить естественный процесс формирования мнений в интернете. Кроме того, военные могут применять технологию для вмешательства в выборы в других странах. Лучше, если такая технология вообще не будет распространяться.

«Технари не будут это делать»: внутреннее сопротивление коммерциализации военного ИИ

В одной из крупнейших американских фирм, работающих с ИИ, все больше разработчиков-программистов отказываются делать роботов-убийц и даже технические детали, необходимые для их разработки. Их сопротивление стало частью более обширного движения специалистов и членов профсоюзов, требующих контроля над тем, как они работают и что они делают. Недавние события в компании Google показывают преимущества и в то же время недостатки подобного подхода.

Государственные контракты способны обеспечить технологические фирмы выгодной и постоянной работой, а военных – нужными им экспертными знаниями. Пентагон, заваленный фото- и видеоматериалами, сделанными в самых разных странах, заключил контракт с Google на обработку изображений, снятых дронами. Некоторые дроны налетали тысячи часов над вражеской территорией. Люди могут просмотреть съемку, но иногда они упускают важные паттерны, которые говорят о террористической деятельности. Машинное обучение обещает обнаружить подобные скрытые черты в записях и со временем перейти к подобному анализу изображений в реальном времени. Google предложил проект под названием Maven, который должен был ускорить обработку видеозаписей. Поскольку у компании был опыт отслеживания миллионов часов записей в год на YouTube, в которых ищутся запрещенные изображения, нарушения авторского права, ненавистнические высказывания и другие проблемные материалы, топ-менеджеры Google стремились применить эти эффективные методы к вопросам жизни и смерти.

Однако люди, работавшие на переднем краю технологий, сделали иной моральный расчет. Четыре тысячи работников Google подписали короткое, но колкое письмо, в котором утверждалось, что «Google не может участвовать в военном бизнесе». Работники выступили с экономическими и одновременно моральными аргументами, обосновав то, почему надо сторониться военных применений технологий ИИ. Учитывая тесную связь собираемых Google данных с жизнью пользователей, они почувствовали, что военные приложения нанесут «невосполнимый ущерб» корпоративному бренду. Одни фирмы, такие как Palantir, Raytheon и General Dynamics, были прямо связаны с военными разработками; другие, в частности Microsoft и Amazon, участвовали в них косвенно. Сотрудники Google заявили, что их фирма не должна попасть ни в первую категорию, ни во вторую. Свой цифровой протест они завершили просьбой к руководителям: «Составить, опубликовать и внедрить четкую программу, в которой должно утверждаться, что ни Google, ни его подрядчики никогда не будут создавать военные технологии». Хотя управление похоронило проект Maven, по крайней мере десять сотрудников Google уволились после этой истории, задумавшись о том, сможет ли фирма в будущем избегать заказов, компрометирующих ее в этическом плане[534].

Эти программисты-идеалисты, хотя в прессе им в целом аплодировали, столкнулись и с определенной критикой. Некоторые высмеяли то, что сочли запоздалым проявлением обеспокоенности. К 2013 г. откровения Сноудена показали, насколько полезными могут быть большие технологические данные для охраны правопорядка и интересов военных. Бывший гендиректор Google Эрик Шмидт многие годы председательствовал в Консультативном совете по оборонным инновациям. Google, некогда прославившийся лозунгом «Не будь злым!», стряхнул с себя и этот, довольно скромный, этическии стандарт[535].

Другие критики завили, что Google не помогает в должной мере своей родной стране. В мире идет гонка вооружений с применением ИИ, и если США не могут воспользоваться своими ведущими технологическими компаниями, вперед могут вырваться страны с ловкими плутократами. Сандро Гайкен, старший советник в НАТО, прокомментировал: «Эти наивные разработчики-хиппи из Кремниевой долины не понимают – ЦРУ стоило бы принудить их»[536]. Фирмы, отказывающиеся сотрудничать, рискуют тем, что Америка в гонке вооружений с применением ИИ отстанет от Китая и даже от России. Интеграция данных на китайском уровне, скорее всего, обеспечит ускорение развития мониторинга и таргетирования людей, что создаст возможности, которые будут широко применяться полицейскими силами, при борьбе с эпидемиями и на войне. Тесная интеграция частных компаний и государства способна привести к еще большему прогрессу[537]. С другой стороны, возможно, что западные 84 комментаторы преувеличивают эту угрозу[538].

Когда Google объявил о создании Project Dragonfly, поисковой машины с цензурой, удовлетворяющей требованиям китайского правительства, и идеалисты, и реалисты пришли в возмущение. Почему с китайским правительством можно сотрудничать, а с американским нет? С одной стороны, различие очевидно: поисковая машина с цензурой никого не убьет. С другой – неприятные вопросы остались. Что станет с исчезнувшими веб-сайтами? Будет ли Dragonfly сообщать об их авторах? В эпоху информационных войн пристальная слежка и контроль сетевой жизни – важнейший приоритет многих государств[539]. Такой авторитарный контроль может также создать серьезные проблемы для всего остального мира, как в случае SARS-CoV-2 (вируса, ответственного за COVID-19), который возник в Китае и который можно было бы сдержать оперативнее, если бы китайские чиновники не запретили высказываться врачам, пытавшимся предупредить о распространении этого нового опасного заболевания.

Отказ активистов из Google работать на военные технологии может показаться несколько запоздалым или непатриотичным. Однако этика участия является контекстуальной. США уже вложились в поразительное военное преимущество, которое есть у них перед другими странами. Хотя после 1990-х гг. их позиция слегка пошатнулась, они все еще способны ответить апокалиптическим по своей мощи ударом любой стране-агрессору. Такие проекты, как Maven, возможно, не развивают контрнаступательные силы, но они делают сохранение статус-кво – фактически оккупацию – гораздо более вероятным во многих странах, где присутствие США скорее вызывает негодование, чем укрепляет добрую волю.

Пути кооперации

Работа в сфере безопасности, в том числе и подготовка к войне, – это большой бизнес[540]. Развитие «капитализма террора» вывело на совершенно новый уровень глобальную торговлю оборудованием для наблюдения. США – ведущий экспортер, но другие страны тоже не отстают. Китайские фирмы продают высокотехнологичные видеокамеры британским силовым агентствам и правительству Зимбабве[541]. Специалисты по безопасности из самых разных стран мира приезжают за товарами на Выставку антитеррористического оборудования в китайском Синьцзяне[542]. Русское военное оборудование используется в Сирии, Иране и Мексике. Фирмы, официально считающиеся частными, накапливают данные, которые продаются, иногда взламываются, а также используются государственными центрами обработки информации, где интегрируются мириады источников с целью выявления аналитических паттернов жизни сотен тысяч людей. Вооружение всегда было большим бизнесом, а гонка вооружений на основе ИИ обещает прибыли высокотехнологическим фирмам с хорошими политическими связями.

Может показаться, что выступать против гонки вооружений – совершенно нереалистично. Крупные державы закачивают ресурсы в военные приложения ИИ. Слишком много граждан либо не интересуются этим, либо рукоплещут очевидным