Вопросы и проблемы автоматизации вышли за пределы технического сообщества. В оставшемся незамеченным открытом отчете Пентагона «Роль автономности в оборонных системах»{203} авторы обратили внимание на этические проблемы автоматизации боевых систем. Военные уже напрямую сталкиваются с противоречиями, связанными с автономными системами вроде дронов и приближением к грани, за которой вопросы жизни и смерти уже будут решать не люди. В одном из своих выступлений Аркин утверждал, что, в отличие от людей, автономные боевые роботы не будут чувствовать угрозы личной безопасности, а это потенциально может уменьшить сопутствующий ущерб и избежать военных преступлений. Этот вопрос – часть споров, начавшихся еще в 1970-е гг., когда командовавшие соединениями стратегических бомбардировщиков генералы обосновывали более высокую ценность самолета по сравнению с баллистической ракетой наличием «человека в контуре управления», который позволял отозвать бомбардировщик и мог оценить размер нанесенного противнику ущерба.

Аркин, кроме того, сформулировал новый набор этических вопросов. Что, если у нас будут роботы, обладающие моралью, а у противника – нет? На этот вопрос нет простого ответа. Действительно, технологии все более интеллектуального и автоматизированного оружия спровоцировали новую гонку вооружений. Добавление недорогого интеллекта к системам вооружений угрожает изменить баланс сил между странами.

Когда Аркин завершил свое выступление в величественном здании Медицинской академии в Атланте, одним из первых ему ответил директор DARPA Robotics Challenge Гилл Пратт. Он не стал опровергать точку зрения Аркина, а подтвердил, что роботы – технология двойного назначения. «Очень легко критиковать роботов, которых финансирует Министерство обороны, – сказал он. – Очень легко нарисовать робота, который похож на Терминатора, но, поскольку все вокруг нас имеет двойное назначение, это ничего не меняет. Если вы создаете робота для здравоохранения, то вам придется сделать его более автономным, чем робота-спасателя для работы в чрезвычайных ситуациях»{204}. Передовые технологии всегда вызывали вопросы относительно двойного назначения. В наши дни искусственный интеллект и автономность машин привели к переосмыслению этой проблемы. До сих пор технологии двойного назначения прямо требовали от людей принятия этических решений относительно их использования. Автономность машин или отдаляет принятие этических решений человеком, или полностью исключает его.

У нас уже есть примеры, когда ученые и инженеры в других областях задумывались о потенциальных последствиях того, что они делают, и многие из них вставали на защиту человечества. В феврале 1975 г., например, нобелевский лауреат Пол Берг призвал элиту новой тогда биотехнологии встретиться в конференц-центре Асиломар в Пасифик-Гроув, Калифорния. В то время рекомбинантная ДНК, полученная добавлением новых генов в ДНК живых организмов, была последним достижением. Оно одновременно сулило глобальный прогресс в медицине, сельском хозяйстве и новых материалах и открывало страшную возможность ненамеренного уничтожения человечества в результате появления новых микроорганизмов. Встреча ученых привела к экстраординарному решению. Группа рекомендовала молекулярным биологам воздерживаться от определенных видов исследований и приостанавливать исследования для поиска путей обеспечения безопасности. Для мониторинга отрасли биотехнологи создали независимый комитет в Национальном институте здравоохранения. За десятилетие удалось собрать достаточно данных, чтобы снять ограничения на исследования. Это был яркий пример разумного подхода общества к оценке последствий научного прогресса.

По примеру биологов в феврале 2009 г. группа исследователей искусственного интеллекта и робототехников также встретилась в Асиломаре, чтобы обсудить развитие отрасли. Встречу созвал исследователь из Microsoft Эрик Хорвиц, президент Ассоциации развития искусственного интеллекта. В предыдущие пять лет предметом обсуждения у исследователей в этой области были два тревожных сигнала. Один поступил от Рэя Курцвейла, объявившего об относительно скором появлении компьютерного сверхинтеллекта. Основатель Sun Microsystems Билл Джой также рисовал мрачную картину развития искусственного интеллекта. Он опубликовал статью в журнале Wired, где детально описывал трио технологических угроз: робототехнику, генную инженерию и нанотехнологию{205}. Джой полагал, что эти области исследований создают тройную угрозу выживанию человечества, и не видел очевидного решения.

Встретившиеся в Асиломаре исследователи искусственного интеллекта предпочли действовать менее осторожно, чем их предшественники биотехнологи. Группа светил в области компьютерной науки и робототехники, включая Себастьяна Труна, Эндрю Ына, Мануэлу Велосо и Орена Этциони, нынешнего директора Института исследований искусственного интеллекта Пола Аллена, в целом отвергла возможность появления сверхинтеллекта, который превзойдет людей, а также предположение, что искусственный интеллект может спонтанно возникнуть в интернете. Они согласились, что уже разрабатываются способные убивать автономные роботы, но их отчет, появившийся к концу 2009 г., оказался довольно спокойным. Искусственный интеллект еще не достиг того момента, когда он превращается в непосредственную угрозу. «На встрече 1975 г. речь шла о моратории на исследования рекомбинантной ДНК. Контекст совещания американской Ассоциации развития искусственного интеллекта был совершенно иным. Эта область демонстрирует довольно успешное, устойчивое развитие, однако исследователи искусственного интеллекта открыто выражают разочарование прогрессом, недостаточно быстрым с учетом существующих надежд и ожиданий»{206}, – написали авторы итогового отчета о встрече.

Так или иначе пять лет спустя вопрос автономности машин возник снова. В 2013 г., когда Google приобрела специализировавшуюся на машинном обучении британскую фирму DeepMind, считалось, что робототехники очень близки к созданию полностью автономных роботов. Крошечный стартап продемонстрировал программу, которая играла в видеоигры порою лучше людей. Отчеты о приобретении сопровождались заявлением, что Google создает «совет по этике» из-за опасений по поводу потенциального использования технологии и возможных злоупотреблений. Один из соучредителей DeepMind – Шейн Легг признал, что технология в конечном итоге может иметь негативные последствия для человеческого рода. «Я думаю, что человечество исчезнет, и технология, скорее всего, сыграет в этом определенную роль»{207}. Для исследователя искусственного интеллекта, который только что получил сотни миллионов долларов, это была странная позиция. Если кто-то полагает, что технология может уничтожить человечество, то с какой целью он продолжает разрабатывать ее?