Апостолопулос воспользовался идеей, разработанной для проекта Реда Уиттейкера в конкурсе Urban Challenge, — самоуправляемым автомобилем, способным ориентироваться на улицах города на скорости уличного движения и немедленно останавливаться, если кто-то вышел перед ним на дорогу. Роботы-разведчики должны были идти впереди солдат во время уличных боев, отправляя изображения и данные с камер, тепловизоров и лазеров. Роботы могли спасти жизни морпехов, которым в ином случае пришлось бы пробиваться вслепую от дома к дому.

У США, Британии, Израиля и Норвегии уже есть беспилотники и ракеты с ИИ, способные лететь без наведения, избегать обнаружения и противовоздушного огня, выбирать цель, наводить средства поражения и уничтожать ее. Видеодемонстрация нового флотского вооружения Lockheed Martin неприятно напоминает запись атаки камикадзе во время Второй мировой войны. Как утверждает New York Times, уже сегодня вовсю идет секретная гонка автономных вооружений. Беспилотники США, проводящие атаки на Ближнем Востоке, почти все делают сами, по словам Дими. Только непосредственный приказ о запуске ракеты поступает от человека в комнате управления где-то в США.

Недолго осталось ждать и роботов, способных заменить наземные войска. Усиленная разработка разведывательных роботов велась перед операцией в Ираке. Они должны были стремительно перемещаться в хаотичном окружении, полном движения, опасностей и мирных жителей. Дими нравилась сложная работа по созданию робота, способного ориентироваться среди незнакомых улиц, собирать сведения, быстро их обрабатывать (для чего роботу нужно научиться игнорировать второстепенные данные) и решать, что делать. Но морпехам были также нужны роботы, способные вести бой.

Создатели роботов много думают над тем, как не позволить роботу навредить человеку. Роботы могут случайно нанести серьезный вред. Они могут быть непредсказуемы, их бывает трудно понять. Когда они допускают ошибку, они не обязательно останавливаются. Автоматизированные системы уже приводили к крушениям самолетов и кораблей, обычно из-за ошибок в области взаимодействия машин с операторами. «Аполлон-10» чуть не разбился о лунную поверхность из-за переключенного по ошибке тумблера в системе автоматического наведения.

Будучи людьми, мы избегаем причинять друг другу вред, стараясь предугадать намерения друг друга. Нам помогают эмоции. Благодаря им мы предсказуемы. Ученые NASA в Исследовательском центре Эймса изучали ошибки и аварии роботов как одну из опасностей космического полета (эта область называться HARI[59]). Людям трудно понять и управлять деятельностью роботов в сложном трехмерном окружении. Роботы даже не пытаются понимать людей. Если астронавт велит системе наведения аппарата врезаться в Луну, он врежется в Луну.

В одном отчете 2013 г. исследователи HARI написали, что для успешного космического полета требуется командная работа. «Чтобы сложилась успешная команда людей, ее члены должны разделять общую цель, иметь общие ментальные модели, подавлять индивидуальные потребности ради потребностей группы, рассматривать доверительные отношения как нечто положительное, понимать свою роль в рамках команды и соответствовать ей. Роботы же не имеют ментальных моделей, индивидуальных ценностей и руководящих убеждений и даже самомотивации; роботы лишены существенных качеств успешного члена команды».

Если астронавты знают все о роботе и его функциях, они могут избежать проблем, постоянно представляя себе, о чем он «думает». Но роботы совершенствуются, завоевывают все новые области применения, и их внутренние процессы выходят за рамки понимания даже наилучшим образом обученных астронавтов. Ключ к хорошему пользовательскому интерфейсу может заключаться в том, чтобы облегчить ментальное моделирование «мышления» робота человеком.

Одно из решений заключается в том, чтобы делать роботов как можно более похожими на человека. Если роботы будут выглядеть как люди, то людям будет легче предугадывать их движения и действия. В идеале, прежде чем врезаться в Луну, человекоподобный робот сказал бы: «Вы уверены в этом приказе, майор Том? Я не хочу умирать».

Роботы-гуманоиды доказали свою эффективность в совместном с людьми решении задач. У робота Geminoid, созданного учеными из Университета Осаки, 50 моторов, управляющих выражениями его лица, движениями и имитацией человеческого дыхания. Выставленный в универсальном магазине, он продавал кашемировые свитера, обслуживая больше людей, чем смог бы продавец-человек, ведь он не нуждался в перерывах. Но он продал меньше свитеров, чем лучшие работники, потому что его клиенты, понимая, что робот лишен эмоций, гораздо легче отвечали ему отказом.

Задача Дими несколько иная. Вооруженный робот призван причинять людям вред. Но только врагу и только когда враг намерен драться. Убить сдающегося солдата — военное преступление, но, чтобы понимать, что тебе сдаются, нужно понимать человеческие намерения. Команда Дими установила оружие на его роботов-разведчиков. Из-за этого он чувствует себя некомфортно.

«Откуда вам знать, что собирается делать автономная система? — говорит Дими. — Откуда вам знать, что автономная система не убьет первое, что пошевелится справа от нее? Развернется и выстрелит. А это ребенок перебегал дорогу. Так случится, вероятно, много-много раз, прежде чем автономия станет достаточно хороша, чтобы понять, что это ребенок, это не солдат, не важно, чьей стороны, и не выстрелить».

Должностные лица ООН призвали к мораторию на эти вооружения. Организация по наблюдению за осуществлением прав человека хочет запретить летальное автономное вооружение, которое она в своих публикациях называет «роботами-убийцами». Даже если роботы могли бы уверенно выбирать, кого убивать, их существование все равно разрушает цепь ответственности, на которой основана наша система правосудия. Кто будет нести ответственность за убийство? Кто отправится в тюрьму, если военное преступление совершит робот?

Бонни Дочерти из Организации прав человека указывает на политические последствия в журнале Foreign Affairs. Она пишет: «С точки зрения диктатора полностью автономное оружие — это совершенный инструмент репрессий, исключающий возможность бунта солдат-людей при получении приказа стрелять в своих. Эмоции могут быть не просто иррациональными влияниями и препятствиями для рассуждений, но главным ограничителем в войне».

Вооруженные роботы, созданные Апостолопулосом, были подготовлены к выходу на поле боя и размещены на территории США, но они никогда не отправлялись за океан.

«Был один бравый морпех, который сказал, что намерен спасти жизнь нескольким своим парням, используя роботов, — рассказал Дими. — Но до самого его увольнения такой шанс не выпал. А потом их вообще отправили на склад.

Но если где-нибудь через несколько лет вспыхнет война, опять скажут: «Давайте снова делать автономных роботов»».

Будущее

Засуха и крайняя жара привели к отключению электричества в Пакистане, что повлекло остановку промышленности, народное восстание и свержение правительства. В наступившем вакууме власти религиозные и политические фракции взялись за оружие, армия раскололась, гражданский порядок рухнул. Было неясно, кто контролирует ядерное вооружение Пакистана, а одна экстремистская исламская группировка добилась серьезного успеха на поле боя, обезглавливая пленных и вероотступников тысячами.