Еще один интересный правовой спор касается предоставления прав машинам. Если появление на дорогах беспилотных автомобилей сохранит жизнь половине от тех 32000 человек, что ежегодно гибнут на дорогах США, то производители таких автомобилей получат не 16 000 благодарственных открыток от спасенных, а 16 000 исков в защиту погибших. В случае, когда беспилотный автомобиль попадает в аварию и в результате страдают люди, кто должен нести за это ответственность — седоки, владелец или производитель? Правовед Дэвид Владек выдвинул четвертый вариант: сам автомобиль! В частности, он предлагает, чтобы для беспилотных автомобилей допускалось (и даже требовалось) наличие страховки. И тогда модели, чья страховая история окажется безупречно чиста, будут претендовать на премии за свою выдающуюся безопасность. Такая премия может быть совсем небольшой, пусть даже намного меньшей, чем та, на какую претендовал бы водитель-человек в аналогичном случае, но зато плохо разработанные модели от небрежного производителя получат право лишь на такие дорогие страховые полисы, что владение этим автомобилем окажется до невозможности невыгодным.

Но если машины — те же беспилотные автомобили — получают право на приобретение страховых полисов, то не должны ли они также получить право иметь собственные деньги и приобретать на них иное имущество? А если так, то нет никаких юридических препятствий и для того, чтобы умный компьютер зарабатывал на фондовом рынке и пользовался заработанным для покупки онлайн-услуг. После того как компьютер начинает платить людям за работу на него, он становится способен на все, на что способны люди. Если системы с искусственным интеллектом лучше проводят инвестиции, чем люди (а кое в чем они этого уже достигли), это может привести к ситуации, когда бóльшая часть нашей экономики окажется в собственности у машин и под их управлением. Мы этого хотим? Если вы думаете, что это как-то чересчур, то подумайте о том, что наша экономика и так уже в основном в собственности нечеловеческих сущностей — корпораций, которые часто значительно более могущественны, чем любой человек из работающих в них, и могут до некоторой степени жить собственной жизнью.

Если вы не видите проблем в предоставлении машинам прав на владение имуществом, то как насчет предоставления им права голоса? И тогда каждой компьютерной программе надо дать голос, хотя она легко может сделать триллионы копий самой себя в подходящем облаке, тем самым гарантируя результаты любых выборов? А если нет, то на каком моральном основании мы проводим дискриминацию машинного ума по отношению к человеческому? Если машина обладает сознанием и субъективным опытом, то чем она отличается от нас? Мы обсудим более подробно эти спорные вопросы, связанные с управлением нашего мира компьютерами, в следующей главе и вопросы, связанные с наличием у машин сознания, в главе 8.

С незапамятных времен человечество страдает от голода, болезней и войн. Мы уже коснулись темы, как искусственный интеллект может помочь решить проблемы голода и болезней, а что насчет войны? Некоторые утверждают, что наличие ядерного оружия удерживает владеющие им страны от войны, потому что ее последствия ужасающи. Так не позволить ли всем нациям создать еще более ужасающее оружие с использованием искусственного интеллекта в надежде, что после этого войны прекратятся навсегда? Если аргумент вас не убеждает и вы считаете, что будущие войны все равно неизбежны, то что вы скажете об использовании искусственного интеллекта для гуманизации этих войн? Если в боевых действиях будут принимать участие только машины, воюющие с машинами, то ни военные люди, ни гражданские не должны гибнуть. Более того: можно надеяться сделать будущие дроны, снабженные искусственным интеллектом, и другие автономные системы оружия (АСО; их противники дали им название «роботы-убийцы») более справедливыми и рациональными, чем человеческие солдаты: оснащение их сенсорами, далеко превосходящими человеческие органы чувств, и отсутствие у них страха смерти сделает их спокойными, расчетливыми и уравновешенными даже в пылу сражения, делая почти невероятным убийство гражданских лиц.

Человек в цепи

Но что если автоматизированные системы глючат, сбоят и ведут себя не так, как ожидалось? Американская система Phalanx, устанавливаемая на крейсерах класса Aegis[24], автоматически обнаруживает, отслеживает и отражает приближающиеся цели противника, такие как противокорабельные ракеты и самолеты. USS Vincennes[25] был ракетным крейсером, получившим прозвище «Робокрейсер» — с намеком на установленную на нем систему Aegis. 3 июля 1988 года, в разгар перестрелки с иранскими канонерскими лодками в ходе ирано-иракской войны, его радиолокационная система предупредила о приближении самолета. Капитан Уильям Роджерс-третий заключил, что их атакует иранский истребитель F‐14 и позволил системе Aegis открыть огонь. В тот момент он не понимал, что они сбивают пассажирский самолет иранской авиакомпании Iran Air, выполнявший свой обычный рейс под номером 655. Погибли все 290 человек, находившиеся на борту, из-за чего разразился грандиозный международный скандал. Расследование показало, что катастрофа произошла отчасти из-за того, что пользовательский интерфейс системы не давал достаточно полной информации, не показывая в автоматическом режиме, ни какие из точек на экране радаров соответствуют гражданским самолетам (рейс 655 проходил в его обычном ежедневном коридоре с включенным гражданским транспондером), ни какие из самолетов снижаются (как во время нападения), а какие, напротив, набирают высоту (как это было с рейсом 655, который как раз взлетал из аэропорта Тегерана). Вместо этого автоматизированная система сформировала запрос о траектории загадочного самолета и получила на него ответ «нисходящая», но это был статус уже другого самолета, которому присвоен номер, используемый на военных кораблях для отслеживания самолетов военно-морского флота. Так что снижался в тот момент на самом деле патрульный самолет США, находившийся на боевом дежурстве далеко от места событий, над поверхностью Оманского залива.

Рис. 3.4

Современные военные дроны (например, стоящий на вооружении ВВС США MQ‐1 Predator) дистанционно управляются человеком. В будущем у подобных дронов есть шанс освободиться от человека в цепи управления.

В этом случае окончательное решение принимал именно человек, включенный в цепь управления, но из-за нехватки времени он был вынужден чрезмерно доверять тому, о чем сообщала автоматизированная система. Пока что высшие должностные лица, ответственные за оборону своих стран, согласны в том, что во всех развернутых системах оружия человек включен в цепь; исключение делается лишь для простых ловушек вроде наземных мин. Но в настоящее время ведется разработка действительно автономного оружия, которое по-настоящему самостоятельно выбирает и атакует цели. В военном отношении перспектива изъять человека из цепей управления очень заманчива, это сразу даст преимущество в скорости: в схватке между полностью автономным дроном, способным реагировать моментально, и вяло реагирующим дроном, подчиняющимся командам человека, сидящего за пультом дистанционного управления на расстоянии в полмира, какой из двух, по-вашему, победит?