в основном диктуется технологическими и финансовыми фирмами. Мы поступим правильно, если демократизируем власть за пределами этих фирм, поскольку, как утверждал специалист по робототехнике Илаа Реза Нурбакхш:

Сегодня большинство неспециалистов практически не имеют слова в определении того, какую роль роботы будут играть в нашей жизни. Мы просто смотрим на новую версию «Звездных войн», которая пишется в реальном времени деловыми и научными интересами, если не считать того, что этот сценарий становится нашим реальным миром… Хорошо знакомые устройства станут более сознательными, интерактивными и проактивными; совершенно новые роботизированные создания будут делить с нами наше пространство, публичное и приватное, физическое и цифровое… Со временем нам надо будет читать, что они пишут, взаимодействовать с ними, чтобы вести наши дела, и часто наша дружба будет опосредована ими[723].

Условия этого сотрудничества могут быть вполне неолиберальными: задача в таком случае в том, чтобы максимизировать прибыль с инвестиций богатейших технологов и наиболее продвинутых в технологическом плане богачей. Или они могут отличаться, могут разрабатываться вместе с экспертами из различных областей, отвечать ценностям сообщества. Режим laissez-faire наверняка приведет нас к первому результату, а четыре новых закона робототехники – ко второму.

Когда главной угрозой правовому порядку были произвольные постановления автократов, судьи и адвокаты сопротивлялись им, выдвинув принцип «верховенства права, а не людей». По мере развития автоматизации мы должны дополнить этот принцип максимой «верховенство людей, а не машин». Менеджеры и бюрократы не должны иметь возможности скрыться за алгоритмическими способами установления социального порядка. Личная ответственность за решения имеет критическое значение для сохранения легитимного правления как государственных ведомств, так и фирм.

Также мы должны с подозрением относиться к сторонникам технологий, которые считают, что большинство работ являются предсказуемыми, а потому им могут научиться машины, получившие доступ к достаточным данным. Это верный рецепт для того, чтобы общество попало в ловушку прошлого, то есть тренировочной выборки, на которой будут учиться машины. Энтузиасты автоматизации определяют тренировочную выборку как всего лишь начальную точку, позволяющую в будущем приобрести независимость от машин, которые будут учиться на негативных и позитивных стимулах, отвечая на будущие действия. Однако само определение «негативного» и «позитивного» должно быть запрограммировано, как и возможности расширять или сокращать их определения. Органическое развитие моральной ответственности (на индивидуальном уровне) и самоуправления (на коллективном уровне) может быть приписано ИИ лишь благодаря мифическому мышлению, известному по волшебным сказкам.

Современные вычислительные системы скрывают в себе огромную мощь. Искушение применить ее для решения всякой крупной проблемы, не сковывая ее законами, профессиональными обязательствами или этиками, будет почти неодолимым. В той мере, в какой вообще можно говорить о социобиологической человеческой свободе, она, возможно, и правда склонна к гонке за относительные позиции, которая еще больше ускоряется автоматизацией. Как предупреждала Симона Вейль, «не применять всю имеющуюся в распоряжении власть – значит терпеть пустоту. Это противно всем законам природы. Только благодать на это способна»[724].

Нужная для этого благодать не может быть благодатью кибернетического поэта или робота – ангела истории[725]. Нас ждут затяжные политические и юридические дискуссии о верном распределении выгод и обязанностей. Будет множество решений по вполне практическим вопросам, например, о том, может ли врач не учитывать предупреждение программы поддержки клинических решений, а водитель – отключить компьютерное вождение, и могут ли они получить доступ к внутренностям компьютерных систем, которые сейчас слишком часто остаются для них непрозрачными. Подобные дискуссии, не являясь помехой лучшему будущему, свидетельствуют о подлинных и важных конфликтах по поводу самого способа управлять обществом. Если мы будем избегать их, нам будет грозить опасность.

Гуманная автоматизация требует мудрости ограничения. Миф об Икаре, который обычно толкуется как сказание о личной гордыне, – это еще и одна из легенд о технологическом перенапряжении. В изложении Овидия Дедал и его сын Икар были заключены на острове. Дедал сделал крылья из воска и перьев, чтобы улететь на другой берег. Смелый план сработал, и отец с сыном воспарили над океаном. Однако Икар проигнорировал предупреждения отца о том, что нельзя рисковать и летать слишком близко к солнцу. Воск растаял, крылья распались, а Икар упал в море и утонул.

Миф об Икаре стал основой для других предупреждений, таких как «Фауст» Марло. В сфере роботизации есть своя собственная версия этой проблемы, известная под названием «зловещая долина», то есть неприятного ощущения, которое вызывает гуманоидный робот, когда он перестает быть просто механизмом и слишком сильно приближается к человеческим чертам, жестам и способу бытия в мире, но при этом не может их в полной мере воссоздать[726]. Термин «зловещая долина» возник благодаря простому графику, на котором изображается постепенный рост приемлемости робота, замечаемый по мере того, как он приобретает все больше функций и начинает все больше напоминать человека, однако потом машины становятся слишком гуманоидными, и тогда их привлекательность резко падает и заменяется отторжением. И все же «долина» – не столько предупреждение, сколько вызов. Изобретательность вкупе с горами данных должна позволить умному проектировщику роботов выбраться из этой «долины» и создать машины, которые будут уважаться и приветствоваться не меньше людей.

Существует и другой подход – альтернативная телеология. Мы можем избежать «зловещей долины», если признаем границы технологии. В пугающей инсталляции 1995 г. «Любовники» художник Тейдзи Фурухаси выразил эту мудрую идею в строгой иммерсивной концепции[727]. Призрачное видео, проецируемое на четыре черных экрана, окружающих зрителя, который находится в темной комнате, показывает участников японского перфор-мансистского коллектива Dumb Туре – они ходят, стоят, выполняют стилизованные движения, словно обнимая друг друга или предупреждая, подбегая друг к другу и разбегаясь, но никогда не касаясь. Их изображения часто размываются движениями, причем нет сцены, которая бы отвлекала от их тел.

Их движение может запускаться движениями самого зрителя, но связь между ними остается неясной. В одну секунду они выражают энергию и устремленность, в другую – горькую капитуляцию. Произведение, созданное на волне распространения СПИДа, впоследствии унесшего жизнь Фурухаси, является превознесением новых возможностей технологий и в то же время мудрым признанием ее ограничений. Танцор – это не танец.

Размышления о культуре, вдохновляющиеся автоматизацией, – шаг к общему языку, позволяющему говорить о сложных политических и личных решениях в области ИИ, с которым нам в ближайшие десятилетия придется столкнуться. Мы можем позволить себе будущее робототехники, которое будет инклюзивным и демократическим, будет отражать усилия и надежды всех людей как работников и граждан, а не просто потребителей. Мы можем освоить новые формы вычислений, не передавая человеческие по своей сущности роли искусственному интеллекту. Такой исправленный курс потребует много