требует минимального контроля со стороны водителя) и заканчивая режимом «хранитель» (при котором компьютерные системы автомобиля сосредоточены на избегании аварий, тогда как самим транспортным средством управляет человек)[12]. На самолетах автопилоты работают уже многие десятилетия, однако у коммерческих перевозчиков в рубке обычно все еще находится по меньшей мере два человека. Даже обычный авиапассажир может быть благодарен за то, что сторонники полной автоматизации пока не стремятся избавиться от пилотов[13].

Заметим, что транспорт – одна из наиболее простых областей применения ИИ. Как только пункт назначения задан, спорить о траектории путешествия нет смысла. В других областях все наоборот: клиент или потребитель может передумать. Ученики в классе в весенний денек могут оказаться слишком непоседливыми, чтобы раз за разом повторять таблицу умножения. Модник может вызвать своего дизайнера интерьеров, расстроившись из-за того, что выбранная им для гостиной гравюра оказалась слишком аляповатой. Тренер может засомневаться в том, нужно ли клиенту, который выглядит слишком уставшим, бежать по беговой дорожке еще минуту. В каждом из этих случаев самое главное – это коммуникация, а также проявляемые при общении людей навыки терпения, размышления и различения[14].

Конечно, если тысячи тренеров вооружатся Google Glass и запишут все свои встречи, наверно, соберется какая-то божественная база данных из гримас и выпученных глаз, ругательств и триумфов, которая сможет определить оптимальный ответ уставшему бегуну. Но даже если просто задуматься о том, как построить такую базу данных, о том, что должно оцениваться как положительный или отрицательный результат и в какой мере, тут же придет осознание ключевой роли, которую люди будут играть в создании и поддержании ИИ и роботов в любом правдоподобном сценарии будущего. Искусственный интеллект так и останется искусственным, поскольку он всегда будет плодом человеческого сотрудничества[15]. Более того, большинство недавних достижений в ИИ нацелены на решение строго определенных задач, а не на выполнение работ как таковых или социальных ролей[16].

Существует много примеров технологий, которые позволяют повысить производительность рабочих мест, сделать их более интересными или допускают и то, и другое. Агентство цифрового развития Италии отметило: «Технология часто заменяет не профессионала целиком, а лишь некоторые конкретные действия»[17]. Современные студенты-юристы едва ли могут поверить, что до интернета их коллегам приходилось перелопачивать пыльные тома, чтобы оценить обоснованность того или иного дела; поисковые программы значительно упрощают этот процесс и значительно расширяют список ресурсов, доступных в судебном разбирательстве. Нисколько не упрощая задачу, они могут, наоборот, значительно ее усложнить[18]. Если на поиск по книгам тратится меньше времени, а на интеллектуальный труд, в котором создается общая картина дела, – больше, для адвокатов это прямая выгода. Автоматизация может дать похожий прирост производительности и многим другим работникам, что не обязательно ведет к замене их труда. И это не просто наблюдение. Это вполне состоятельная цель программы развития[19].

2. Роботизированные системы и ИИ не должны притворяться людьми

Перспектива гуманоидных роботов всегда манила, пугала и возбуждала – со времен Азимова и до головокружительной мимикрии «Мира Дикого Запада». Некоторые специалисты по робототехнике стремятся найти правильное сочетание металлических костей и пластиковой кожи, позволяющее вырваться из «зловещей долины», то есть избавиться от чувства жути при виде гуманоидного робота, который слишком сильно приближается к человеческим качествам, жестам и повадкам, но при этом не может их полностью воссоздать. Программы машинного обучения уже освоили искусство создания изображений «фейковых людей», а вскоре получат распространение и убедительные синтетические голоса[20]. Пока инженеры мучаются с тонкой настройкой этих алгоритмов, без ответа остается более важный вопрос: хотим ли мы жить в мире, в котором люди не знают, с кем они имеют дело – с другим человеком или машиной?

Существует принципиальное различие между гуманизацией технологии и подделкой исключительно человеческих качеств. Ведущие европейские специалисты по этике утверждают, что «должны быть (правовые) границы, определяющие, в какой мере людей можно заставлять верить в то, что они имеют дело с людьми, тогда как на самом деле они общаются с алгоритмами и умными машинами»[21]. Законодатели уже приняли законы об «идентификации ботов» в сетевых контекстах.

Несмотря на этот складывающийся этический консенсус, существуют отдельные области ИИ, например, программирование эмоций, когда анализируются и симулируются человеческие эмоции, задача которых – постоянно усложнять выявление различия между человеком и машинами. Такие исследовательские проекты способны привести к созданию передовых андроидов наподобие тех, что известны по фильму Стивена Спилберга «Искусственный интеллект», в котором машины внешне не отличались от человека. Специалисты по этике спорят о том, как должны проектироваться такие гуманоидные роботы. Но что если их вообще не стоит делать?

В больницах, школах, полицейских участках и даже в производственных цехах мало пользы от загрузки программного обеспечения в гуманоидную форму, а вреда много. Гонка за человекоподобием слишком легко может стать первым шагом на пути к замене человека. Некоторые люди, возможно, предпочтут такую замену в личной жизни, и право должно уважать их автономию в интимных вопросах. Однако безумным было бы общество, стремящееся к такой замене на рабочих местах и в публичной сфере. Подобная идея подменяет развитие человечества его устранением.

Этот аргумент может неприятно удивить или смутить технофилов, поскольку им отрицается содержание и посылка не только законов Азимова, но и обширной литературы о будущем технологий. Я надеюсь оправдать такой консерватизм тем, что последовательно, по главам, продумаю конкретные шаги, которые понадобилось бы сделать, чтобы достичь того научно-фантастического мира, где роботы неотличимы от людей. Для такого перехода необходим массовый контроль людей – и все для того, чтобы создать роботов, призванных дурачить людей или заставлять их относиться к машинам как к равным. Ни та, ни другая перспектива не кажется такой уж привлекательной.

Голос или лицо другого человека требует уважения и внимания; машины не имеют подобных прав на наше участие. Когда чат-боты обманывают ничего не подозревающих людей, которые думают, что они общаются с другими людьми, программисты чат-ботов действуют в качестве фальсификаторов, подделывающих черты реальных людей, чтобы повысить статус своих машин. Когда фальсификация денег достигает критической массы, подлинные монеты теряют ценность. То же самое ждет и человеческие отношения в обществах, которые позволят машинам свободно изображать эмоции, речь и внешний вид людей.

Подделка человека становится особой опасностью в том случае, когда корпорации и государства пытаются придать дружелюбный вид своим услугам и требованиям. Ассистенты Google поразили деловую прессу, изображая секретарей, которые назначают встречи, жутковато подражая даже «мычанию» и «ахам», которыми испещрена обычная беседа по телефону. Подобные междометия маскируют силу таких фирм,