от которого сегодня страдает программирование эмоций, становится еще более заметным, поскольку, как не раз было доказано, этические принципы и условия обслуживания технологических фирм 50 и стартапов далеки от совершенства[672].

Возможно, беспокоиться о подобной эмоциональной привязанности к роботам покажется странным, учитывая, насколько они сегодня редки и невероятны. Однако она заслуживает прямого анализа, поскольку специалисты по робототехнике не должны рассматривать симулирование эмоций в качестве еще одного очевидного ответвления ИИ как респектабельной области исследований. Даже если пока возможность ИИ, который потребует прав, ресурсов и уважения человека, кажется далекой, первые шаги к нему уже ухудшают качество многих наших современных контактов. Все больше чувствуется давление, заставляющее упрощать измерение эмоций или следить за тем, чтобы они могли считываться машиной и ею же выражаться.

Конечно, предполагается, что все это к нашей же пользе. Например, намного проще скоррелировать шесть кнопок эмоциональных реакций в Facebook с поведением пользователя, чем сотни или тысячи сложных форм неодобрения, любопытства, заинтригованности, покорности и т. п., которые пробегают по лицам пользователей, когда они пролистывают новостную ленту. Но даже если такая технология значительно улучшится, это не станет достаточной причиной для производства роботизированных систем с более тонкими или таргетированными техниками, позволяющими втереться в доверие или завоевать любовь, потребовать послушания или вызвать сожаление в ответ на гнев (если вспомнить лишь о нескольких возможных эмоциональных реакциях).

Первая проблема с подобными амбициозными инструментами – в их происхождении. Слишком часто они являются продуктами коммерческих исследований или крупных фирм, которым надо что-то продать. Основатели Google некогда предупреждали о том, что спонсируемая рекламой поисковая машина будет ставить интересы спонсоров выше интересов пользователей. Мы уже видели, что Google и сам нередко допускал ту же ошибку. В этом отношении огромное преимущество рожденного перед сделанным заключается в безусловной свободе преследовать собственные, а не чужие цели. Нет никакого особенного коммерческого основания для того, чтобы хотя бы попытаться наделить роботов подобными степенями свободы.

Но даже если мы могли бы преодолеть эту проблему и освободить ИИ от коммерческих императивов (что само по себе является слишком громким допущением, учитывая огромные вычислительные ресурсы, используемые сегодня в ИИ), мы не можем избежать глубоких метафизических вопросов, которые возникают при возведении ИИ в ранг партнеров человека, а не просто его инструментов[673].

Эта эволюция – или коэволюция, если использовать модель, обсуждаемую в работе Дюмушель и Дамиано «Жить с роботами», – представляется вполне разумной людям с механическим и монистическим мировоззрением[674]. Если человеческое тело – это просто биологическое машина, то есть оборудование, а наш разум используется в качестве программы, тогда разум и эмоция, на которые способны достаточно развитые машины, не являются в полном смысле искусственными. Скорее, они ровня нашему. И если клапан сердца можно заменить проводами и пластиковыми мембранами, точно так же, с такой точки зрения, стремящейся к сингулярности, можно постепенно дополнять, а потом и заменить мозг кремнием.

Однако между животными и машиной зияет онтологическая пропасть. Сравните домашнюю кошку с MarsCat (роботом, напоминающим своим поведением кошку). Перцептивный аппарат кошки и ее поведение эволюционировали в течение намного более длительного периода времени, чем любой робот-симулякр, и в урчании настоящей кошки (когда она довольна) чувствуется нечто подлинное и нутряное, как и в ее возбуждении, заметном, если она чем-то напугана. Последствия возможной травмы или какого-то иного ущерба оцениваются кошкой на инстинктивном и в то же феноменологически непосредственном уровне. Даже если внешние признаки подобных ментальных процессов могут быть полностью скопированы кошкой-роботом, в этом проекте все равно будет заметен изрядный момент поддельности[675]. Физиологичное чувство боли и беспокойства, которое возникает у кошки, если у нее сломана нога, просто невозможно воспроизвести в машине, которую можно просто выключить, пока техник будет ставить новую деталь между ее «телом» и «лапой». Если и можно скопировать боль и беспокойство, они будут обманом, поскольку проблему машины можно решить простым «выключением» на то время, пока ее будут ремонтировать[676].

Связь между человеческой биологической телесностью и бесконечными оттенками чувств, подкрепляемая культурой и языком, еще больше отрывает наш опыт от машинного (если вообще можно сказать, что у машины бывает опыт). Из-за этого отрыва и этого различия определенная демократизация ощущений, наблюдений и суждений обширной массой людей крайне важна даже для скромных программ ИИ и исследования робототехники.

Одна из причин, по которым мы позволяем судьям судить преступников, состоит в том, что судья может интуитивно понять, как живется в заточении. Конечно, у судей-людей много недостатков. И, разумеется, можно представить отлично откалиброванного утилитаристского робота, запрограммированного (и обновляемого методами машинного обучения) так, чтобы применять закон к любой ситуации, которая только может возникнуть, если достаточно данных. Подобная машина в подсчете оптимальных наказаний и наград может достичь лучших результатов, чем судьи-люди. Действительно, такой ИИ, вероятно, не будет испытывать те непозволительные страсти и совершать те проступки, к которым слишком склонны люди. Но сам он не смог бы понять, что значит отбывать тюремный срок, а потому его приговоры были бы незаконны. Это удел исключительно существа с ограниченной продолжительностью жизни, испытывающего внутреннюю потребность в стимуляции и сообществе, которые не может дать ему тюрьма[677].

С утилитаристской точки зрения подобное самоограничение может показаться странным, поскольку мы тем самым отказываемся от судебного суперкомпьютера, способного при рассмотрении дел соотносить друг с другом миллионы переменных. В сравнении с ним язык кажется чрезвычайно слабым инструментом. Однако его ограничения определяют в то же время его сильные стороны. Необходимость писать или говорить слово за словом выстраивает линию рассуждений, которую слушатели могут понять (или оспорить). Эта идея отлично передана в произведении Мэтью Лопеса «Наследство», в котором воображаемый Э. М. Форстер говорит начинающему автору: «Все ваши идеи – на старте, они готовы рвануть вперед. Но все они должны пройти через замочную скважину, чтобы начать бег»[678]. Текст или речь могут пониматься последовательно, одно слово за другим, с ними можно соглашаться или спорить. Если только способность оспорить методы машинного обучения не будет подобным образом демократизирована и не станет столь же доступной, к передаче ИИ оценки людей мы должны отнестись с крайней осторожностью.

У ограничений телесности есть свои сильные стороны. Постоянное желание отвлечься – вот что делает личное внимание настолько ценным; привлекательность беззаботности – вот благодаря чему забота приобретает ценность. Роботизация профессий, связанных с уходом, означала бы либо полное отчуждение, либо что-то похуже, а именно неспособность почувствовать себя не в своей тарелке, когда что-то должно казаться чуждым и пугающим[679]. Взаимодействие с артефактом