не новы. Например, еще в 1976 г. специалист по компьютерным наукам Джозеф Вейценбаум спрашивал: «Какие человеческие цели и задачи нельзя в должной мере передать компьютерам? Вопрос не в том, можно ли это сделать, а в том, следует ли передавать машине функцию, которая ранее выполнялась человеком»[81]. Однако вопросы: «Могут ли роботы быть лучше людей?» и «Когда люди не должны использовать роботов?» – сами по себе неполны. Почти каждый из нас в своей работе сегодня в определенной мере уже использует автоматизацию, которая начинается с простых инструментов и заканчивается ИИ, заменяющим человека. Более верная формулировка вопросов такова: «Какое социально-техническое сочетание людей и робототехники лучше всего отвечает социальным и индивидуальным задачам, а также ценностям?».

Разбирая ряд кейсов, я дам конкретные ответы на этот вопрос, отстаивая мысль о том, что именно дополнение, а не замена человеческих экспертных знаний искусственным интеллектом позволяет реализовать важные человеческие ценности. В главах 2, 3 и 4 описывается то, как подобный процесс мог бы осуществляться в здравоохранении, образовании и медиа, при этом обсуждение сосредоточено на первом новом законе робототехники, а именно на том, что технология должна дополнять, а не заменять уже существующих профессионалов.

В целом я смотрю на перспективы дополняющей автоматизации в здравоохранении и образовании с оптимизмом. В общем, пациентам и учащимся требуется взаимодействие с человеком[82]. Они понимают, что, какого бы уровня развития не достиг ИИ, крайне важно о его применении консультироваться с экспертами, ежедневно изучающими надежность различных источников знаний. Еще более важно в различных образовательных и медицинских контекстах то, что во взаимодействии всегда присутствует элемент человеческих отношений. Роботизированные системы способны предоставить техническую помощь, оценить суждения, разработать увлекательные и захватывающие способы зубрежки. Возможно, в сельских или неблагополучных областях на них будет спрос как на замену профессионалам, которых там сегодня нет. Но требования в условиях дефицита очень далеки от образцовой программы развития рабочей силы. И особую тревогу они вызывают тогда, когда речь заходит о психиатрическом уходе, необходимом уязвимым группам.

Когда в точке контакта с ИИ присутствует медработник, учитель или врач, которые опосредуют его воздействие, обеспечивают правильный сбор данных, сообщают об ошибках и выполняют другую крайне важную работу, можно предположить существенное снижение вероятности мрачного детерминистического будущего, в котором нас всех толкают и шпыняют безличные машины, заставляющие учиться и заботиться о своем здоровье. У профессиональных работников в области здравоохранения и образования есть строго определенные юридические и этические обязанности перед пациентами и учащимися. Такие стандарты в среде технологий только начинают формироваться. Так, в области медиа и журналистики, которые изучаются в главе 4, для восстановления той публичной сферы, сегодня в значительной степени автоматизированной, потребуются коллективные усилия, которые смогут эту ситуацию исправить.

Когда дело дошло до систем рекламы и рекомендаций, то есть самой основы новых медиа, развитие ИИ было и в самом деле быстрым. Компании вроде Facebook и Google, занятые реорганизацией коммерческой и политической жизни, применяли ИИ для принятия таких решений, за которые раньше отвечали руководители телекомпаний или редакторы газет, но их следствия оказались более мощными. Такие компании сумели изменить читательские и зрительские привычки сотен миллионов людей. Прорывное развитие сильно ударило по газетам и журналистам. Для некоторых уязвимых групп, включая преследуемые меньшинства, его последствия оказались ужасными. Единственный способ остановить эпидемию фейковых новостей, цифровых кампаний по разжиганию ненависти и другого подобного мусора – вернуть в управление сетевыми медиа больше ответственных людей.

Если в главе 4 речь в основном идет о неудачах ИИ в определении ценности новостей, то в главе 5 описываются опасности, возникающие при попытке применять ИИ для оценки людей. Программное обеспечение играет все более значительную роль в найме и увольнении, а также в выдаче кредитов и работе с долгами. Также оно постепенно проникает и в службы безопасности. Я предостерегаю от поспешного внедрения роботов-полицейских и роботов-охранников. Даже предсказательная полиция, то есть чисто программные инициативы под управлением полицейских, оказалась достаточно спорной из-за того, что часто опиралась на старые и искаженные данные. Машины, отправляемые самостоятельно патрулировать районы или разгонять попрошаек, вызывают еще больше беспокойства. Не так много других форм применения ИИ в гражданском праве, которые бы подходили для широкого внедрения уже сегодня. Все они требуют власти машин над людьми, что заставляет принести человеческое достоинство в жертву на алтарь эффективности.

В главе 6 этот вопрос о власти рассматривается на полях сражений, как традиционных, так и сетевых. Споры об автономных системах вооружения приобрели хорошо знакомую структуру. Аболиционисты призывают запретить роботов-убийц, реалисты отвергают этот подход, а реформаторы занимают середину, предлагая регулирование, которое все же не означает полного запрета. Аболиционисты и реформаторы участвуют сегодня в оживленных дискуссиях о ценности подхода каждой из сторон. Однако стратегии двух этих групп со временем можно будет согласовать. Реформаторы признают то, что определенные типы систем вооружений настолько опасны, что их вообще нельзя создавать. Аболиционисты соглашаются с тем, что некоторые оборонные применения автоматизации (особенно в кибервойнах) необходимы для национальной безопасности.

И аболиционисты, и сторонники регулирования достойны уважения в связи с тем, что предпринимают правовые действия, нацеленные на ограничение тактики конфликта. Однако их старания могут быть подорваны динамикой гонки вооружений, которую одновременно признают и продвигают реалисты. Повсеместность автономных систем оружия летального действия имеет значение, будучи производной от объема инвестиций ведущих держав в кибервойны, солдат-роботов и другие вооружения с применением ИИ. Для сокращения таких инвестиций, которое является ключевым следствием третьего нового закона робототехники, описанного мной выше, гражданам и лидерам потребуется ввести ограничения на право государств осуществлять военное вмешательство.

Предлагаемые мной реформы окажутся довольно дорогостоящими. Однако расходы можно во многом считать решением вопросов, поставленных роботизацией военной силы, которая является проблемой государственных финансов. В главе б доказывается, что государства, вынужденные наращивать качество (и доступность) устойчивых секторов здравоохранения и образования, вряд ли будут иметь ресурсы для автоматизации военной силы, в отличие от тех государств, которые подобными обязательствами не скованы. По сути, новая, более привлекательная глобальная политическая экономия – единственный способ избежать трагического разбазаривания ресурсов на гонку роботизированных средств разведки и контрразведки, применения сил и противодействия им.

В главе 7 представлена карта основных черт новой политической экономии автоматизации, включая фискальную и монетарную политику. И та и другая должны быть скорректированы так, чтобы можно было развивать ИИ, ориентированный на человека. Сейчас больше всего обсуждаются предложения по универсальному базовому доходу. Когда пределы программ перераспределения станут яснее, гарантии универсальных базовых услуг и рабочих мест станут еще более важными. Эти программы нацелены не только на гарантию выживания, но