до восторга, но все сознают, что это уловки, способные, впрочем, увлекать и убеждать. Очень кстати будет следующее изменение во взглядах: нужно признать откровенно, что всевозможные преувеличения являются ложной рекламой, которую следует скорее осуждать, чем восхвалять.

Но как этого добиться? Как только мы осознаем, что люди начинают принимать решения в категории «жизнь или смерть», опираясь преимущественно на «советы» систем ИИ, работа которых скрыта от глаз и непостижима, у нас появится веская причина налагать моральную и юридическую ответственность на тех, кто каким-либо образом побуждает общество доверять этим системам больше, чем они того заслуживают. Системы ИИ суть превосходные инструменты, настолько совершенные, что даже у экспертов не найдется оснований ставить собственные суждения выше «суждений» таких систем. Но если те, кто пользуется этими инструментами, желают получить финансовую или иную выгоду от перемещений по Terra Incognita, необходимо удостовериться в том, что они знают, как использовать инструменты ответственно, с максимальным контролем и обоснованием. Лицензирующие организации – мы ведь лицензируем фармацевтов (и операторов кранов!) – и другие службы в областях, где ошибки и неверные суждения могут иметь тяжелые последствия, должны, не исключено, под давлением страховых компаний и пр., побудить разработчиков систем искусственного интеллекта тщательнейшим образом выявлять реальные и потенциальные уязвимости программ, а также обучать тех, кто приобретает права на их использование.

Можно представить себе нечто вроде обратного теста Тьюринга, когда опрашивают посредника; до тех пор пока он не обнаружит уязвимость, нечеткость ограничений, какие-то упущения и пр., лицензия на распространение не выдается. Ментальная подготовка, необходимая для работы посредника, будет обязательной. Желание продемонстрировать интенциональность, наша обычная тактика при контакте с тем, что видится нам разумным агентом, почти непреодолимо велико. Действительно, способность сопротивляться внешней привлекательности и сохранять беспристрастность – малоприятный талант, от которого отдает расизмом или, скажем так, «видизмом». Многие сочтут, что культивировать в себе безжалостный скептический подход аморально, и можно ожидать, что даже опытные пользователи будут иногда поддаваться искушению «подружиться» с системами-инструментами, хотя бы для того, чтобы избавиться от дискомфорта при исполнении обязанностей. Сколь бы скрупулезно проектировщики ИИ ни устраняли фальшивые «человеческие» признаки из своих творений, можно ожидать возникновения новых привычек мышления, разговорных уловок, хитростей и блефа в этой новой области человеческой деятельности. Комично длинные списки известных побочных эффектов для новых лекарств, рекламируемых по телевидению, покажутся мелочью в сравнении с обязательными «разоблачениями», на которые не найдется ответов у разработчиков конкретных систем, и солидные штрафы будут уготованы тем, кто решит пропустить «мелкие недочеты» своих продуктов. Общепризнано, что в значительной степени растущее экономическое неравенство в современном мире обусловлено богатством, накопленным цифровыми предпринимателями; мы должны принять законы, которые заставят их опустошать свои глубокие карманы ради общественного блага. Некоторые обладатели глубоких (глубочайших, к слову) карманов добровольно берут на себя такие обязательства – служить в первую очередь обществу, а уж потом зарабатывать деньги, – но нельзя полагаться исключительно на добрую волю.

Нам не нужны искусственные сознательные агенты. Налицо избыток естественных сознательных агентов, достаточный для решения любых задач, которые подлежат резервированию как прерогатива этих особых, привилегированных сущностей. Нам нужны интеллектуальные инструменты. Инструменты лишены прав и не должны испытывать чувства, которые возможно задеть, или обижаться на «злоупотребления» со стороны неумелых пользователей[58]. Одна из причин отказаться от создания искусственных сознательных агентов заключается в том, что, какими бы автономными они ни были (в принципе они способны на автономию, самосовершенствование и самосотворение в той же степени, что и человек), они не смогут – без специальной подготовки, которой можно воспрепятствовать, – разделить с нами, то есть с естественными сознательными агентами, нашу уязвимость и смертность.

Однажды на университетском семинаре, который мы с Матиасом Шойцем вели по искусственным агентам и автономии, я предложил студентам: опишите технические характеристики робота, который заключит с вами обязательный к исполнению контракт – не как суррогат человека-владельца, а самостоятельно. Дело не в том, чтобы обучить робота пониманию юридических тонкостей или умению водить ручкой по листу бумаги, а в том, чтобы он заслуженно обрел правовой статус морально ответственного агента. Маленькие дети не могут подписывать договоры, равно как и те инвалиды, чей правовой статус требует опеки и ответственности сторонних лиц. Беда роботов, которым вздумается достичь столь высокого статуса, в том, что они, подобно Супермену, слишком неуязвимы для доверия к ним. Если они нарушат договор, каковы будут последствия? Каким будет наказание за отказ соблюдать согласованные условия? Тюремная камера или, если уж на то пошло, принудительная разборка? Камера едва ли доставит неудобства ИИ, если не внедрить в него изначально wanderlust[59], которую искусственный интеллект не сможет игнорировать или отключать самостоятельно (с системной точки зрения это будет непросто, учитывая предположительное всеведение и самопознание ИИ); а демонтаж системы, будь то робот или стационарный агент наподобие Watson, не покончит с ней, если сохранится информация в ее конструкции и программном обеспечении. Сама легкость цифровой записи и передачи информации – прорыв, который фактически гарантирует бессмертие программному обеспечению и данным – выводит роботов из пространства уязвимости (по крайней мере, это касается обычно воображаемых роботов с цифровым программным обеспечением и памятью). Если вы не уверены в этом, задумайтесь о человеческой морали: как она изменится, скажем, будь у нас возможность изготавливать «резервные копии» людей каждую неделю. В субботу прыгаем головой вниз с высокого моста без страховки – это же мелочь, о которой можно не вспоминать в пятницу вечером, ибо в воскресенье утром онлайн доступна пятничная резервная копия, которая и наслаждается видеозаписью вашей субботней кончины.

Следовательно, мы создаем не сознательных человекоподобных агентов (их мы не должны создавать), а совершенно новый вид сущностей, нечто вроде оракулов, лишенных совести и страха смерти, не отвлекающихся на любовь и ненависть, не обладающих личностью (но со всеми фобиями и причудами, которые, без сомнения, станут трактовать как «личность» системы). Это своего рода «ящики истины» (если нам повезет), почти наверняка содержащие в своих базах данных россыпи лжи. Будет довольно трудно научиться жить рядом с ними, не отвлекаясь на фантазии о «сингулярности», в которых ИИ порабощает человечество в реальности. Человеческое применение человеческих существ в скором времени изменится – снова – навсегда, но мы в состоянии встать у руля и направить наш корабль мимо хотя бы некоторых опасностей, если возьмем на себя ответственность за траекторию движения.

Глава 6

Нечеловеческая ловушка, в которую нас завлекли машины

Родни Брукс

ученый-компьютерщик, стипендиат и почетный профессор робототехники в МТИ, бывший директор Лаборатории компьютерных наук МТИ, основатель, председатель совета директоров и технический