Контраст с музеем Янга в Сан-Франциско оказался разительным. Выставка в Шанхае должна была представить машину в гораздо более критическом свете, погрузив посетителя в неприятный опыт разного толка: вот бульдозер, который размалывает человека; вот другой человек отражается на экране в виде облака светящихся точек. От природы посетитель изолируется в Rain Room, где дождь останавливается, когда он входит. Возможно, это было случайно, но мой визит в Китай начался с пугающих предостережений. Посреди главного зала была выставлена вроде бы совершенно невинная инсталляция: несколько десятков горизонтальных турникетов, расположенных на равном расстоянии друг от друга. Посетители рассеянно проходили сквозь них, прокладывая себе путь от одного к другому по мере движения по помещению. Через какое-то время я заметил, что их траектория под действием турникетов слегка меняется. Не осознавая этого, они отклонялись от прямой линии, что изменяло их маршрут по выставке. Я сам попробовал пройти: механически толкая металлические рычаги турникетов, я почувствовал неодолимое влечение перейти от одного к другому, следуя своего рода плану, смысл которого от меня ускользал. Однако в любой момент я мог изменить направление движения или вернуться назад. Никакое физическое препятствие мне не мешало. Но легче было отдаться плавному движению, не встречая никакого сопротивления. Возможно, первоначальный выбор я сделал в тот момент, когда вообще решил пройти через турникеты, хотя легко мог бы их обойти?

Какое у всего этого отношение к технологии? У всех прочих произведений на выставке было совершенно ясное послание, в то время как турникеты оставались немыми. На них не было объяснительной таблички или слогана в виде граффити. Не придав им особого значения, я развлекался в весьма популярной Rain Room.

Шли дни, и я погрузился в реальность социального контроля по-китайски, в котором массовое применение ИИ должно позволить управлять поведением граждан практически во всех сферах жизни, начиная с образования и заканчивая любовью. Рекомендательные системы, основанные на максимизации индивидуальных предпочтений, нацелены на то, чтобы передать право выбора машине. Вот тогда-то я и осознал в полной мере, что означают эти турникеты. ИИ, как и они, ничего не навязывает. Он предлагает, направляет, успокаивает. Достаточно представить, что каждый турникет, точно регулируемый в соответствии с нашими личными качествами, будет незаметно менять траекторию движения каждого человека в зависимости как от его собственных интересов, так и от интересов группы. В таком случае у нас все еще будет ощущение, что мы сами выбираем цель и просто свободно используем доступную технологию. Мы можем успокаивать себя, воображая, что еще можем отказаться, что достаточно просто не кликать. Но в то же время, переходя от одного турникета к другому, привыкая к комфорту и эффективности, мы отказываемся от самого отказа. Если вначале попытаться пойти наперекор системе, недостаточность нашего суждения вскоре заставит нас отказаться от борьбы с компьютерной оптимизацией. А потому мы просто позволим вести нас за ручку… Кто, в конце концов, продолжает сегодня пользоваться картами и компасами, а не Google Maps?

Боюсь, что мы вступаем в общество турникетов. В силу биологических соображений, представленных в предыдущей главе, я не вижу в ИИ метафизической угрозы будущему Homo sapiens. Споры о сверхинтеллекте скрывают от нас реальную социальную проблему, связанную с этой технологией[75], а именно вопрос свободы воли. Дело в том, что стремительно развивающиеся сегодня промышленные приложения ИИ стремятся исключить из нашей жизни индивидуальный выбор. Чтобы лучше служить нам, они освобождают нас от необходимости принимать самостоятельные решения, которые никогда не бывают идеальными из-за нашей предвзятости и недостатка информации. Принося нам все больше и больше благ, они ежедневно доказывают свою полезность и свое превосходство. ИИ знает наши глубинные вкусы лучше нашего поверхностного сознания – почему бы тогда не предоставить ему управление нашим счастьем? И если Токвиль в эпоху только-только появившихся демократий обнаружил, что их главный фактор – «свобода», я закончил свое долгое путешествие с убеждением, что главное качество эры ИИ – «конец свободы воли». Собственно, возможно, это и есть решение, избавляющее человечество от всех его бед. Быть может, свобода воли – просто схоластическая сказка, иллюзия, отказом от которой мы могли бы гордиться. Но все-таки нужно ясно понимать, что именно мы готовимся потерять.

Наука против свободы воли

Канеман, Канеман, Канеман… Этот призрак преследовал меня на протяжении всего моего путешествия. Ян Лекун обедал с ним накануне в Нью-Йорке. Джарон Ланье, историческая фигура в калифорнийской технологической среде, посматривал на него во время нашего обеда в Saul’s, типичном американском дайнере в центре Беркли, с черно-белой плиткой и мягкими банкетками. Уже в первый же день в Бостоне Джим Гласс из MIT сослался на опыты Канемана, чтобы убедить меня (не без труда) в том, что люди не настолько рациональны, как думают сами. В Пекине Эрик Чанг, директор по стратегиям в Microsoft, приводил мне цитаты из его трудов, чтобы я не придавал слишком большого значения свободе воли. Нассим Талеб, обычно не слишком жалующий современников, делает исключение для Канемана, на которого иногда ссылается, причем с воодушевлением[76]. Даже Гарри Каспаров, анализируя взаимодополняемость человека и машины[77], посвящает несколько страниц «замечательным работам» Канемана. Мне рассказывали о Канемане так часто, что в итоге у меня возникло чувство, будто я знал его всегда. Мне казалось, что этот обходительный академик с пушком редких седых волос появлялся на каждой из моих встреч. Если и есть сегодня властелин идей на сцене ИИ, им может быть, как я выяснил эмпирически, подсчитав число цитат в своих записках, только Канеман.

Однако Дэниел Канеман – кто угодно, но только не мыслитель технологии. Этот ученый-психолог посвятил свою карьеру экспериментальному доказательству того, что человеческие решения подвержены многочисленным предубеждениям и «когнитивным иллюзиям». Наши повседневные суждения могут быть какими угодно, но только не рациональными. Эффект гало, эвристика аффекта, впечатления причинности, предубеждение подтверждения, иллюзия обоснованности, ассоциативное мышление, софизм планирования, неприятие потери, регрессия к среднему, эффект заякоривания – все это рефлексы, вписанные в наши нейронные контуры, ментальные оптические иллюзии, которые приводят нас к ложным заключениям. Вот почему мы чувствительны к таким ценам, как «99,99 евро», и не любим отказываться от уже начатых проектов. Наша «система 1», как ее холодно называет Канеман, то есть система быстрого мышления, постоянно порождает ложные вероятности и обрывочные умозаключения, пытаясь свести окружающий нас мир к внешне логичной схеме. Чтобы исправить ее, «системе 2», которая должна применять нашу рациональность и критическое чувство в более спокойном режиме, как правило, просто не хватает времени: она может сосредоточиться лишь на небольшом числе решений и чаще всего лениво соглашается с предложениями «системы 1». Таким образом, наши явные предпочтения оказываются не