количество полезности в мире от вашего послушания возрастет. Вы также можете решить свернуть наобум, психанув из-за пробок. Скорее всего, вы окажетесь в еще худшей пробке – и чего вы этим добились, кроме иллюзии свободы воли? Наконец, вы можете предпочесть стать свободным волителем, попытавшись переиграть Google Maps (даже если создадите при этом дополнительные затруднения, но ведь эгоизм, в конце концов, может быть вполне сознательным жизненным выбором) или составив подходящий маршрут при помощи критериев, внеположных алгоритму Google Maps. Эти критерии будут отражать личные предпочтения, накопленные в течение некоторого времени: например, если вас зовут Ван Гог, то вы любите ездить вдоль полей подсолнухов. Конечно, эти критерии тоже могут быть интегрированы в более изощренный навигационный ИИ, который будет вас изучать. Но это означало бы перепутать яд с лекарством: такой ИИ прежде всего помешает вам сформировать эту страсть к полям подсолнухов – она окажется столь редкой, что исчезнет из статистических моделей. Вот и весь Ван Гог…

Такие же рассуждения применимы к более важной области – любви. Читатель, возможно, видел эпизод сериала «Черное зеркало» под названием «Повесить диджея», в котором ИИ при помощи симуляций перебирает все возможные варианты любовных отношений, чтобы свести пользователя с лучшим из возможных партнеров. В мире nudge мы будем блаженно ложиться в постель с родственной душой без каких бы то ни было ухаживаний и соблазнений (это было бы идеалом хозяина Baihe, китайского дейтинг-сервиса). Противник системы откажется от ее предложения и женится на первой встречной, рискуя тут же развестись. Что сделает свободный волитель? Он захочет сам пройти через все этапы, которые так любезно моделирует ИИ. Свободный волитель знает, что процесс важнее результата. Томиться, разрывать отношения, возвращаться… Соблазнять, плакать, играть… Любить не набор данных, а человека из плоти и крови. Не из романтизма, но для того, чтобы построить свои собственные отношения, плод тысяч размышлений и эмоций, постепенно вписывающихся в наши траектории принятия решений.

Современный эквивалент «судьбы по-турецки», над которой иронизировал Лейбниц, – позволить ИИ и рекомендациям полностью управлять нашей жизнью под предлогом того, что, как и Бог когда-то, алгоритмы могут выбрать лучший из возможных миров. Мы должны использовать способность суждения, чтобы быть достойными нашей «монадности» и постепенно прийти к автономии. От механического турка, который в начале этой книги показал нам тот человеческий труд, который скрывается за ИИ, до «судьбы по-турецки», показывающей, что надо бороться с манипуляциями: турки нам очень пригодились!

Что касается политической философии, стремление к автономии лежит в основе критики Джоном Стюартом Миллем Иеремии Бентама, влияние которого на дух Кремниевой долины мы имели случай наблюдать. В своей книге об утилитаризме Милль на первых же страницах предлагает провести качественное различие между удовольствиями, чтобы избавиться от бентамовской модели, в которой польза подсчитывается одинаково для всех. Действительно, к счастью можно стремиться разными способами, ставя перед собой разные цели, – эти стремления, идущие наугад, глубоко частные, их нельзя свести к общей норме. В конечном итоге это личное счастье определяет индивидуальную мораль. Система ценностей возникает не только из обучения в социуме, но и из применения способности суждения. В своем эссе о Джоне Стюарте Милле Исайя Берлин интерпретирует этот вариант утилитаризма как появление «права на заблуждение»[191], следствие способности каждого искать, улучшать и трансформировать себя. Это «право на заблуждение» в контексте ИИ представляет собой право уйти из социальных сетей, право не следовать рекомендациям, отказаться от уведомлений – одним словом, право не подчиняться общим определениям пользы и идти собственным путем, в том числе наперекор самому себе. В этом заключается глубокий смысл так называемой privacy, предмета стольких споров: не защищать индивида от взгляда других (в конце концов, в большинстве случаев данные анонимизированы и обрабатываются слепыми алгоритмами), но позволить ему сформироваться за пределами сети, не подвергаясь воздействию nudge. Надо признать, что право на заблуждение производит негативные эффекты для коллектива в краткосрочной перспективе, хотя и является условием любого будущего прогресса. Никто не знает, к чему приведет отклонение, и никто не может брать на себя риск его искоренения.

Право на заблуждение вполне логично выливается в право на отключение от сети. Право, которое кажется очевидным, но при этом постоянно находится под угрозой. Установка умных электросчетчиков Linky в домах французов – это принудительный сбор данных, пусть даже под похвальным предлогом оптимизации производства электроэнергии и снижения углеродных выбросов. Завтра умный город под тем же предлогом обяжет нас пользоваться только подключенным к сети транспортом, как это призвал сделать на нашей встрече Джесси Левинсон, основатель Zoox. За право на отключение от сети придется расплачиваться замедлением движения и автоавариями, с чем будет нелегко примириться в политике. Но защищать тех, кто хочет перемещаться как ему вздумается, анонимно и случайно, не отмечая заранее пункт назначения и не афишируя свой маршрут, – значит сохранять свободу одиноких прогулок и возможность отклоняться от первоначального плана. Как ни странно, это означает, что городу будет дана возможность выработать свои собственные антитела, оставаться «антихрупким», сохранять способность выдерживать стрессы и развиваться. Как говорит Стюарт Расселл, умный город, как его видят пуристы ИИ, – это мертвый город. Вернуть ему жизнь может только отключение от сети. Его злейшие враги дают ему лучший шанс на спасение. Если мы хотим сохранить индивида в эру ИИ, вопрос стоит очень четко: как сегодня технически реализовать это право на заблуждение, право на отключение от сети?

Сопротивление

Первая опция, самая очевидная, состоит в том, чтобы добровольно уйти из сети, вернуться к методу принятия решений 1.0, неидеальному, но, возможно, более аутентичному. Доменик Кардон говорит о «переходе в режим ручного управления». Чтобы уклониться от nudge, проще всего прекратить передавать данные. Существует настоящая контркультура сопротивления, получившая распространение среди людей, хорошо разбирающихся в современной технологии. В Германии я встречал хакеров, пользовавшихся старой Nokia, желательно с предоплаченной картой и регулярной сменой номера телефона. На «криптовечеринке» в подсобке польского кафе в Восточном Берлине они научили меня азам цифровой защиты: пользоваться Tor, чтобы не оставлять следов в интернете, заклеить камеру компьютера скотчем, отключать геолокацию на смартфоне, установить VPN для общения (совет, пригодившийся мне в Китае) и загружать приложения из пиринговой сети, чтобы данные не попадали к третьим лицам.

В Израиле я познакомился с Ади Йоффе, странным «футуристом», который не хочет, чтобы человечество состояло из зомби, контролируемых большими технологическими компаниями, и выступает за возвращение в «пещерный век». Бороды хипстеров или каникулы с цифровым детоксом, на его взгляд, – первые ласточки этого движения: к тому же разве евреи не переживают регулярно опыт отключения, каждую неделю в Шаббат и раз в год на Йом-Кипур? В Беркли Джерон Ланье, чьи