в Америке истории подобных бедствий распространены еще больше. В развивающемся мире ставки могут быть даже выше. Достаточно историй о самоубийствах клиентов микрокредиторов, которые не могли расплатиться по своим кредитам. «Кредитный круг» означает то, что долг заемщика часто перекладывают на его односельчан, чем создается невыносимая динамика устыжения. Один кениец утверждал, что цифровые приложения для кредитования в его стране «порабощают» как работающих бедняков, так и класс штатных работников[415].

Хищническая инклюзия отравляет также и надежды на образование. Когда люди, стремящиеся во что бы то ни стало ухватиться за удачную возможность, взваливают на себя значительный кредитный груз, чтобы пройти образовательные программы сомнительной ценности, результат тот же. Риторика вертикальной мобильности слишком многих убеждает в том, что больше учиться – значит идти по верному пути к большей возможности зарабатывать. Появляющиеся как грибы коммерческие колледжи пользуются такими надеждами[416]. Они торгуют жестоким оптимизмом, утверждая, что будущее должно быть лучше прошлого[417].

Один из способов предупредить возникновение эксплуатирующих образовательных задолженностей – сертифицировать программы, которые давали студентам хорошую «прибыль на инвестиции». В США администрация Обамы несколько лет пыталась ввести подобное требование, а в 2015 г. наконец провозгласила «правило оплачиваемой должности», но лишь затем, чтобы следующая администрация тут же эти гарантии отменила. Общество не слишком поддержало правило Обамы – гипертехнократический подход к сертификации программ кредитования. Его чрезмерная сосредоточенность на ожидаемых доходах вскоре после выпуска предполагала, что весь смысл обучения состоит в достижении определенного потенциала заработка. Каковы бы ни были преимущества подобного подхода, его нельзя применить к задолженности в обществе в целом. Ни одно государство не может подробно расписывать, какой кредит может использоваться для покупок, а какой должен быть запрещен.

В других юрисдикциях был опробован более просвещенный подход к образовательной задолженности, который мог бы применяться и во многих иных кредитных контекстах. Например, программы погашения кредита на основе дохода заемщика определяют долю дохода, которая должна выплачиваться только в течение определенного количества лет[418]. По сути дела, это налог для выпускников, если не считать того, что люди с достаточным, чтобы расплатиться по кредиту, доходом, прекращают платить после произведенной полной выплаты[419]. Движение за «свободный колледж» требовало также прямого обеспечения образованием[420].

Здесь может показаться, что финансовый ИИ мы оставили далеко позади. Однако специалисты по этике техники все больше понимают, что основные проблемы ИИ не являются в первую очередь технологическими. Скорее, самое главное – это социальная роль ИИ. Если мы хотим остановить хищническое кредитование, важнее разобраться с неравенством сил кредиторов и должников, чем переналаживать технологию ИИ.

Тот же принцип приложим и к жуткой инклюзии. Постоянное отслеживание по мобильному телефону, архивация и перепродажа данных – главный признак жуткой инклюзии[421]. Если банкир спросит сотрудницу, не будет ли она против, чтобы он следил за ней круглые сутки и семь дней в неделю, у нее неизбежно возникнет ощущение угрозы. Она может даже получить запретительное судебное постановление, дабы защитить себя от его преследований. Хотя кредитные договоры, которые сопровождаются трекерами мобильных телефонов, кажутся меньшей угрозой, применение и передача этих данных третьим лицам создает вполне отчетливую и действительно возмутительную угрозу. Жуткость – ощущение будущей угрозы, основанное на восприятии отклонения от нормы. Нормальный опыт включает право на трудовую жизнь, отличную от домашней, и на то, что нас будут судить на основе четко определенных критериев. Жуткая инклюзия подрывает этот баланс, позволяя неизвестным механическим агентам, принимающим решения, шнырять по нашим автомобилям, спальням и туалетам.

В настоящий момент подобные требования контроля и наблюдения достаточно редки. Предприниматели из финансового сектора отметают призывы ввести регулирование, заверяя власти в том, что их программы не записывают или не оценивают такие конфиденциальные данные, как местонахождение, имя абонента или содержание разговоров[422]. Однако метаданные бесконечны, и, как мы видели на примере тремора рук, предсказывающего болезнь Паркинсона, они могут показать человека с совершенно неожиданной стороны[423]. Пришло время принять законы против жуткой инклюзии, прежде чем манипулятивный маркетинг не затянет в дурные сделки столько людей, что отрасль сможет с легкостью заявить, что их эксплуатация – давно утвердившееся «потребительское предпочтение».

Вопрос времени является ключевым, поскольку эта отрасль пытается предупредить регулирование, когда практика только появляется, назвав ее инновацией. «Подождем и посмотрим, что получится», – говорят лоббисты. Когда же такая практика получает распространение, возникает другой аргумент против регулирования: «Как вы осмеливаетесь вмешиваться в потребительский выбор!». Эта циничная пара аргументов в пользу режима laissez-faire особенно опасна в регулировании данных, поскольку нормы, когда люди рвутся к преимуществу, могут быстро меняться[424]. Без координации мы вскоре достигнем равновесия, в котором каждый будет вынужден раскрывать все больше информации, чтобы избежать убытков. Если мы начнем сотрудничать, чтобы ввести некоторые практически применимые правила, то сможем защитить самих себя от безграничного капитализма наблюдения[425]. Например, в некоторых юрисдикциях уже принимаются законы против фирм, которые чипируют рабочих микрочипами-сенсорами с рисовое зернышко, которые вводятся под кожу[426].

Этими планами по самозащите надо заняться безотлагательно, поскольку со временем порабощающая инклюзия станет еще популярней. Наказание людей за политическую деятельность, чем занимаются некоторые фирмы в Индии и Китае, еще больше закрепляет господство кредиторов, а не тех, кому нужны кредиты. Рост того, что Citibank назвал «риском vox populi», включая предположительную «опасность», исходящую от людей, требующих, чтобы корпорации лучше к ним относились, заставит еще большее число директоров рассмотреть политические аспекты своей кредитной деятельности. Возможно, фирмы решат, что люди, которые преследуют в судебном порядке своих квартировладельцев за невыполнение условий аренды или подают жалобу на условия труда, – самые затратные клиенты, поскольку они будут отстаивать свои права настойчивее остальных. Подобные критерии не могут определять гуманную кредитную систему. Они заставляют всех нас соревноваться в самоуничижении, если каждый из нас желает доказать, что он и есть тот человек, который снесет любую обиду, лишь бы прорваться вперед.

Хотя претензии хищнической, жуткой и порабощающей инклюзии можно предъявлять на разных основаниях, все эти разновидности проясняют ключевую проблему автоматизации. Они позволяют людям конкурировать за преимущество на финансовых рынках так, что эта конкуренция подрывает их финансовое благосостояние, их достоинство и политическую власть. Как указывает третий новый закон робототехники, абсолютно необходимо остановить подобную гонку наблюдения уже сегодня, когда она еще не стала нормой.

Приучение к покорности в обществе рейтинга

В 2014 г. Государственный совет Китая опубликовал «Проект развития системы социального кредита», который включает рейтингование как одну из составляющих оценки репутации[427]. Социальный кредит может влиять