так и за ее пределами). Нам нужны независимые и хорошо финансируемые регулирующие организации, способные следить за применением этих четких правил на практике. Также нам нужны реальные наказания за их нарушение. Все это структурные основы гуманной автоматизации. Спор об условиях и целях подотчетности не должен ограничиваться вопросами честности. Мы должны рассмотреть и более обширные вопросы, в частности о том, должны ли вообще разрабатываться и внедряться подобные средства[405].

Когда широкий доступ к финансовым услугам становится хищническим и жутким

Расхождение в споре о распознавании и анализе лиц между теми, кто желает увеличить предсказательные способности ИИ, и теми, кто хочет запретить или существенно ограничить его применение, не раз проявлялось не только в праве, но и в финансах. Кредиторы при выдаче кредитов и определении ставок опираются на данные. Они постоянно требуют все больше информации у потенциальных заемщиков, чтобы нарастить предсказательные способности своих алгоритмов. Запрос все большего количества данных может быть настолько назойливым, бесстыдным и спекулятивным, что в нем начинает чувствоваться дегуманизация. Где же провести черту?

Машинное обучение обещает выявить характеристики надежных людей, определяемых по прошлым кредитам, причем эти характеристики могут встречаться и у тех, кому сегодня кредитование недоступно. Например, может статься так, что надежные заемщики обычно спят по меньшей мере семь часов в сутки (что приблизительно измеряется бездействием телефона), в качестве веб-браузера используют Google Chrome и покупают органическую еду. Любая из этих корреляций сама по себе строгой быть не может. Но когда они достигают определенной критической массы, может возникнуть новый динамический профиль надежного заемщика, основанный на больших данных. Микрокредиторы уже используют такие качества, как интернет-активность, для решений по заявкам на кредиты.

Кредиторы говорят, что все эти инновации – достаточная причина для еще большего дерегулирования финансовой отрасли. Зачем беспокоиться о предубеждениях, если ИИ – это просто компьютерная программа, неподвластная человеческим эмоциям и предрассудкам? И зачем пытаться искать потребителей, когда ИИ все лучше и лучше определяет тех, кто может расплатиться по кредиту? По всему миру регулирующие ведомства, поощряемые финансовотехническим утопизмом, ослабляют контроль новых фирм. США и Гонконг ввели «регуляционные песочницы» для финансово-технических фирм, ограничив их контроль. Но это неправильный подход, поскольку применение ИИ в финансовотехнической сфере влечет столько же проблем, как и традиционная оценка платежеспособности, если не больше. Оно ведет к «обществу рейтинга», в котором люди не имеют базовой информации о том, почему их судят именно так[406].

Эти проблемы в абстрактном виде выглядят весьма тревожными. Их конкретные следствия попросту пугают, что было продемонстрировано одним из докладов благотворительной организации Privacy International. Финансово-технические фирмы уже оценивают кредитоспособность на основе политической деятельности, пунктуации и распорядка сна. Как свидетельствует эта организация, «если кредиторы видят в чьем-либо Twitter-аккаунте в Индии признаки политической деятельности, они считают, что такому человеку будет сложнее выплачивать кредит, и не дают его»[407]. Предсказательная аналитика, которая постоянно ищет новые потенциальные корреляции, обнаруживает смысл даже в предельно бытовых действиях: «[Одна фирма] анализирует то, как вы заполняете форму (а не только то, что именно вы в ней пишете), как вы используете веб-сайт, на каком именно устройстве и из какого места»[408]. В Китае распространение «позитивных постов о государстве и о том, как хорошо обстоят дела с экономикой страны, поднимает ваш рейтинг»[409]. По свидетельству некой американской финансово-технической фирмы, одним из предостерегающих знаков является запись фамилии в форму заглавными буквами[410].

Возможно, все мы посылаем «сигналы», которые еще более серьезны. Например, исследователи недавно изучили то, как двигают компьютерной мышью люди, искавшие много информации о болезни Паркинсона в поисковике Bing[411]. Некоторые представители этой группы, в которой, скорее всего, болезнь Паркинсона распространена намного больше, чем среди населения в целом, обычно демонстрировали при движении мышью тремор. Подобные данные о треморе и такие физические характеристики, как скорость печати или движения мышью, – не те действия, по которым нас должны, с нашей точки зрения, судить. По мере составления и анализа все большего числа баз данных будут возникать еще более тонкие сигналы, указывающие на вероятное состояние нашего здоровья в будущем. Чем больше признаков печальной судьбы становится доступно, тем лучше ИИ сможет ее предсказывать.

Возможно, мы согласимся с тем, что нашим врачам такая информация необходима, но нам не нужно, чтобы ее использовали банки, работодатели и все остальные. Жизнь и публичная политика не ограничиваются согласием о трансакциях между заемщиками и финансово-техническими компаниями, обеспечивающим финансовую инклюзию (которая в этой отрасли является общепринятым обоснованием дерегулирования). Если нет подлинных гарантий безопасности, возникнет гонка на понижение – в распространении данных и в то же время в структурировании поведения, когда все больше людей будут конкурировать за лучшие сделки. Это может привести к расцвету хищнической инклюзии (которая больше вредит, чем помогает), жуткой инклюзии (которая предоставляет корпорациям возможность по-вуайеристски заглядывать в наши жизни) и порабощающей инклюзии (которая закрепляет неравенство, заставляя людей сохранять те же паттерны жизни, которые исходно как раз и привели к их отчаянному положению). Законодатели должны затруднять или даже запрещать инклюзию таких типов.

Хищническая инклюзия – понятие с давней историей[412]. Кредит дает возможности, но его теневая сторона (задолженность) сковывает. Иногда бремя кредитов намного больше преимуществ, которые они дают. Рассмотрим семейную пару, Джо и Маргарет, которые берут микрокредит под ставку 20 % в неделю. При такой ставке задолженность удваивается каждый месяц. Желая во что бы ни стало расплатиться, они на несколько дней остаются без денег, им нечем кормить детей. Они не могут выплатить арендную плату, и их выселяют, однако кредитор за три месяца получает всю причитающуюся ему выплату, зарабатывая неплохой доход на этом кредите. Когда мы думаем о будущем ИИ в потребительском финансировании, многое зависит от того, как такая история, как у Джо и Маргарет, кодируется фирмами, которые ныне наживаются на миллионах частных кризисов ликвидности. Грубые показатели выплат по кредитам подтолкнут машины и дальше искать подобных отчаявшихся заемщиков.

Весь вопрос в том, как определять «успешную трансакцию» и из чего она состоит. Кредиторы, сосредоточенные на прибылях, очень редко фиксируют данные о том, сложной была оплата кредита или легкой, унизительной или обыкновенной. Неведение-золото, по крайней мере для кредитора.

Тогда как заемщики страдают молча. Один канзасский ветеран войны выплатил 50000 долл, процентов за кредит 2500 долл.[413] Британская воспитательница взяла в долг 300 фунтов и через год была должна 1500[414]. Сотни заемщиков рассказали свои душераздирающие истории лондонскому изданию Guardian, а