Австралийский исследователь права и декан университета Дэн Хантер считает, что благодаря ИИ тюрьмы могут закрыться[372]. Если у нас будет достаточно сложная компьютерная система, все будущие приговоры могут отбываться в виде домашнего ареста. Учитывая скуку и уровень насилия, с которым сталкиваются многие заключенные тюрем, такая идея может показаться значительным шагом вперед в области наказания и реабилитации. Однако планы Хантера по «Проекту технологического заключения» содержат также идеи, которые пришлись бы кстати в «Особом мнении». В обмен на отбывание срока дома «правонарушители должны носить специальный электронный браслет, способный на обездвиживающий удар электротока в случае, если алгоритм замечает, что вот-вот будет совершено новое преступление или применено насилие. Такая оценка может производиться на основе ряда биометрических факторов, распознавания голоса и анализа лиц»[373]. Таково определение автоматизированного правосудия. Соответственно, не будет шанса подать апелляцию судье или ходатайство о помиловании, если искусственный интеллект уже вынес приговор. Ведь он будет и судьей, и присяжными, и, возможно, палачом, если система неправильно рассчитает удар током.

Технофилы потчуют нас особенно яркими и четкими картинами господствующего подхода к ИИ в области охраны правопорядка. С их точки зрения, ИИ и роботы неизбежно возьмут на себя задачи полиции, и наша задача (как граждан, исследователей и технологов) – помочь им как можно лучше выполнять эту работу. Например, если системы распознавания лиц не могут распознавать лица черных с той же точностью, что и белых, значит, надо внести больше черных лиц в базу данных. Но мы должны отступить на один шаг назад и выяснить, почему всеобщий надзор или тюрьмы в виртуальной реальности многим кажутся столь привлекательным решением. Вспомним о притягательности заместительного ИИ, о котором мы говорили в начале книги: чем хуже люди выполняют определенную работу или чем она дороже, тем больше будет мотивов передать ее машинам. Когда насилие и скука плохо управляемой тюрьмы – единственная альтернатива, постоянный домашний мониторинг средствами робота, оснащенного электрошокером, кажется не таким уж плохим вариантом. Бесстыдно расистский послужной список многих полицейских департаментов – вот из-за чего афрофутуристский робокоп кажется столь решительным прыжком в будущее.

Но что именно будет потеряно, если мы согласимся с этой логикой реформизма, когда на самом деле необходимы гораздо более глубокие перемены? Профессор афроамериканских исследований из Принстона Руха Бенджамин утверждает, что «альтернативы тюрьмам, считающиеся более гуманными и составляющие часть все более широкого спектра „технокоррекций“, должны называться тем словом, которого они заслуживают, а именно grilletes („кандалы“ по-испански)»[374]. Когда полиция и тюремщики стремятся срочно внедрить ИИ и роботов, в этой суматохе теряются холистические подходы к проблеме социального контроля. К тому же без внимания остается более важный ущерб, который может нанести технология в любой из подобных версий.

Что если со сценарием «Особого мнения» следовало бы сравнивать не стандартную тюрьму (с ее забитыми камерами, неудобными кроватями и плохой едой), а одну из «открытых тюрем», которые используются в Скандинавии? В таких исправительных учреждениях управляющие (а не охранники) предоставляют заключенным солнечные комнаты и возможность готовить себе еду и убирать свое жилье. В тюрьмах есть учебные курсы, работа, на которой заключенных не эксплуатируют, и профессиональное обучение. Здесь наблюдается тот уровень доверия, которого практически не встретишь в тюрьмах США, Китая или России[375]. Конечно, подобные скандинавские тюрьмы – не загородные клубы, они существенно ограничивают свободу правонарушителей. Однако к преступникам они относятся с тем минимальным уважением, которого явно не хватает как обычным тюрьмам, так и технологическим «новациям», приходящим им на смену. В полиции также наблюдается все более широкое движение, стремящееся остановить, а не исправить многие неприятные практики.

Нераспознание как неуважение

По крайней мере в двух крупных департаментах полиции в Британии были внедрены сканеры лиц для «идентификации и мониторинга мелких преступников, людей с психическими расстройствами и мирных протестующих». НПО Big Brother Watch выяснила, что более 90 % предположительных «совпадений» были ложноположительными[376]. В принципе эту проблему можно решить применением более качественной технологии или более крупными базами данных, состоящими из размеченных фотографий, взятых из социальных сетей. Однако в этом проекте заметно и иное нераспознание, которое не является технической проблемой. Почему психически больные объединены в одну группу с заключенными? Почему у государства вообще есть база данных мирных протестующих? Наконец, кто разрешил властям связать и так уже сомнительные классификации с технологией, созданной, чтобы уничтожить все сохранявшиеся доселе права на неизвестность, то есть на то, чтобы сохранять анонимность в толпе?[377] Распространение машинного зрения привело к тому, что критики обеспокоились не только эффективностью этой технологии. Они ставят под вопрос структуры власти, которые она поддерживает и закрепляет.

Подобное злоупотребление распознаванием лиц все чаще встречается как в общественном, так и частном секторах. Исследовательница из MIT Джой Буоламвини собрала данные, подтверждающие распространенность сбоев коммерческих программ распознавания лиц (РЛ), не всегда способных идентифицировать представителей меньшинств, особенно если это женщины[378]. Такое машинное зрение она называет «кодированным взглядом», который отражает «приоритеты, предпочтения, а также иногда и предубеждения тех, у кого есть право определять такую технологию»[379]. Примеры найти несложно, даже в самых богатых фирмах. Программа Rekognition компании Amazon нашла несколько ложных совпадений, когда Американский союз гражданских свобод попросил ее проверить, можно ли в числе членов американского Конгресса найти преступников из базы данных, определив их по лицу. Также она слишком часто идентифицировала в качестве преступников представителей меньшинств[380]. Система компании Amazon работала настолько плохо, что многие другие крупные технологические компании потребовали регулирования, хотя это и могло повредить их собственным прибылям.

Сегодня фирмы стремятся гарантировать адекватное количество лиц представителей меньшинств в соответствующих базах данных. Но некоторые защитники гражданских прав утверждают, что неполнота баз данных распознавания лиц – вещь хорошая. Вспоминая о трагическом американском наследии полицейского расистского насилия, которое сохраняется и по сей день, исследовательница и активистка Зое Самудзи утверждает: «…если черные станут одинаково видимыми для программ, что в дальнейшем будет использовано в качестве оружия против нас, это нельзя признать социальным прогрессом»[381]. Если убрать некоторые перекосы в системах распознавания лиц (например, включить в них большее число лиц представителей меньшинств), другие перекосы могут стать еще серьезнее. Председатель Исследовательского совета социальных наук Алондра Нельсон заявила, что ей трудно «понять, почему мы хотим, чтобы черные сообщества были лучше представлены в системах распознавания лиц, которые чаще всего используются для контроля»[382]. Исключить ложноположительные опознания – важная цель. Однако