всю ситуацию с применением алгоритмов в системе уголовного правосудия, то ее статья «Грязные данные» представляет собой лишь верхушку айсберга. Она добавила: «Есть и побочные последствия. Что вы скажете о жилищных фондах, использующих данные уголовного правосудия?[186] О базах, содержащих данные банд? О том, как данные о преступности и полиции используются в досудебных оценках? Вот усугубляющийся вред, который мы даже не сознаем из-за непрозрачности этих систем и невозможности узнать, какие данные используются и почему».

Некоторые города стали пытаться это исправлять. В январе 2018 года городской совет Нью-Йорка принял закон, предписывающий создать целевую группу, которая давала бы рекомендации о том, как информация об автоматизированных системах принятия решений полицейскими агентствами может передаваться общественности и как агентства могут реагировать на случаи, когда люди страдают от действий автоматизированных систем принятия решений.

Четыре месяца спустя мэр Нью-Йорка Билл Де Блазио создал эту целевую группу. К сожалению, он не получил финансирования (обычно это свидетельствует о том, что политики, создающие комитет, не воспринимают задачу всерьез) и существенную часть своего первого года на посту мэра посвятил поиску такого определения автоматизированных систем принятия решений, которое удовлетворило бы всех. Заметим в скобках, что группа Ричардсон в рамках Института AI Now составила неисчерпаемый список из десятков таких алгоритмов, включающий не только программы уголовного правосудия, но и другие алгоритмы, оценивающие, какие учащиеся подвергаются риску насилия, какие арендодатели могут преследовать арендаторов, как распределять финансирование пожарным подразделениям и многое другое.

Следуя примеру Нью-Йорка, власти Вермонта создали специальную целевую группу, призванную давать штату рекомендации по использованию и регулированию искусственного интеллекта. А в апреле 2019 года сенаторы-демократы Рон Уайден (D-OR) и Кори Букер (D-NJ) вместе с конгрессвумен Иветт Кларк (D-NY) представили в Конгрессе США законопроект об алгоритмической подотчетности. Этот законопроект, который, конечно, никуда не продвинулся в недееспособном болоте 116-го Конгресса, содержал требования, чтобы компании сами оценивали, насколько их системы автоматизированного принятия решений подвержены влиянию предрассудков и насколько способствуют защите конфиденциальности и безопасности, а затем исправляли обнаруженные недостатки.

Я основываю это обсуждение на новейших данных, но мне, конечно, неизвестно, что произойдет с этими целевыми группами или законодательными актами к тому времени, когда книга попадет в руки читателей. Я готов поспорить на любые деньги и свою гордость, что законопроект об алгоритмической подотчетности не станет законом. И что целевые группы в Нью-Йорке и Вермонте тихо уйдут со сцены, как многие другие столь же благонамеренные и скучные реформаторские проекты. Что выпустят вдумчивый, возвышенный отчет, написанный канцелярским языком и полный расшаркиваний, откашливаний и оборотов типа справедливости ради следует отметить, который прочитают только люди, уже готовые согласиться с его выводами (или репортеры вроде меня).

В то же время побудительные мотивы, которые привели к созданию этих целевых групп, не исчезли. Сейчас люди как никогда лучше понимают, что правосудие, осуществляемое по цифровому алгоритму, ставит под угрозу наши гражданские свободы. Оно лишает нас права противостоять обвинителям, усиливает расовые предубеждения, которые слишком долго искажали нашу систему правосудия, и фокусирует внимание государства на людях, не совершавших никаких преступлений. Дни, когда правоохранительные органы тайно внедряли прогностические программы, похоже, сочтены.

Вероятно, заинтересованные граждане не добьются полного исключения алгоритмов из системы уголовного правосудия (и при этом нет ясности, что целью должно быть именно исключение, а не тщательный мониторинг). Но нужно заставить правительства задуматься над тем, как информация поступает в эти алгоритмы и как используется в них. Возможно, их следует очищать, например, от любых данных, собранных в периоды, когда, согласно заключению независимых агентств, департамент полиции действовал, исходя из расовых предрассудков.

Не менее хорошим началом было бы переосмыслить, что именно показывают прогностические алгоритмы на основе локаций. Ответ кажется очевидным: они показывают места, где неоднократно совершались преступления по фиксируемым схемам. Но карта преступности – это еще и карта человеческих нужд. Если с помощью такой карты город решает, куда направить полицейские силы, с таким же успехом он может видеть, где необходимы дополнительные социальные службы, профессиональная подготовка и психиатрическая помощь. Как отметил ученый-исследователь Уильям Айзек, полицейские департаменты располагают ограниченным набором инструментов, но они отвечают за работу с широкими, сложными социальными явлениями. Что делать, когда у вас появляется эта информация? Можете ли вы использовать ее для помощи сообществам, а не просто для наблюдения и ареста людей в этих сообществах?

9. Китайская проблема

Сейчас мы можем получить совершенную архитектуру контроля. Какие демократические практики нам нужны, чтобы мы не стали Китаем?

Каждая из предыдущих глав была посвящена отдельной технологии. Теперь я задаю более широкий вопрос: что происходит, когда страна со слабой государственностью или с недостаточным уважением к гражданским свободам комбинирует различные формы технологий слежки и обращает их против собственных граждан? Насколько плохо все может обернуться? Чтобы ответить на этот вопрос, я рассмотрю эквадорскую сеть служб реагирования на чрезвычайные ситуации, которая одновременно является государственной системой наблюдения, и технологические репрессии Китая в отношении уйгурского мусульманского меньшинства.

Прежде чем углубиться в эту тему, хочу предостеречь: если вы живете в развитой стране с независимыми судами, силами безопасности, которые в целом уважают гражданские права, и устоявшимися нормами сменяемости власти, эта глава может принести вам чувство облегчения. Вы подумаете: «Наши институты устойчивы. Наши суды независимы. Наша полиция хорошо обучена. И наша политическая арена четко определена: политики могут не нравиться друг другу, но они борются за голоса на хорошо организованных выборах. Они не обрушивают мощь государства на своих противников. Они не преследуют ни журналистов, ни активистов и не представляют угрозы для гражданского общества».

Но во многих других местах именно так и делается. Собственно, такое может случиться где угодно. И если геополитические события последних нескольких лет нас хоть чему-нибудь научили, это не повод слишком расслабляться при виде общей позитивной картины.

Вопрос Кэтрин Крамп, который я привожу в самом начале книги, до сих пор не выходит у меня из головы. «Сейчас мы можем получить идеальную архитектуру контроля», – сказала профессор права и содиректор Центра права и технологий Беркли. Наблюдение не требует усилий, дешево обходится и может быть постоянным. По мере совершенствования систем распознавания лиц и видеоаналитики мы все лучше видим и отслеживаем всех везде. Образование полицейского государства невозможно предотвратить с помощью технологий. Мы можем сделать это только средствами политики и демократии.

Ключевой вопрос, по словам Крамп, звучит так: какие демократические практики нам нужны, чтобы мы не стали Китаем? Читая эту главу, спросите себя: что нам нужно сделать, чтобы не произошло, что здесь описано.

* * *

Столица