Каждый участник судебного процесса должен иметь полное право на получение в случае необходимости любых данных, используемых ИИ, для вынесения того или иного решения. Соответственно, участник не только должен иметь право на получение данных, но и на использование услуги обработки этих данных другим сертифицированным ИИ, чтобы выяснить, насколько обоснованными являются используемые в судебном процессе решения рекомендации со стороны ИИ, обслуживающего, например, сторону обвинения.

Глава III

Алгоритмические инструменты оценки рисков в системе уголовного правосудия США[6]

§ 1. Общие положения

В начале 2019 года был опубликован Отчет об алгоритмических инструментах оценки рисков в системе уголовного правосудия США. Он написан сотрудниками Партнерства по ИИ (PAI). Работа по этой теме была первоначально продиктована законопроектом 10 Сената штата Калифорния (SB 10), который предписывал приобретение и использование статистических инструментов и инструментов оценки риска машинного обучения для решений по предварительному заключению. Впоследствии эта работа расширилась для оценки использования такого программного обеспечения по всей территории Соединенных Штатов.

Партнерство по искусственному интеллекту (PAI) – это некоммерческая организация, созданная для изучения и формулирования передового опыта в области технологий ИИ, для улучшения понимания общественностью проблем ИИ и в качестве открытой платформы для обсуждения и взаимодействия в отношении ИИ и его влияния на людей и общество.

Деятельность PAI определяется в сотрудничестве с его коалицией, насчитывающей более 80 членов. В том числе групп гражданского общества, корпоративных разработчиков и пользователей ИИ, а также многочисленных академических исследовательских лабораторий ИИ. PAI стремится создать пространство для открытого разговора, развития лучших практик и координации технических исследований, чтобы гарантировать использование ИИ на благо человечества и общества. Важно отметить, что PAI является независимой организацией.

В указанном отчете задокументированы серьезные недостатки инструментов оценки риска в системе уголовного правосудия США, особенно в контексте досудебных задержаний, хотя многие из наших наблюдений также применимы к их использованию в других целях, таких как условное осуждение и вынесение приговора. Несколько юрисдикций уже приняли законодательство, обязывающее использовать эти инструменты, несмотря на многочисленные глубокие проблемы и ограничения. Собирая взгляды сообщества исследователей в области ИИ и машинного обучения, PAI наметил десять в основном невыполненных требований, которые юрисдикциям следует взвесить и рассмотреть перед дальнейшим использованием инструментов оценки рисков в системе уголовного правосудия.

Использование инструментов оценки риска для принятия справедливых решений о свободе человека потребует решения глубоких этических, технических и статистических задач, включая обеспечение того, чтобы инструменты были спроектированы и созданы для смягчения предвзятости как на уровне модели, так и на уровне данных, и чтобы были установлены надлежащие протоколы, содействовать прозрачности и подотчетности. Инструменты, доступные в настоящее время и находящиеся на рассмотрении для широкого использования, страдают от нескольких из этих сбоев, как описано в данном документе.

Эти недостатки выявлены в ходе консультаций с нашими экспертами, а также с помощью обзора литературы по инструментам оценки рисков и общедоступным ресурсам, касающимся используемых в настоящее время инструментов. Исследование было ограничено в некоторых случаях тем, что большинство инструментов не предоставляют достаточно подробную информацию об их текущем использовании, чтобы оценить их по всем требованиям в этом отчете. Юрисдикции и компании, разрабатывающие эти инструменты, должны реализовать большую прозрачность в отношении используемых данных и алгоритмов для решения этой проблемы в будущих исследовательских проектах. Тем не менее, многие из проблем, изложенных в этом отчете, относятся к любой попытке использовать существующие данные уголовного правосудия для обучения статистических моделей или для создания эвристики для принятия решений о свободе людей.

Проблемы использования этих инструментов в целом делятся на три категории:

• опасения по поводу достоверности, точности и предвзятости в самих инструментах;

• проблемы с интерфейсом между инструментами и людьми, которые взаимодействуют с ними;

• вопросы управления, прозрачности и подотчетности.

Хотя использование этих инструментов частично мотивировано желанием смягчить существующую человеческую погрешность в системе уголовного правосудия, это серьезное недопонимание, чтобы рассматривать инструменты как объективные или нейтральные просто потому, что они основаны на данных. Хотя формулы и статистические модели обеспечивают некоторую степень согласованности и воспроизводимости, они все же разделяют или усиливают многие слабые стороны процесса принятия решений человеком. Решения относительно того, какие данные использовать, как обрабатывать недостающие данные, какие цели оптимизировать и какие пороговые значения устанавливать, имеют существенное влияние на точность, обоснованность и предвзятость этих инструментов и, в конечном счете, на жизнь и свободу людей, которых они пытаются оценить.

Помимо технических проблем, при внедрении таких инструментов необходимо учитывать и вопросы взаимодействия человека с компьютером. Интерфейс «человек-компьютер» в данном случае относится к тому, как люди собирают и подают информацию в инструменты и как люди интерпретируют и оценивают информацию, которую генерируют инструменты. Эти инструменты должны соответствовать высоким стандартам интерпретируемости и объяснимости, чтобы пользователи (включая судей, адвокатов и служащих, в частности) могли понимать, как выполняются прогнозы инструментов, и принимать обоснованные решения на основе этих прогнозов. Чтобы улучшить интерпретируемость, такие предсказания должны явно включать информацию, такую как полосы ошибок, чтобы выразить неопределенность, лежащую в основе их предсказаний. Кроме того, пользователи должны посещать тренинги, которые учат, как и когда использовать эти инструменты надлежащим образом.

Более того, в той степени, в которой такие системы используются для принятия решений, которые меняют жизнь, инструменты и те, кто ими управляет, должны соответствовать высоким стандартам прозрачности и подотчетности. Данные, используемые для обучения инструментов и самих инструментов, должны подвергаться независимой проверке сторонними исследователями, адвокатами и другими соответствующими заинтересованными сторонами. Инструменты также должны получать постоянную оценку, мониторинг и аудиты, чтобы гарантировать, что они работают должным образом и соответствуют обоснованным целям уголовной политики.

В свете этих вопросов, как общий принцип, эти инструменты не должны использоваться в одиночку для принятия решений о задержании или продолжении содержания под стражей. Учитывая насущную проблему массового лишения свободы, возможно, было бы разумно использовать эти инструменты для облегчения автоматического предварительного заключения большего числа лиц, но их не следует использовать для автоматического задержания лиц без дополнительных (и своевременных) индивидуальных слушаний. Более того, любое использование этих инструментов должно учитывать проблемы предвзятости, взаимодействия человека с компьютером, прозрачности и подотчетности, изложенные в этом отчете.

Инструменты оценки риска – это статистические модели, используемые для прогнозирования вероятности конкретного будущего результата. Такие прогнозы осуществляются путем измерения взаимосвязи между характеристиками индивидуума (например, его демографической информацией, криминальной историей или ответами на психометрическую анкету) и объединения числовых представлений этих характеристик в оценку риска.

Системы скоринга обычно создаются с использованием статистических методов и эвристики, применяемой к данным, чтобы рассмотреть, как каждая