Информация индивидуального уровня, используемая в оценках, должна быть записана в контрольном журнале, который предоставляется ответчикам, адвокатам и судьям. Такие контрольные записи должны поддерживаться в неизменяемой форме для последующего анализа, чтобы аудиторы могли получить воспроизводимый расчет уровня риска для данного лица. Ответчики также должны иметь возможность оспаривать любые неточности во входной информации или выводы в результирующей классификации рисков и представлять дополнительную смягчающую информацию. Это особенно важно, учитывая возможность манипулирования инструментами оценки рисков. Например, оценки риска часто опираются на вопросники, предназначенные для арестованных, что дает возможность для злоупотреблений со стороны администраторов, что иллюстрируется случаями «подбора критериев». Сравнительный анализ, вероятно, является наилучшим способом защиты от таких манипуляций. Посредством этих процессов ответчики могут продемонстрировать, насколько применимы и надежны оценки риска в зависимости от их конкретных обстоятельств.

§ 12. Требование 10. Юрисдикции должны нести ответственность за оценку, мониторинг и аудит этих инструментов после развертывания

Юрисдикции должны периодически публиковать независимый обзор, оценку алгоритмического воздействия или аудит всех инструментов оценки риска, которые они используют для проверки того, что требования, перечисленные в этом отчете, были выполнены. Последующие аудиты должны будут регулярно проверять результаты и работу системы. Такие процессы проверки также должны быть локализованы, поскольку условия криминала, реагирования правоохранительных органов и культуры среди судей и служащих являются местными явлениями. В идеале эти процессы должны осуществляться при поддержке персонала и в судебных органах, а также при привлечении внешних экспертов.

Чтобы обеспечить прозрачность и подотчетность, независимый внешний орган (такой как совет по рассмотрению) должен быть ответственным за контроль аудита. Этот орган должен состоять из юридических, технических и статистических экспертов, в настоящее время и ранее заключенных лиц, государственных защитников, прокуроров, судей и организаций по гражданским правам, среди других. Эти проверки и их методология должны быть открыты для публичного рассмотрения и комментирования. Чтобы снизить риски для конфиденциальности, опубликованные версии этих аудитов должны быть отредактированы и достаточно ослеплены, чтобы предотвратить деанонимизацию (привязки анонима к конкретной личности).

В настоящее время проблемой для реализации этих проверок является нехватка данных, необходимых для оценки последствий использования этих инструментов. Когда некоторые партнеры PAI пытались оценить последствия законодательного акта об оценке риска в штате Калифорния, они обнаружили неадекватные данные о количестве лиц, содержащихся под стражей до суда, в Калифорнии и не смогли определить данные или исследования, чтобы понять, как определяется определение низкого, среднего и высокого риска и их пороговые значения. Естественно, это может повлиять на то, сколько человек задержано или освобождено до суда. Аналогичным образом, для оценки или исправления инструментов и данных для обучения на предмет ошибок и предубеждений требуются более точные данные о дискриминации в различных точках системы уголовного правосудия. Чтобы понять влияние существующих инструментов оценки риска, будь то досудебное разбирательство, вынесение приговора или испытательный срок, судебные системы должны собирать данные о досудебных решениях и результатах.

Для выполнения этих обязанностей всякий раз, когда законодательные органы или судебные органы принимают решение о предоставлении или приобретении инструментов оценки риска, эти органы должны одновременно обеспечить сбор данных после развертывания, предоставлять ресурсы для этого адекватным образом и поддерживать открытый анализ и анализ инструментов в развертывание. Это требует как (1) выделения или ассигнования достаточного финансирования для этих нужд, так и (2) институциональной приверженности набору (или заключению контрактов) со статистическими/ техническими и криминологическими экспертами для обеспечения надлежащего сбора и анализа данных.

§ 13. Итоговые положения

Усилия по переводу системы уголовного правосудия США на разработку политики, основанной на фактических данных, и принятие решений, ориентированных на общественную безопасность, заслуживают похвалы и чрезвычайно важны. Исходя из исторических и международных сопоставлений, в США содержится аномально большое количество людей (в абсолютных цифрах, на душу населения и на уровень преступности). Таким образом, существенные реформы для решения этой проблемы являются обоснованными и безотлагательными на основе имеющихся данных. Этот контекст привел к принятию инструментов оценки риска, и крайне важно отметить, что ничто в этом отчете не должны толковаться как призыв к замедлению реформы уголовного правосудия и усилий по смягчению последствий массового лишения свободы.

Скорее, цель исследования – помочь политикам принимать обоснованные решения об инструментах оценки рисков, которые в настоящее время находятся в развертывании и требуются в соответствии с законодательными мандатами, и о возможных ответных мерах политики, которые они могли бы предпринять. Один из подходов заключается в том, что юрисдикции должны прекратить использование инструментов в решениях по задержанию лиц, пока не будет доказано, что они преодолевают многочисленные проблемы с действительностью, предвзятостью, прозрачностью, процедурой и управлением, которые в настоящее время стоят перед ними. Этот путь не должен замедлять общий процесс реформы уголовного правосудия. Фактически, несколько групп защиты интересов предложили альтернативные реформы, которые не представляют те же проблемы, что и инструменты оценки риска. Соответственно, выбор не просто между существующими системами, такими как залог наличными, и более новыми алгоритмическими системами.

Другой вариант – начать проект по улучшению инструментов оценки рисков. Это потребует закупки достаточно обширных и репрезентативных данных, разработки и оценки методов повторного взвешивания и обеспечения того, чтобы инструменты оценки риска были предметом открытых, независимых исследований и проверки. Десять требований, изложенных в этом отчете, представляют собой минимальный стандарт для разработчиков и политиков, пытающихся согласовать свои инструменты оценки рисков и то, как они используются на практике, с обоснованными целями политики.

Хотя широкое использование оценок рисков продолжается, административные органы и законодательные органы, ответственные за развертывание, несут ответственность за установление стандартов для инструментов, которые они распространяют. В дополнение к десяти требованиям, которые мы изложили в этом отчете, юрисдикциям также потребуется собрать и использовать значительный опыт в областях машинного обучения, статистики, взаимодействия человека с компьютером, криминологии и права для выполнения этой задачи. На данном этапе мы должны подчеркнуть, что мы не считаем, что какие-либо существующие инструменты будут соответствовать должным образом установленным стандартам по всем этим пунктам, и в случае Требования 1 для выполнения надлежащим образом установленного стандарта потребуются значительные новые усилия по сбору данных.

PAI считает, что установление стандартов в этой области является важной работой для политиков из-за огромного импульса, который законодательство придает развертыванию инструментов ИИ для оценки рисков. Но многие из наших членов по-прежнему обеспокоены тем, что стандарты могут быть установлены с целью их простого соблюдения, а не для того, чтобы на самом деле решать глубокие статистические и процедурные проблемы, присущие использованию таких инструментов для обоснования решений о задержании. Было бы заманчиво установить стандарты,