этот прогноз). Неравные ложноположительные показатели особенно проблематичны в системе уголовного правосудия, поскольку они подразумевают, что лица, которые не часто совершают рецидив в одной демографической группе, чаще незаконно задерживаются, чем лица, не являющиеся рецидивистами в другой демографической группе (группах). Одним из предостережений к этому подходу является то, чтобы защищенные группы имели идентичные показатели. Таким образом, если используется коррекция равных возможностей, то необходимо оценить различия в общей точности.

Второй подход заключается в установлении приоритетов при создании моделей, в которых прогностическое соотношение баллов одинаково для разных демографических групп. Это свойство известно как «калибровка в группах» и имеет преимущество, заключающееся в том, что оценки становятся более понятными для всех групп. Калибровка внутри групп повлечет, например, то, что люди с показателем 60 %, имеют 60 % шанс повторного повторения, независимо от их демографической группы. Проблема с этим подходом состоит в том, что обеспечение прогнозируемого паритета достигается за счет меры равных возможностей, описанной выше. Например, инструмент COMPAS, который оптимизирован для калибровки внутри групп, подвергся критике за его несопоставимые ложноположительные показатели (алгоритм COMPAS к 2019 году использовался в 10 штатах США для определения меры пресечения преступников). Фактически ProPublica обнаружила, что даже при контроле за предыдущими преступлениями, будущим рецидивом, возрастом и полом, черные обвиняемые имели на 77 процентов больше шансов получить более высокие оценки риска, чем белые обвиняемые. Это указывает на то, что откалиброванные в группе инструменты оценки риска могут по-разному влиять на людей, не совершающих рецидивы, в зависимости от их расы.

Третий подход включает использование методов причинно-следственных связей для формализации допустимых и недопустимых причинно-следственных связей между переменными и прогнозирования с использованиемтолько допустимых путей. Преимущество этого подхода заключается в том, что он формально учитывает разницу между корреляцией и причинно-следственной связью и разъясняет причинные предположения, лежащие в основе модели. Он также удаляет только корреляцию с защищенным классом, которая возникает из-за проблемных связей между переменными, сохраняя больше информации из данных. Недостатком этого подхода является то, что он требует от создателя инструмента хорошего понимания причинно-следственных связей между соответствующими переменными, поэтому для создания действительной причинно-следственной модели необходим дополнительный предметный опыт. Кроме того, инструментальщик должен определить, какие причинно-следственные связи являются проблематичными, и которые не являются. Таким образом, действительность также зависит от правильного суждения создателя инструмента.

Учитывая, что некоторые из этих подходов находятся в напряжении друг с другом, невозможно одновременно оптимизировать их все. Тем не менее, эти подходы могут выделить важные вопросы справедливости, которые следует учитывать при оценке инструментов. Например, даже при том, что, как правило, невозможно одновременно выполнить калибровку внутри групп и обеспечить равные возможности (методы № 1 и № 2 выше) с данными уголовного правосудия, было бы разумно избегать использования инструментов, которые либо имеют чрезвычайно несопоставимый прогностический паритет в демографических данных (т. е. плохая калибровка внутри групп) или крайне разрозненные ложноположительные показатели по демографии (т. е. низкий уровень равных возможностей).

Принимая во внимание, что каждый из этих подходов включает в себя компромиссные решения, также целесообразно использовать несколько различных методов и сравнивать результаты между ними. Это дало бы ряд предсказаний, которые могли бы лучше информировать принятие решений. Кроме того, подходящие пути для рассмотрения включают в себя своевременные, должным образом обеспеченные ресурсами индивидуализированные слушания, а не инструменты машинного обучения, разработку анализа затрат и выгод, придающего явное значение предотвращению разрозненного воздействия, или задержку развертывания инструмента до появления дополнительных рядов высококачественных данных, которые могут быть собраны, чтобы облегчить более точные и менее предвзятые прогнозы.

§ 5. Требование 3. Инструменты не должны объединять несколько разных предсказаний

Инструменты оценки риска не должны давать составные оценки, которые объединяют прогнозы различных результатов, для которых подходят различные вмешательства. Другими словами, инструмент должен прогнозировать конкретный риск, который он рассчитывает измерить, и производить отдельные оценки для каждого типа риска (в отличие от единой оценки риска, отражающей риск множественных результатов). Например, инструменты оценки риска не должны связывать риск неявки ответчика на назначенную дату суда с риском повторного задержания. Однако многие существующие инструменты оценки риска до суда делают именно это: они выдают единую оценку риска, которая представляет риск неявки или повторного возникновения. В некоторых случаях это может нарушать местное законодательство. Во многих юрисдикциях в качестве основания для предварительного заключения под стражу допускается только одна причина. И независимо от правовой ситуации гибридный прогноз неуместен по статистическим соображениям.

Различные причинные механизмы управляют каждым из явлений, которые объединены в гибридных оценках риска. Причины того, что кто-то не явится в суд, не будет повторно арестован и/или не будет осужден за будущее преступление, очень различны, поэтому высокий балл не будет легко интерпретируемым и объединит людей, которые, вероятно, имеют менее опасный исход (неявка в суд) с более опасными исходами (осуждение за будущее преступление). Кроме того, с точки зрения статистической достоверности прошлые обвинительные приговоры за ненасильственные преступления, которые с тех пор были декриминализованы (например, хранение марихуаны во многих штатах), возможно, следует рассматривать иначе, чем другие виды осуждений, если цель состоит в том, чтобы предсказать будущее преступление.

Более того, для каждого из этих различных явлений подходят разные виды вмешательства. Инструменты оценки риска должны использоваться только в том конкретном контексте, для которого они предназначены, в том числе на конкретной стадии уголовного процесса и для конкретной группы населения, для которой они должны были предсказать риск. Например, потенциальный риск не явиться к дате суда на досудебной стадии не должен иметь никакого отношения к слушанию приговора. Аналогично, прогнозирование рисков для определенных групп населения, таких как несовершеннолетние, отличается от прогнозирования рисков для населения в целом.

Инструменты оценки риска должны иметь четкое представление о том, какое из этих многочисленных предсказаний они делают, и должны быть предприняты шаги для защиты от объединения разных прогнозов и использования оценок риска в неподходящих контекстах.

Проблемы интерфейса человек-компьютер

В то время как инструменты оценки риска предоставляют информацию и рекомендации для процессов принятия решений, окончательный субъект по принятию решений все еще находится в руках людей. Судьи, судебные клерки, сотрудники досудебных служб, сотрудники службы пробации и прокуроры могут использовать оценки рисков для определения своих решений. Таким образом, критические проблемы взаимодействия человека с компьютером также должны учитываться при рассмотрении вопроса об использовании инструментов оценки риска.

Одной из ключевых проблем инструментов принятия статистических решений является явление предвзятости автоматизации, когда информация, представляемая машиной, рассматривается как надежная по своей сути и выше