скептицизма. Это может привести к тому, что люди будут чрезмерно полагаться на точность или правильность автоматизированных систем. В деле Висконсин против Лумиса косвенным образом решалась проблема предвзятости автоматизации, требуя, чтобы любой отчет о расследовании присутствия, содержащий оценку риска COMPAS, сопровождался письменным заявлением об отказе в том, что оценки могут быть неточными и были показаны для разносторонней классификации правонарушителей. Хотя раскрытие информации об ограничениях инструментов оценки риска является важным первым шагом, его все же недостаточно. Со временем существует риск того, что судьи приучатся к длинному языку раскрытия, повторяемому в начале каждого доклада. Кроме того, раскрытия не дают четкого представления о том, как, если судьи вообще должны, интерпретировать или понимать практические пределы оценок риска.

В этом разделе предпринята попытка проиллюстрировать, как защититься от предвзятости автоматизации и других критических проблем взаимодействия человека с компьютером, обеспечив, чтобы (1) инструменты оценки риска легко интерпретировались пользователями-пользователями, (2) пользователи инструментов оценки риска получают информацию о неопределенности, стоящей за инструментами, прогнозы и (3) адекватные ресурсы выделяются для финансирования надлежащего обучения использованию этих инструментов.

§ 6. Требование 4. Предсказания и способы их составления должны легко интерпретироваться

Хотя адвокаты сосредоточили свое внимание на упомянутых выше проблемах предвзятости в оценках прогноза риска, один из часто пропускаемых аспектов справедливости – это способ перевода оценок риска для пользователей-людей. Разработчики и юрисдикции, внедряющие инструменты оценки риска, должны гарантировать, что инструменты передают свои прогнозы простым для пользователей способом и иллюстрируют, как эти прогнозы делаются. Это означает, что интерфейсы, представленные судьям, секретарям, юристам и ответчикам, должны быть четкими, легко понятными и не вводить в заблуждение.

Интерпретируемость предполагает предоставление пользователям понимания взаимосвязи между входными функциями и выходными прогнозами. Мы должны предостеречь, что это может означать не ограничение модели «интерпретируемой», но менее точной математической формой, но вместо этого использование методов, которые обеспечивают отдельные интерпретации для более сложных предсказаний.

Предоставление интерпретаций для прогнозов может помочь пользователям понять, как каждая переменная влияет на прогноз и насколько чувствительна модель к определенным переменным. Это крайне важно для обеспечения того, чтобы лица, принимающие решения, были последовательны в своем понимании того, как работают модели и производимые ими прогнозы, и чтобы неправильное толкование баллов отдельными судьями не приводило к несоразмерному применению правосудия. Поскольку интерпретируемость является свойством инструментов, используемых людьми, она требует рассмотрения использования оценок риска в контексте и зависит от того, насколько эффективно они могут быть использованы в качестве инструментов пользователями.

В то же время разработчики моделей должны следить за тем, чтобы интуитивная интерпретация не противоречила предполагаемому прогнозированию риска. Например, судьи или другие пользователи могут интуитивно предположить, что упорядоченные категории имеют одинаковый размер, представляют абсолютные уровни риска, а не относительные оценки, и охватывают весь спектр приблизительных уровней риска. Таким образом, по 5-балльной шкале естественная интерпретация будет состоять в том, что один балл подразумевает риск повторного совершения преступления от 0 % до 20 % (или другой интересный результат), категория 2 – риск от 21 % до 40 % и т. д.

В одном исследовании сравнивался инструмент оценки риска до суда, который преобразует оценки риска в 5-балльную шкалу риска, с фактической вероятностью результата (в данном случае повторный арест, насильственный повторный арест, неявка и/или отзыв залога). Только 35 % обвиняемых, отнесенных к группе с самым высоким уровнем риска, не явились на суд или были повторно арестованы до суда. Вероятности неявки и повторной оценки для всех уровней риска были в пределах интуитивного интервала для самого низкого уровня риска. Аналогичным образом существуют также значительные пробелы между интуитивным и правильным толкованием категорий риска в инструменте предварительной оценки Колорадо. Чтобы устранить эти недостатки, юрисдикциям необходимо будет собирать данные и проводить дальнейшие исследования по выбору пользовательского интерфейса, отображению информации и психологическим реакциям пользователей на информацию о неопределенности прогноза.

§ 7. Требование 5. Инструменты должны давать достоверные оценки для своих прогнозов

Важным компонентом любого статистического прогноза является неопределенность, лежащая в его основе. Для того чтобы пользователи инструментов оценки риска могли правильно интерпретировать свои результаты, крайне важно, чтобы отчеты об их прогнозах включали перечни ошибок, доверительные интервалы или другие аналогичные признаки надежности. Например, инструменты оценки риска часто дают оценку, отражающую вероятность повторного совершения преступления, или сопоставление этих вероятностей с уровнями (например, «высокий», «средний» и «низкий» риск). Эта информация сама по себе, однако, не дает пользователю уверенности в уверенности модели в своем прогнозе. Например, даже если модель откалибрована таким образом, что результат, такой как «высокий риск», соответствует «60 % вероятности повторного совершения преступления», неясно, уверен ли инструмент в том, что ответчик имеет вероятность повторного совершения правонарушения между 55 % и 65 %, со средним значением 60 %, или если инструмент уверен только в том, что у ответчика есть вероятность повторного совершения правонарушения между 50 % и 90 %, при среднем значении 60 %. В первом случае толкование того, что ответчик имеет 60-процентную вероятность повторного совершения правонарушения, является гораздо более разумным, чем в последнем случае, когда вокруг прогноза существует огромная неопределенность.

По этой причине инструменты оценки риска не должны использоваться, если они не способны обеспечить хорошие показатели достоверности их собственных прогнозов, как в целом, так и для конкретных лиц, на которых они используются. Существует много источников неопределенности в прогнозах рецидива преступлений, и в идеале раскрытие неопределенности в прогнозах должно охватывать как можно больше таких источников. Это включает в себя следующее:

• неопределенность из-за размера выборки и наличия выбросов в наборах данных. Этот тип неопределенности может быть измерен с использованием начальных доверительных интервалов, которые обычно используются технологическими компаниями для оценки предсказательной силы моделей перед развертыванием;

• неопределенность относительно наиболее подходящего смягчения для смещения модели, как обсуждалось в Требовании 2. Одной из возможностей будет оценка результатов различных корректировок справедливости как выражения верхних и нижних границ возможных «справедливых» прогнозов;

• неопределенность в результате смещения выборки и других фундаментальных проблем с наборами данных, как обсуждалось в Требовании 1. Это сложный вопрос для решения, но одним из способов решения этой проблемы будет поиск или сбор новых высококачественных вторичных источников данных для оценки неопределенности из-за смещения выборки и других проблем с обучающими наборами данных;

пользовательские интерфейсы для удовлетворительного отображения и передачи неопределенности пользователям в некоторых отношениях также являются открытой проблемой, поэтому учебные курсы, которые мы предлагаем в Требовании 6, должны специально тестировать и помогать пользователям выносить суждения при моделировании этой неопределенности.

§ 8. Требование 6. Пользователи инструментов оценки риска должны посещать тренинги о характере и ограничениях инструментов

Независимо от того,