информации. В таких случаях соблазн не послушаться модели отражает ваш личный шаблон, который вы применяете к аналогичным предикторам. Когда же этот личный шаблон с высокой степенью вероятности неприменим, следует прислушаться к модели; ваше вмешательство, скорее всего, снизит точность прогноза.

Одна из причин успешной работы моделей на основе методов машинного обучения в сложных задачах – то, что они способны распознавать «сломанные ноги», причем намного лучше, чем кажется людям. Обработав огромный массив данных, включающий очень большое количество случаев, модель может отследить поведение завсегдатаев кинотеатров и в самом деле усвоить, например, что люди, посетившие больницы в те дни, когда они обычно ходят в кино, вероятнее всего, пропустят сегодня вечерний сеанс. Таким образом, усовершенствованные прогнозы редких событий сокращают необходимость человеческого контроля.

В том, что делает ИИ, нет ни магии, ни подлинного интеллекта – главное, найти больше различных сценариев. Как бы мы ни восхищались мощью умной машины, не следует забывать, что искусственному интеллекту потребуется еще некоторое время, чтобы понять, почему сломавший ногу человек не сможет пойти в кино.

Освобождение под залог: оптимальные решения

В то же самое время, когда вышеупомянутая команда исследователей применила к проблеме освобождения под залог простые правила, другая команда125 под руководством Сендила Муллайнатана натаскивала на выполнение той же задачи продвинутую модель на основе ИИ. Группа имела доступ к более обширному массиву данных – 758 027 ранее принятых решений. В каждом случае исследователям была доступна та же информация, что и судьям: текущее преступление, имеющиеся судимости, предыдущие неявки в суд. Никакой демографической информации, кроме возраста, для тренировки алгоритма не использовалось. Исследователям также было известно в каждом конкретном случае, отпустили ли обвиняемого под залог; и если да, то явился ли он впоследствии в суд или был арестован повторно. (Из всех обвиняемых были освобождены 74 %; 15 % из них не явились в суд, и 26 % арестованы повторно.) С этими данными исследователи тренировали алгоритм126 и оценивали его возможности. Поскольку модель построили на основе методов машинного обучения, она не ограничивалась линейными комбинациями. Обнаруживая более сложную закономерность в данных, модель использовала этот сценарий для усовершенствования своих прогнозов.

Модель была ориентирована на прогнозирование побега обвиняемого и оценивала риск в баллах; перед ней не ставился вопрос, освобождать обвиняемого под залог или нет. Такой подход признает, что максимально допустимый порог риска (то есть уровень риска, при превышении которого обвиняемому откажут в выпуске под залог) требует оценочных суждений, которые не под силу модели. Тем не менее исследователи вычислили: независимо от принятого порога риска, использование модели повысит эффективность судебных решений. Команда Сендила Муллайнатана рассчитала: если порог риска установлен так, что количество человек, которым отказано в освобождении под залог, остается таким же, как по решению судей, то уровень преступности может сократиться на 24 %, потому что за решетку попадут преступники, наиболее склонные к рецидиву. И наоборот, если порог риска установлен так, чтобы максимально сократить количество человек, которым отказано в освобождении под залог, причем без риска роста преступности, то количество взятых под стражу может уменьшиться на 42 %. Другими словами, модель на основе методов машинного обучения намного лучше судей справляется с задачей по прогнозированию и подсказывает, каких обвиняемых рискованно отпускать.

Модель, построенная обученной машиной, оказалась также более успешной, чем линейные модели, использующие ту же информацию. Причина звучит интригующе: «Алгоритмы на основе методов машинного обучения вылавливают127 в комбинации переменных значимые совпадения, которые в иных случаях могли быть упущены». Способность алгоритмов легко находить сценарии, упущенные другими методами, особенно резко выражена в случае обвиняемых, которым алгоритм присвоил самую высокую степень риска. Другими словами, некоторые сценарии в массиве данных, пусть даже редкие, прогнозируют высокий риск. Это открытие – когда алгоритмы выхватывают редкие, но решающие факторы – возвращает нас к концепции сломанной ноги.

Исследователи также использовали алгоритм для построения модели каждого судьи, аналогичной описанной в главе 9 (однако не ограниченной простыми линейными комбинациями). Применение этих моделей ко всему массиву данных позволило команде симулировать решения судей, которые они вынесли бы при рассмотрении тех же самых дел, и сравнить с реальными. Результаты выявили существенный системный шум в решениях об освобождении под залог. Отчасти это межэкспертный шум: если судей отсортировать по степени их благосклонности, наиболее снисходительный квинтиль[10] (20 % судей, которые отпускают под залог чаще всего) освобождал 83 % обвиняемых, в то время как наименее снисходительный квинтиль – всего 61 %. Кроме того, оценивая риск побега заключенных, судьи будто судили их по разным шаблонам. Одному судье конкретный подсудимый не показался склонным к побегу, в то время как другой, в целом совсем не строгий, определил его в группу высокого риска. Эти результаты свидетельствуют о явном присутствии внутриэкспертного шума. Более детальный анализ выявил, что различия между прецедентами составили 67 % от всех расхождений, а системный шум – 33 %. Некоторую долю системного шума составлял128 межэкспертный шум, например, обусловленный неодинаковой строгостью судей, однако большей частью (79 %) это был внутриэкспертный шум.

Наконец – и к счастью – бóльшая точность программ на основе методов машинного обучения достигается не за счет других поддающихся учету целей, которых могут добиваться судьи, в особенности расовой справедливости. Теоретически, хотя в алгоритм не заложены данные о расе обвиняемых, программа может непреднамеренно усугублять расовое неравенство. Оно может возникнуть, если модель использует прогностические факторы, в сильной степени коррелирующие с расой (например, почтовый индекс), или необъективен источник данных, на котором обучался алгоритм. Если, к примеру, прогностический фактор – количество предыдущих арестов, а эти аресты производились на почве расовой дискриминации, то и алгоритм в результате получится дискриминационным.

Несмотря на то что риск дискриминации в принципе присутствует, решения на основе алгоритма во многих важных аспектах содержат как раз меньше расовых предубеждений, чем судейские решения. Например, если порог риска установлен так, чтобы получить такой же уровень преступности, каким он был бы при судейских решениях, алгоритм отправит за решетку на 41 % меньше цветных. Похожие результаты обнаружены и в других сценариях: выигрыш в точности не влечет за собой обострения расовой дискриминации – и, как показали исследователи, алгоритм можно легко запрограммировать на ее сокращение.

Еще одно исследование в другой области иллюстрирует, как алгоритмы могут одновременно повышать точность и сокращать дискриминацию. Бо Каугилл, профессор Колумбийской школы бизнеса, изучал набор инженеров-программистов129 в крупной технологической компании. Вместо того чтобы поручить человеку на основе резюме отобрать кандидатов на собеседование, Каугилл разработал алгоритм сортировки резюме и обучил его на более чем трехстах тысячах заявлениях, которые компания получила