наказания, степень возмущения или сумма компенсации в долларах), однако доля внутриэкспертного шума была приблизительно постоянной: 63 %, 62 % и 61 % от системного шума в целом для каждой из трех шкал.

Тот факт, что в этих исследованиях межэкспертный шум не самый существенный компонент, уже сам по себе много значит, поскольку межэкспертный шум – единственная форма шума, которую организации могут хотя бы иногда контролировать, не проводя ревизию шумовых помех. Когда задачи распределяются между отдельными специалистами по более-менее случайному принципу, отклонение от среднего уровня в решениях доказывает присутствие межэкспертного шума. Например, при изучении работы патентных ведомств187 наблюдался большой разброс от среднего уровня предрасположенности экспертов к выдаче патентов, которые в дальнейшем приходилось оспаривать в суде. Аналогично служащие органов опеки188 различались по настойчивости, с которой они стремились отдать ребенка в приемную семью, с далеко идущими последствиями для благополучия детей. Подобные наблюдения основаны исключительно на оценках межэкспертного шума. Если же доля внутриэкспертного шума превышает долю межэкспертного, то эти и без того шокирующие открытия преуменьшают проблемы шумовых помех минимум в два раза. (Из этого предварительного правила есть исключения. Непозволительным разбросом в решениях о предоставлении убежища189 практически однозначно мы обязаны в основном межэкспертному шуму, а не внутриэкспертному, которого, как мы подозреваем, тоже хватает.)

Следующий этап анализа внутриэкспертного шума – разложение его на два компонента. Есть веские основания предполагать, что здесь доминирует постоянный внутриэкспертный шум, а не ситуативный. Наши соображения иллюстрирует ревизия шумовых помех, содержащихся в приговорах федеральных судей. Начнем с крайности и допустим, что весь внутриэкспертный шум преходящий. Из такого допущения следует, что мера наказания непостоянна и варьируется с немыслимой амплитудой, ведь тогда ожидаемый средний разброс в сроках заключения по одному и тому же делу, рассматриваемому одним и тем же судьей, в различных обстоятельствах составит около 2,8 года!190 Вариативность среднего показателя среди судей сама по себе уже шокирует. Такой же разброс для одного конкретного судьи в зависимости от обстоятельств был бы просто абсурдным. Кажется более разумным заключить, что судьи непостоянны в своих реакциях на различные преступления и различных обвиняемых и что это непостоянство в высшей степени зависит от личности судьи, однако является для него стабильным.

Для оценки доли постоянного и ситуативного шумов в составе внутриэкспертного нам нужно провести эксперимент, в котором одни и те же судьи выносят два независимых приговора по каждому делу. Как мы отмечали, создать такие условия в эксперименте, как правило, невозможно, поскольку нет гарантии, что второй приговор будет в полном смысле слова независим от первого. Велика вероятность – особенно в сложных делах, – что судья узнает задачу и повторит свой первоначальный вердикт.

Группа исследователей из Принстона191 под руководством Александра Тодорова разработала смелые экспериментальные методы для преодоления этого затруднения. Они привлекли участников с Amazon Mechanical Turk, интернет-платформы, где исполнители выполняют небольшие задания – например, заполнение анкет, – получая оплату за затраченное время. В одном эксперименте участники рассматривали изображения человеческих лиц, сгенерированные компьютерной программой, однако неотличимые от лиц реальных людей, и оценивали их по различным параметрам, например внешней привлекательности и честности (иными словами, можно ли этому человеку доверять). Эксперимент был повторен неделей позже с теми же самыми лицами и теми же респондентами.

Вполне справедливо ожидать в подобном эксперименте меньше согласованности среди участников, чем в профессиональных суждениях, таких как вынесение приговоров в суде. Каждый согласится, что одни люди очень привлекательны, а другие выглядят отталкивающе, однако в пределах области значимости мы ожидаем, что реакция на лица будет весьма индивидуальной. И в самом деле, среди респондентов обнаружилось мало согласия: скажем, при оценке честности разброс по изображениям насчитывал лишь 18 % от всех отклонений. Оставшиеся 82 % представляли из себя шумовые помехи.

Точно так же справедливо ожидать от результатов эксперимента меньшего постоянства в оценках, поскольку качество оценок исполнителей, которым платят за ответы онлайн, зачастую существенно ниже, чем у профессионалов. И тем не менее самым существенным компонентом шума стал постоянный внутриэкспертный шум. Вторым по значимости стал межэкспертный шум, то есть различия среди наблюдателей в средних оценках честности. Ситуативный шум, хотя и оставался существенным, был самым небольшим из компонентов.

Исследователи пришли к тем же самым выводам, когда задавали респондентам другие вопросы, к примеру, какие машины им нравятся или какие блюда они предпочитают, или более близкие к задачам, с которыми работают профессионалы. Скажем, в повторении исследования о назначении компенсации морального ущерба, рассмотренного нами в главе 15, респонденты оценивали меру наказания для десяти случаев причинения вреда здоровью; опрос проходил в два этапа, разделенных неделей. И опять постоянный внутриэкспертный шум стал самым значительным компонентом. Во всех исследованиях участники в основном не соглашались друг с другом, однако оставались практически постоянными в своих собственных оценках. Такое «постоянство без единодушия», как выразились исследователи, свидетельствует о явном наличии постоянного внутриэкспертного шума.

Наиболее убедительные доказательства роли постоянного внутриэкспертного шума содержатся в большом исследовании по проблеме освобождения обвиняемых под залог192, упомянутом в главе 10. В одной из частей этой внушительной работы авторы создали статистическую модель, которая симулировала работу судей, а именно то, как в принятии решения каждый из них использовал доступную ему информацию. Они создали индивидуальные модели 173 судей. Затем заставили модели вынести решения193 по 141 833 делам, в итоге получив 173 решения по каждому делу – всего более 24 миллионов решений. По нашей просьбе авторы любезно выполнили специальный анализ, в котором разделили разбросы оценок на три группы: «верные» оценки (близкие к среднему по каждому делу), межэкспертный шум, возникавший от различия в предрасположенности судей отпустить обвиняемого под залог, и оставшийся внутриэкспертный шум.

Анализ имеет прямое отношение к нашим доводам, поскольку межэкспертный шум, измеряемый в ходе этого исследования, оставался постоянным. Случайное присутствие ситуативного шума здесь ничего не значит, поскольку это анализ моделей, предсказывающих решения судей. Включены только поддающиеся проверке постоянные индивидуальные критерии прогнозирования.

Выводы были недвусмысленными: постоянного внутриэкспертного шума194 оказалось почти в четыре раза больше, чем межэкспертного (26 % против 7 % от общего отклонения). Идентифицированные в ходе эксперимента постоянные и уникальные шаблоны принятия решений давали гораздо больше шума, чем общие различия в строгости.

Все факты согласуются с рассмотренным в главе 7 исследованием ситуативного шума: хотя существование ситуативного шума удивляет и даже тревожит, нет признаков того, что здесь внутриэкспертная составляющая превышает межэкспертную. Зато в отношении системного шума мы с самого начала пренебрегли его наиболее важным компонентом, а именно постоянным внутриэкспертным шумом, или расхождением среди судей в их оценке определенных дел.

Учитывая относительную