Конечно, результаты не всегда бывают столь позитивными. Среди прочего рандомизированные исследования играют очень важную роль в развенчании популярных мифов или «самоочевидных» истин, которые на деле являются заблуждениями. И порой требуется значительное мужество, чтобы провести такое рандомизированное исследование наперекор распространенному убеждению в истинности чего бы то ни было.

Например, хотя тюремное заключение в краткосрочной перспективе и снижает уровень преступности, это происходит не потому, что злоумышленники перевоспитываются, а потому, что они на какое-то время исчезают с улиц. Кроме того, тюремное заключение не способствует интеграции в общество и поиску регулярной работы после освобождения, поэтому короткие сроки могут не только быть бесполезными, но и увеличивать преступность в долгосрочной перспективе. Чтобы выработать эффективную стратегию по данному вопросу, необходим надлежащий эксперимент. Однако надо понимать, что он отягощен существенной проблемой: немногие судьи – и, возможно, еще меньшая часть общества – смогут принять тот факт, что приговоры должны выноситься случайным образом. Тем не менее эксперименты с рандомным смягчением приговора преступникам уже проводились[35].

Даже когда результаты исследования не являются положительными, тщательное изучение вопроса само по себе может выявить нечто большее, чем было заметно на первый взгляд. Эндрю Лэй описывает четыре рандомизированных исследования, посвященных изучению того, улучшает ли результаты экзаменов бесплатная раздача учебников в школе. Ни одно из четырех исследований не показало, что такой подход повышает результаты, но в каждом из четырех случаев причины были разными. В одном из них учебники были отправлены на склад вместо раздачи; в другом – родители просто сократили общие расходы на образование на стоимость предоставленных учебников; в третьем случае не были мотивированы учителя, а в четвертом – учебники просто не могли помочь большинству учащихся, поскольку те еще не умели читать. Если бы эти объяснения не были найдены и продолжали оставаться темными данными, то выводы могли бы ввести в заблуждение.

Рандомизированные исследования являются прекрасным инструментом познания, но они не всегда уместны. Например, вряд ли кто стал бы проводить такое сравнительное исследование, чтобы понять, насколько эффективнее иметь парашют, прыгая с самолета, чем не иметь его[36]. Кроме того, существуют нюансы. Рассмотрим исследование, направленное на изучение возможных способов снижения безработицы. Вмешательство может увеличить шансы конкретного человека найти работу, но если это означает, что он просто займет место другого человека, который, не будь вмешательства, получил бы эту работу, то никакого снижения безработицы не произойдет. Аналогичным образом вмешательство, которое заменяет нескольких штатных сотрудников бо́льшим числом работников с неполным рабочим днем, может считаться успешным методом борьбы с безработицей, а может, и нет – в зависимости от того, как вы определяете безработицу.

Еще больше сложностей связано с так называемым эффектом Хоторна. Это склонность людей вести себя по-разному, если они знают, что за ними наблюдают, и если они этого не знают. Похоже, что идеальные исследования, проводимые в обществе, должны быть тайными, но это, очевидным образом, порождает этическую проблему информированного согласия. Первый пункт Нюрнбергского кодекса клинических исследований гласит: «Добровольное согласие испытуемого абсолютно необходимо».

Общим термином направления статистики, которая занимается оптимальным распределением испытуемых в процессе лечения, чтобы наилучшим образом проанализировать эффективность этого лечения, является экспериментальный дизайн. Рандомизированное исследование с двумя группами – самый простой из возможных и широко используемых дизайнов изучения эффективности лечения, политики или иных видов вмешательства. Прямым обобщением стратегии с двумя группами являются исследования с несколькими группами, как это было показано выше, каждая из которых получает отличное от других групп лечение, а также к более сложным, тщательно сбалансированным дизайнам, в которых учитываются многочисленные факторы, способные повлиять на результаты. В главе 8 вы найдете описание такого эксперимента по литью пластмассовых деталей для автомобилей. Сложные дизайны порой носят экзотические названия, такие как «дробный факториал» или «греко-латинский квадрат».

Принципы экспериментального дизайна были разработаны ведущим британским статистиком сэром Рональдом Фишером, который ставил сельскохозяйственные эксперименты на Ротамстедской опытной станции в Хартфордшире, старейшем сельскохозяйственном исследовательском институте в мире. В 1935 г. он опубликовал свой основополагающий труд «Дизайн экспериментов» (The Design of Experiments), в котором описал методы определения «экспериментальных единиц» на примере различных видов удобрений, типов почвы, ирригационных систем, температуры и т. д., а также лучшие способы изучения их комбинаций в процессе эксперимента. На сегодняшний день экспериментальный дизайн является передовой математической дисциплиной. Он включает в себя такие стратегии, как адаптивное распределение, когда на выбор воздействия влияют результаты, полученные в ходе самого эксперимента. По мере проведения исследования начинают накапливаться результаты, и мы видим, что они указывают на эффективность какого-то одного воздействия. Это приводит к вопросу о том, следует ли нам назначить большему количеству пациентов (если речь идет о клинических испытаниях) это лечение на том основании, что в настоящий момент оно представляется наилучшим, или, наоборот, распределить пациентов по другим методам лечения, чтобы быть более уверенными в своих выводах.

Интернет существенно упростил проведение социальных рандомизированных исследований определенных видов, поскольку мы можем легко организовать случайное распределение среди получателей разной информации и пользователей разных версий сайта – вспомните эксперимент Эндрю Лэя, который искал лучшее название для своей книги. Для интернет-компаний это обычная повседневная работа: выполняя тысячи экспериментов автоматически каждый день, они определяют наиболее успешную стратегию. Но использование темных данных таким образом может вызвать и обратную реакцию. Такой подход означает, что клиентов держат в неведении, и, если они узнают о нем, им это может не понравиться. Например, если к ценам на товары или услуги применяется рандомизация, то их изменение будет выглядеть странным и может вызывать тревогу и возмущение. В октябре 2000 г. The Washington Post сообщила о реакции клиентов, узнавших, что Amazon исследовала их чувствительность к ценам путем случайного манипулирования этими ценами[37]. Оценка действий компании сводилась к следующему: «Я всегда считал, что клиентов сначала привлекают, а затем стараются удержать их. А это определенно не способствует лояльности клиентов». И что еще хуже: «Я никогда ничего не куплю больше у этих парней!»