Опросы, затрагивающие чувствительные темы, – как правило, связанные с сексуальной активностью, финансовыми или медицинскими аспектами – особенно страдают от отсутствия и неполноты данных. Для таких случаев были разработаны довольно хитрые методы сбора данных, которые позволяют людям отвечать, сохраняя анонимность, или дают возможность получать агрегированные показатели, не раскрывая индивидуальных значений. К этим методам мы еще вернемся в главе 9.

Итак, мы рассмотрели два способа сбора данных, описанных в начале этой главы: сбор данных обо всех интересующих нас объектах и выборочный сбор данных. Мы также узнали, какие типы темных данных могут возникать в каждом из этих случаев.

Теперь перейдем к третьему способу сбора данных – экспериментальному, когда условия, методы лечения или иные воздействия на объекты и людей изменяются тщательно контролируемым образом.

Предположим, мы хотим узнать, какой из двух видов лечения является более эффективным: А или Б. Казалось бы, проще всего последовательно провести лечение обоими методами и посмотреть, какой из них работает лучше. Например, исследуя эффективность лекарств для облегчения симптомов сенной лихорадки, мы могли бы первый год лечить пациента по методу А, а второй – по методу Б (полагаясь на то, что количество пыльцы в оба года будет одинаковым). Но в большинстве случаев невозможно применить к одному пациенту оба вида лечения. Например, в исследовании эффективности методов, увеличивающих продолжительность жизни, мы вряд ли сможем попробовать больше одного метода – эксперимент в данном случае заканчивается со смертью пациента.

Единственная альтернатива этому – лечение одного пациента по методу А, а другого по методу Б. Проблема, однако, в том, что не все пациенты одинаково реагируют на одно и то же лечение: то, что лечение помогло одному пациенту, не означает, что оно поможет и всем остальным. Более того, даже отдельно взятый пациент может по-разному реагировать на одно и то же лечение в разные периоды времени.

Далее мы переключаем внимание с отдельных пациентов на средние ответы в группах пациентов, получающих каждое лечение: насколько хорошо в среднем они реагируют на лечение в группе А, по сравнению с группой Б? При этом необходимо обеспечить такое распределение пациентов по группам, чтобы никакие другие факторы, кроме самого лечения, не могли объяснить различия результатов. Например, не стоит испытывать один метод лечения исключительно на мужчинах, а другой – на женщинах, поскольку в этом случае мы не будем знать, лечение или пол объясняют наблюдаемые различия. Точно так же не стоит проводить одно лечение на пациентах с более запущенной болезнью, а другое – на пациентах с менее запущенной.

Что нам действительно нужно, так это сбалансировать распределение, например, одной половине мужчин назначить лечение А, а другой – лечение Б и то же самое сделать для женщин. Затем попытаться так же распределить по группам более больных пациентов и менее больных. Эта задача решаема, если мы хотим контролировать лишь небольшое количество факторов, например пол, возраст и тяжесть заболевания. Но как только их число возрастает, мы обнаруживаем, что решения нет: просто не существует тяжелобольного курящего 25-летнего мужчины с высоким кровяным давлением, индексом массы тела, равным 26, и хронической астмой, эквивалентного тяжелобольной 25-летней женщине с точно такими же данными. Хуже того, несомненно, будут появляться все новые и новые факторы, о которых мы даже и не думали.

Чтобы преодолеть эту проблему, людей случайным образом распределяют по двум группам – отсюда и название: рандомизированные контролируемые исследования (РКИ). Таким образом можно свести вероятность дисбаланса, которого мы хотим избежать, до минимального уровня. Помните теоретическое обоснование для случайной выборки, которое мы рассматривали, когда изучали опросы? Точно такой же принцип действует и здесь, разница лишь в том, что теперь мы назначаем пациентам лечение, а не выбираем людей для опроса.

В наиболее простом варианте такого исследования сравнивают две группы людей. Иногда его еще называют A/Б-исследованием или исследованием типа «победитель/претендент», в котором новый метод лечения (претендент) сравнивается со стандартным методом (победитель). Такая структура широко используется, например, в медицине, веб-экспериментах и на производстве. Преимуществом подобных исследований является возможность сравнить результат с тем, что произошло бы при других условиях. Это позволяет избежать контрфактуальных темных данных.

Контролировать темные данные таким способом люди научились уже довольно давно. В качестве примера авторитетного РКИ прошлого века можно привести исследование лечения туберкулеза стрептомицином, проводившееся в 1948 г. Вот что сказал о нем британский историк здравоохранения сэр Иэн Чалмерс: «Подробный и исключительно четкий отчет о рандомизированном исследовании применения стрептомицина при лечении туберкулеза легких, проведенном Британским медицинским научным советом в 1948 г., по праву считается вехой в истории клинических испытаний»[29].

Однако, как это часто бывает, идеи этого метода или по крайней мере его корни, прослеживаются и дальше вглубь времен. Наиболее раннее описание рандомизации распределения групп мы находим у фламандского врача Жана-Батиста Ван Гельмонта, который в 1648 г. предложил для оценки эффективности кровопусканий и больших доз слабительного следующее: «Давайте наберем по больницам… 200 или 500 несчастных с лихорадкой и воспалением плевры. Давайте поделим их пополам и бросим жребий, чтобы одна их половина выпала на мою долю, а другая на вашу. Я вылечу своих без кровопусканий и опорожняя в разумных пределах; а вы делайте как сами знаете… Посмотрим, сколько будет похорон у каждого»[30]. В те времена в английском для обозначения жребия использовалось слово «lot», и это его значение сохранилось до наших дней в слове «лотерея».

Пока все выглядит неплохо. В отличие от двух других методов сбора данных, где просто собирают данные, ни во что не вмешиваясь (данные наблюдений), этот новый подход предполагает управление тем, кто какое лечение будет проходить. И все было бы замечательно, если бы пациенты придерживались протоколов лечения, принимая лекарства строго по графику вплоть до самого конца исследования. Но, к сожалению, темные данные часто встречаются и в такого рода исследованиях, проникая в них в форме выбывших.

Выбывшие – это те, кто выбыл из исследования по тем или иным причинам. К ним относятся смерть пациента, негативные побочные эффекты лечения, переезд, исчезновение мотивации на фоне отсутствия улучшений и пр. Проблема здесь кроется в том, что измерения проводятся в течение какого-то времени или по истечении определенных периодов и существует риск того, что темные данные по-разному скажутся на разных группах испытуемых. Эти данные классифицируются как DD-тип 7: данные, меняющиеся со временем, и DD-тип 1: данные, о которых мы знаем, что они отсутствуют.