К примеру, мы проводим рандомизацию людей по различным видам офисных кресел, чтобы выяснить, действительно ли сидение на физиомячах[295] помогает сбросить вес по сравнению с обычными креслами. В этом эксперименте физиомячи приводят к статистически значимой потере веса за шесть месяцев; но, если испробовать их на другой группе людей, эффект окажется нулевым. Такое может случиться, если люди из первой выборки решат, что сидеть на мячах неудобно, или будут с них постоянно падать, поэтому им придется либо стоять, либо прохаживаться в течение дня гораздо чаще. А люди из второй выборки будут использовать мячи как кресла, то есть сидеть на месте. Реальное вмешательство – это нечто (а не мяч), побуждающее людей чаще вставать, хотя в рамках эксперимента его выявить нельзя.

Точно так же метод реализации вмешательства в контролируемых условиях может не отражать реальности. Некоторые лекарства необходимо принимать каждый день в одно и то же время, и в реальных условиях их эффективность может оказаться ниже, чем в условиях эксперимента, если пациенты – участники исследования с большей вероятностью склонны следовать инструкциям.

На способ использования результатов исследования влияет множество других факторов, к примеру длительность периода отслеживания. Если в выборочном эксперименте по тестированию нового метода лечения пациенты наблюдаются непродолжительное время, стоит задуматься, будет ли терапия такой же эффективной в долгосрочном масштабе и не вызовет ли побочных действий, которые проявятся через несколько лет. Период исследования также влияет на внутреннюю валидность. Если в рамках тестирования влияния сообщений, напоминающих о необходимости принять препарат, на повышение приверженности к лечению пациенты отслеживаются только три дня, это не будет убедительным доказательством того, что СМС в целом повышают дисциплину заболевших на долгое время, поскольку энтузиазм в отношении новых вмешательств со временем сходит на нет. Но из-за затратности часто возникает компромисс между продолжительностью отслеживания и размерами выборки.

Были разработаны чек-листы и инструкции для оценки результатов и определения данных, которые необходимо включить в материалы исследования[296]. Но главное, что необходимо оценивать и внутреннюю, и внешнюю валидность эксперимента. Важность каждого из этих факторов зависит от наших целей. Некоторые исследования с низкой внутренней валидностью можно усилить за счет высокой внешней валидности (что лучше соответствует конкретной выборке участников)[297]. Необходимо дать ответы на следующие ключевые вопросы: «Кто стал объектом изучения? Как проводился отбор? Где выполнялось исследование? Какова длительность отслеживания результатов? Кто входил в контрольную группу? Какой слепой метод использовался?»

Часто нам нужно не определить лучшее лекарство или диетические рекомендации для определенной группы населения, а принять определенное решение для самих себя.

Какой препарат лучше снимет мою головную боль? Что поможет мне быстрее прийти в себя после долгой пробежки, ледяная ванна или горячий душ? Сколько мне нужно выпить кофе утром?

Но даже к этим вопросам мы, как правило, не подходим систематически. Наш процесс решения, скажем, относительно выбора лекарства от аллергии больше напоминает метод проб и ошибок.

Сначала вы, возможно, идете к врачу, который прописывает некое лекарство. Попринимав его некоторое время, вы замечаете, что оно вызывает дискомфорт в желудке, поэтому снова идете к врачу. Возможно, он изменяет дозировку, но возвращаются аллергические симптомы, и вы идете в больницу еще раз и спрашиваете, нет ли другого средства. Принимаете следующий препарат в течение предписанного срока или прекращаете прием раньше, потому что почувствовали себя лучше. Когда вы приходите ко врачу в очередной раз, он спрашивает, как подействовало лекарство; жалоб у вас нет, и вы отвечаете, что оно подействовало хорошо.

Значит ли это, что следовало с самого начала принимать второй препарат?

По сути, именно с подобной проблемой мы столкнулись в примере с удобрениями в начале этой главы. Такого рода несистематическое последовательное испытание двух лекарств не только не дает знания о том, какое из них лучше, но даже не сообщает, какое эффективнее конкретно для вас. Имея дело только с одним человеком, мы не способны провести рандомизацию между теми, кто получает экспериментальное или контрольное лечение.

Вместо рандомизации пациентов эксперимент с одним участником (который так и называется – исследование с участием одного пациента) рандомизирует последовательность воздействий[298]. Тест с удобрениями оказался особенно слабым, поскольку мы изучали только одну последовательность (А-B), не зная, действовало ли А, когда мы рассматривали действие B, или же тест B проходил в более благоприятных условиях.

Единичная проверка каждого воздействия не обеспечивает строгих результатов, поэтому в целом необходимо несколько итераций. Правда, определить порядок вмешательств довольно сложно. Может показаться, что стоит просто повторить последовательность А-B и получить больше данных, например А-B-А-B. Хотя теперь у нас удвоенные сведения по каждому вмешательству, B всегда следует после А. Если показатель результата со временем медленно улучшается, то, даже если воздействия эквивалентны, B всегда будет в выигрыше, поскольку оценивается позже А. При слепом эксперименте это простое чередование может привести к тому, что человек просто угадает, какое воздействие применялось.

Теоретически возможно выбирать наугад между двумя воздействиями для каждого временного интервала, но эта стратегия не без недостатков. Нельзя гарантировать, что каждое воздействие будет применяться одинаковое количество раз или что они равномерно распределятся, так что может образоваться последовательность, когда за всеми А будут следовать все B. Помимо смещения результатов, эксперимент окажется уязвим, если его остановить преждевременно, до того как будет реализована последовательность B. Вместо этого можно рандомизировать каждую пару, тогда выбор первого вмешательства будет означать, что B будет следующим. Это по-прежнему может сгенерировать знакопеременную последовательность, когда любая опция будет заключаться в том, чтобы сбалансировать каждую пару А-B последующей B-А. В итоге для первой пары выбирается А-B или B-А, а пара, которую не выбрали, будет следующей. Итак, одна возможная последовательность – это B-A-A-B-A-B-B-A. Возвращаясь к разговору о нестационарности (глава 4), скажем: идея в том, чтобы попытаться снизить воздействие временных трендов, а также результатов последовательности вмешательств.