Человек крепок задним умом. Оглядываясь назад, всегда можно найти новое объяснение случившемуся. Поэтому проспективные исследования сначала выдвигают тезис, например: «Люди, принимающие витамин С, реже простужаются».

Противоположность проспективности – ретроспективность. Это когда у людей, с простудами и без, спрашивают, принимали ли они витамин С. Ретроспективные исследования намного менее точные, но их можно провести быстрее.

Чтобы получить точные результаты, нужно вести очень долгое наблюдение. Но у кого есть лишнее время? Когда фирмы тестируют препарат, они хотят быстро получить положительный ответ и начать продажи. Редкие побочные явления можно обнаружить лишь тогда, когда новым лекарством пролечилось очень много людей. Поэтому «старые» лекарства зачастую надежнее новых. В исследованиях, за редким исключением, участвуют только молодые мужчины – фармацевты боятся негативного воздействия на беременных. А в реальной жизни препарат принимают и пожилые люди, и, конечно же, женщины.

Разделение по случайному принципу хорошо защищает от систематических ошибок. Участники групп должны быть непохожи друг на друга, или, как говорят жители Кёльна: «Каждый безумец безумен по-своему». Предположим, вы наплевали на случайное разделение и взяли первых заявившихся на исследование участников в первую группу, а всех последующих во вторую. Тогда все безумцы, заявившиеся в последнюю минуту, попадут во вторую группу. Их состав крови, наверное, отличается от крови первой группы. Полученный результат точно сведет вас с ума, потому что различия между двумя группами не имеют никакого значения, а различия между двумя участниками – имеют. Лучше всего «взять с собой в лодку» совпадение, неистово перемешав людей из обеих групп, чтобы в каждой группе оказалось одинаковое количество безумцев.

Почему контрольная группа так важна? В нашем примере с хлопающим мужчиной могло случиться так, что слоны ушли просто от скуки, а не из-за шума. Многие заболевания тоже исчезают сами собой. Если в группе, которую лечили настоящим препаратом, и в контрольной группе выздоровело одинаковое количество людей, можно сделать вывод, что препарат нисколько не ускорил исцеление. А поскольку мы уже знаем, что один только ритуал принятия лекарства оказывает определенный эффект, то контрольной группе назначают плацебо, таблетку, которая аналогична настоящей на вид и на вкус, но не содержит действующего вещества.

От учителей мы знаем, что классные работы часто оцениваются по-разному, в зависимости от инициалов, написанных на обороте листа. И не имеет значения, что результаты объективно идентичны. Ожидание меняет их. Врач, убежденный в силе своего лекарства, будет уговаривать пациента сказать, что тот чувствует себя лучше. А пациент, который знает, что принимает только плацебо, будет меньше верить в свое выздоровление.

Чтобы ни врач, ни пациент не исказили результат, исследование делают «слепым» – коробочку с лекарством для пациентов X и Y определяют жеребьевкой. Только после того, как все наблюдения завершены, исследователи расшифровывают, какой пациент принимал настоящее лекарство, а какой плацебо.

Вы можете очень просто увидеть эффект «ослепления» – с пепси и кока-колой. Кока-кола потому так популярна, что большинство людей верят, что она им больше нравится на вкус – они уверены, что чувствуют разницу. Возьмите десять бумажных стаканчиков, напишите внизу номер. В стаканчиках с четными номерами пусть будет кока-кола, с нечетными – пепси. Перемешайте стаканчики, чтобы никто не знал, что где находится. А затем проверьте, что и кому больше понравится и много ли людей угадает марку. Кстати, будет еще интереснее, если налить пепси в бутылку из-под кока-колы и разлить ее у всех на глазах. Думаю, вы уже заметили, как много усилий нужно приложить, чтобы наши ожидания не оказали существенного влияния на результат эксперимента.

Ценность результатов исследования для отдельной жизни и отдельных заболеваний зависит от того, кого мы исследуем и как сформирована группа. Когда вы читаете о большом прорыве в лечении болезни Альцгеймера, то поищите, не написано ли там мелким шрифтом, на ком тестировался препарат: на людях, мышах или вообще на клетках в пробирке. В психологии большинство экспериментов проводится на студентах, которые иначе просто болтаются без дела. Тот факт, что их поведение нерепрезентативно для общества в целом, часто забывают упомянуть.

При телефонных опросах номера случайным образом выбирают из телефонной книги. Если вашего номера там нет, то вам не позвонят. Если исследование не включает какие-то группы населения, это искажает результат. Опрос трех подруг о работе буфета менее убедителен, чем исследование при участии многих тысяч человек. Поэтому следующий критерий – это величина опрошенной группы.

Обратите внимание на число участников исследования: чем больше людей, тем больше уверенности в верности результата. Почти все чудодейственные средства ссылаются на очень впечатляющие и, как правило, плохо задокументированные случаи. Как в любых хороших историях, в них все приукрашено и преувеличено. Предположим, вы хотите выяснить, помогает ли витамин С не заболеть простудой. Вы принимаете витамин С в течение недели и не заболеваете. Что это доказывает? Ничего.

Если тысяча человек в течение года принимает витамин С, а другая тысяча человек принимает витамин П – то есть плацебо – вот тогда результат может считаться релевантным. Интересно было бы взять еще тысячу человек, которые вообще ничего не принимали, потому что вероятно, что самоисцеляющие силы нашего организма активирует сам факт приема «препарата».

И еще одна маленькая подсказка: в надписи мелким шрифтом вы можете разглядеть конфликт интересов. Когда производители сухих завтраков делают заказ на исследование, призванное доказать пользу этого завтрака, не удивляйтесь положительному результату. Если французские исследователи из провинции Бордо откроют, что красное вино защищает артерии лучше, чем пиво, – кого это удивит? Многие «нежелательные» результаты исследований просто не разглашаются – как ни крути, при всех требованиях, предъявляемых к науке, она все же искажается под давлением коммерческих или общественных интересов.

Большую часть исследований лекарств заказывают производители. Вот почему врачи требуют проводить больше независимых исследований по существенным вопросам лекарственного обеспечения. Также имеет смысл повторять исследования в других лабораториях, потому что зачастую позитивные результаты являются невоспроизводимыми – даже если точно следовать протоколу, они оказываются уже не такими хорошими, как в первый раз. Но кому интересно быть вторым? Призы и публикации всегда достаются только первым, независимо от того, что они открыли и насколько это соответствует истине. Нужно иметь много времени и денег, чтобы перепроверять за другими, и это, конечно, менее геройская миссия. Есть и другая возможность: мультицентрические исследования. Это когда ученые проверяют свои гипотезы параллельно в разных местах и автоматически собирают намного больше результатов и исключают больше погрешностей, чем при исследованиях в какой-то одной лаборатории.