Еще один пример, когда больничные исследования дали ложные результаты, – взаимосвязь между курением и остеоартрозом суставов. Как минимум 5 исследований из разных стран пришли к выводу, что курильщики реже страдают заболеваниями суставов, а именно остеоартрозом. Эту новость быстро подхватили фармацевтические компании и научно-исследовательские институты. Конечно, никто не собирался рекомендовать людям курить побольше, но отдельные компоненты никотина и табачного дыма можно было использовать для разработки новых лекарств от остеоартроза.

Неутешительный ответ пришел в 2011 году. По результатам метаанализа 48 исследований с участием более полумиллиона человек, курение снижало риск остеоартроза в среднем на 13 %, однако эффект был статистически значимым только в исследованиях типа «случай – контроль» с участием пациентов, набранных в больницах (35 % снижение риска), но не в исследованиях типа «случай – контроль» с участием пациентов из общего населения, а также в когортных и поперечных [16]. То есть вывод о том, что курение влияет на снижение риска заболеть остеоартрозом, обусловлен ошибкой отбора. Больничные выборки нерепрезентативны, а сравнения между отделениями – опасны. Относитесь внимательно к результатам подобных исследований.

§ 3. Серые кардиналы – вмешивающиеся факторы

3.1 Зефирный тест

Представьте себя маленьким ребенком, которому дядя-профессор протягивает зефирку на тарелочке. Можно съесть зефирку сразу, но если подождете 15 минут – получите вторую и съедите обе.

Смогли бы дождаться второй зефирки или соблазн слишком велик для ребенка? В каком возрасте вообще у детей появляются самоконтроль и способность отложить удовольствие? Чтобы ответить на эти вопросы, профессор Стэнфордского университета Уолтер Мишел в 1960‐х годах провел серию исследований с участием 653 детей в возрасте 4–6 лет, которые сейчас больше известны как «зефирный тест» [18].

Результаты сами по себе не были удивительны. Детям было сложно контролировать себя и не поддаваться искушению. Только треть получила второе лакомство, а большинство сдались меньше чем через минуту. Гораздо интереснее оказались последующие выводы.

Примерно через 10 лет ученые заинтересовались дальнейшим развитием детей, принявших участие в эксперименте [6]. Оказалось, чем дольше дети могли подождать угощение, тем лучше были их результаты в будущем по многим параметрам. Например, в школьном возрасте они лучше себя контролировали в стрессовых ситуациях, были внимательнее к деталям, лучше концентрировались на заданиях, меньше отвлекались и получали хорошие результаты на вступительных экзаменах. На этом исследование не закончилось. Те, кто дошкольниками демонстрировали наибольшую выдержку в ходе «зефирного теста», в возрасте 27–32 лет имели оптимальный индекс массы тела, эффективнее добивались своих целей и лучше справлялись со стрессом. Исследование головного мозга тех, кто в детстве мог подождать, и тех, кто этого делать не мог, показало различия в областях префронтальной коры, отвечающих за склонность к пагубным привычкам и ожирению.

Вывод был очевиден. Умение подождать и отложить сиюминутное удовольствие – залог успешной жизни. Результаты «зефирного теста» до сих пор цитируются психологами и бизнес-коучами. Но мы с вами уже убедились, что не стоит торопиться с выводами на основании одного исследования. Как мы уже говорили в начале главы, воспроизводимость или репликация результатов – важный элемент научного прогресса. При этом важно не только то, что разные ученые приходят к одним и тем же выводам, но и то, что каждое последующее исследование учитывает недостатки предыдущих исследований и приближает нас к истине.

Так, группа ученых из Нью-Йоркского и Калифорнийского университетов в 2018 году решила воспроизвести «зефирный тест», но уже на большей выборке и с учетом дополнительных факторов [7]. Оказалось, что успех в жизни зависит совсем не от способности дождаться второй зефирки. Снова результаты последующих исследований опровергают первые. Чем отличались эти исследования?

Во-первых, размером выборки. В оригинальном исследовании участвовало более 600 детей, что нельзя назвать маленькой выборкой. Но последующие опросы проводились с гораздо меньшим количеством участников, в общей сложности 185 детей, а, например, результаты вступительных экзаменов получили всего для 90 детей. Исследование же 2018 года проанализировало 918 детей, которые прошли «зефирный тест» в возрасте 4‐х с половиной лет и последующие тесты в возрасте 15 лет.

Вторым отличием была репрезентативность выборки, о которой мы уже говорили в этой главе. Исследование Уолтера Мишела проводилось среди детей, посещавших детский сад при Университете Стэнфорда. Конечно, не все родители были профессорами, но все же этнические и культурные характеристики сотрудников крупного университета, особенно в США в 60‐е годы, отличались от среднестатистического населения страны. Семьи, которые приняли участие в более позднем исследовании, были более разнородными, а также набирались в 10 городах в разных частях США. Эта выборка хорошо представляла население страны, где в среднем каждая третья мама не работала, только каждая четвертая имела высшее образование и только две из трех семей были полными.

Кроме того, в исследовании профессора Уолтера Мишела был еще один недостаток. Большая часть результатов была получена с помощью корреляционного анализа. Ранее мы говорили, что корреляция представляет собой особый вид связи между двумя параметрами, при котором увеличение одного параметра связано с увеличением или уменьшением другого. И именно в этом кроется проблема. Сложно представить, что успех в жизни может быть обусловлен одним фактором. Так же как и как и большинство других событий, включая болезни. Поэтому, когда мы изучаем связь между двумя явлениями, не принимая во внимание другие факторы, которые могли на них повлиять, ошибки неизбежны.

3.2 Вместе не значит связаны

Любая взаимосвязь, в том числе корреляция, может быть ошибочной как минимум по двум причинам. Во-первых, научные исследования ошибаются, когда видимая связь между явлениями – это простое совпадение или случайность. Чтобы уменьшить влияние случайности на результаты, нужны достаточное количество наблюдений и репрезентативная выборка. Об этом мы поговорили в начале главы.

Вторая причина ошибочных результатов – влияние факторов, которые не приняли во внимание в исследовании. В таких случаях видимая взаимосвязь между явлениями существует не потому, что одно является причиной, а другое – следствием, а потому, что оба явления – следствие какого-то третьего признака.

В статистике такие признаки, которые связаны с двумя явлениями и, таким образом, приводят к ложной взаимосвязи между ними, называют спутывающей переменной, или конфаундером, от англ. confound – путать, сбивать с толку.

Классический пример – взаимосвязь между продажами мороженого и числом погибших на воде. Чем больше в летний день продается мороженого, тем больше погибает людей. Можно, конечно, подумать, что мороженое является причиной утопления. А если присмотреться, то обязательно обнаружим, что одновременно изменяются два не связанных друг с другом показателя. Нельзя сказать, что