данных двух исследований, включавших в себя 5807 и 5829 человек. Немало, правда? Однако в течение первых месяцев применения вакцины в разных странах стали появляться доклады о необъяснимых случаях венозных тромбозов – в Австрии, в Германии, в Дании и других. В начале марта вакцинацию Oxford-AstraZeneca в Европе остановили и начали расследование.

Ученые из Дании и Норвегии, проанализировав данные уже 280 000 человек, получивших первую дозу вакцины, насчитали 59 случаев венозного тромбоза в течение первых 28 дней после инъекции [33]. Для сравнения – по средним подсчетам до начала вакцинации от коронавируса такие осложнения встречались только у 30 человек из 280 000. Сравнение с контрольной группой важно, так как позволяет оценить, насколько больше случаев в группе вакцинированных, – а их оказалось в среднем 11 дополнительных случаев на 100 000 населения. Теперь понятно, почему анализ первых испытаний не выявил редкое осложнение, – выборки из 10 000 человек оказалось недостаточно, надо было изучить данные как минимум нескольких сотен тысяч человек.

Наряду с законом больших чисел существует закон малых чисел, который гласит: маленькие выборки чаще больших страдают от выбивающихся, редких значений. В большой выборке экстремальные значения редки и не сильно влияют на среднее значение. Тогда как в маленькой выборке одно экстремальное значение способно сильно исказить результат. Например, если измерите рост не 1000, а 10 мужчин и по совершенной случайности трое из них будут выше 200 см, средний рост в этой группе будет сильно отличаться от среднего роста 1000 мужчин. Потому что даже если среди 1000 окажется несколько лиц выше 200 см, средний показатель не будет сильно отличаться от ожидаемого. Закон малых чисел применим и к исследованию Шайвицев, когда один редкий результат (различие между полами в одной области в одном задании) повлиял на интерпретацию всего исследования.

1.3 Воспроизводимая невоспроизводимость

Возможно ли опросить абсолютно всех интересующих нас людей, чтобы быть на 100 % уверенными в полученных результатах?

Конечно! Например, можем опросить всех учеников в школе или всех работников организации. Но когда исследование проводится в масштабах города или страны, опросить всех жителей – непосильная задача (даже если это перепись населения, от нее кто-то да уклонится). Приходится идти на компромисс и выбирать только часть жителей для участия в исследовании. Для этого еще на этапе планирования ученые рассчитывают, какое количество наблюдений им понадобится и каковы их шансы получить правдивый результат, то есть размер выборки и статистическую мощность исследования.

Статистическая мощность исследования – это вероятность того, что исследование сможет «заметить» существующее различие между группами или взаимосвязь между явлениями.

И желаемая статистическая мощность, на которую ориентируются ученые, обычно колеблется в районе от 80 до 90 %, при этом вероятность получить ошибочный результат соответствует 10–20 %. И это тоже немало. Учитывая, как много исследований публикуется ежегодно, неудивительно, что многие ошибаются.

На деле оказывается, что даже 90 % – это весьма оптимистичная планка. Так, еще в 60‐х годах американский статистик и психолог Джейкоб Коэн утверждал, что статистическая мощность большинства исследований по психологии в среднем равняется 50 % [28]. То есть каждое второе исследование может ошибаться.

«Ну, это ж было очень давно! – скажете вы. – С того времени многое изменилось! Появились мощные компьютеры, электронные базы данных, новые статистические методы…» Все так, но проблема с недостаточной мощностью научных исследований остается актуальной и сейчас.

В 2013 году группа ученых из Университета Бристоля во главе с профессором Маркусом Мунафо подтвердили шокирующие результаты. По их подсчетам, средняя статистическая мощность научных исследований о мозге находится где-то в пределах от 8 до 31 % [27], что привело к «кризису воспроизводимости», когда многие экспериментальные данные не могут быть воспроизведены, а значит, подвергаются сомнению.

Воспроизводимость научных результатов является основополагающим принципом науки. Исследователи, изучающие одинаковые вопросы одинаковыми методами с использованием аналогичных инструментов, должны получать идентичные результаты независимо от времени и места проведения эксперимента.

Однако, согласно опросу 1576 исследователей, проведенному журналом Nature, более 70 % из них не смогли воспроизвести эксперименты другого ученого, а более 50 % не смогли воспроизвести собственные эксперименты [29].

Одна из основных причин кризиса воспроизводимости – это как раз маленькие выборки с недостаточной статистической мощностью. Во-первых, из-за нехватки ресурсов (денег, времени, оборудования, сотрудников) для изучения большего количества людей. Например, даже относительно небольшие исследования с использованием аппарата функциональной МРТ стоят несколько десятков тысяч долларов. Во-вторых, именно с маленьких исследований часто начинается проверка научных гипотез (мы еще вернемся к этому в 9-й главе, когда будем говорить об эволюции научного прогресса). Маленькие выборки – не абсолютное зло, с которым следует бороться, но нужно помнить об их недостатках и не делать поспешные выводы. Об этом следует помнить и читателям медицинских новостей.

Практические рекомендации

Не всем исследованиям можно верить – особенно маленьким. Если размер выборки меньше 100 человек, а тем более меньше 50, есть вероятность, что результаты могут быть ошибочными из-за случайности. В таких случаях важно найти другие исследования, которые могли бы подтвердить или опровергнуть находки на большей выборке.

А если большие выборки лучше и точнее маленьких, может, они решат все проблемы?

1.4 Чем больше, тем лучше?

Сегодня у ученых и врачей есть доступ к огромному массиву данных, так называемым Big Data (с англ. большие данные). С приходом цифровизации многие больницы и поликлиники вместо бумажных карточек стали вести электронные медицинские записи, которые можно объединить в электронные регистры, чтобы регулярно и автоматически собирать информацию об обращениях в поликлинику, госпитализациях, операциях, рождении и смерти. Это так называемые данные реальной клинической практики (ориг. real world evidence). Например, британская база электронных историй болезней CPRD (Clinical Practice Research Datalink) содержит записи более 17 млн человек, обратившихся в государственные поликлиники с 1980‐х годов по сегодняшний день. А база данных страховой компании Medicare в США содержит более 55 млн пациентов старше 65 лет. Также есть большие когортные исследования: Биобанк Великобритании (UK Biobank) или Европейское проспективное исследование связи рака с питанием (EPIC), каждое из которых включает более полумиллиона человек.

Казалось бы, эти большие данные могли решить проблему исследований с недостаточной мощностью и предвзятых маленьких выборок. А может, это звучит слишком хорошо, чтобы быть правдой?

Мне вспоминается легенда о царе Мидасе, в которой греческий бог Дионис в благодарность за заботу о его учителе пообещал царю Мидасу любой дар, какой только захочет. Мидас попросил, чтобы все, к чему он прикасается, превращалось в золото. Сперва довольный своим выбором, уже через несколько мгновений царь Мидас осознал, что навлек на себя проклятие, поскольку