еда превращалась в золото прежде, чем он мог ее съесть. В мире больших данных все, к чему вы прикасаетесь, тоже превращается в золото. Но, как и царю Мидасу, нам нужно быть осторожными с желаниями и силами, которые мы полностью не понимаем.

Большим данным присущи свои ошибки, так называемое проклятие больших чисел.

Например, чем больше данных, тем меньшие различия можно заметить. Даже если различие совсем незначительное. В следующих главах мы еще поговорим о размере эффекта и почему не все результаты можно считать значимыми (о разнице между статистической и клинической значимостью).

Еще одна из причин появления ошибочных результатов в больших выборках – проблема множественных сравнений: если делать что-то достаточное количество раз, можно получить даже редкий результат. Выбросить пять раз подряд монетку вверх орлом – это редкость, но если бросать монетку тысячу или десять тысяч раз, можно получить даже такой редкий результат. Так и в медицинских исследованиях, если сделать сотню или тысячу сравнений исходно сопоставимых показателей, то какие-то обязательно, притом случайно, продемонстрируют наличие существенных различий.

При этом проблема множественных сравнений необязательно присуща только большим выборкам, так как дело не в размере выборки, а в количестве сравнений. Однако обычно электронные базы данных содержат информацию о сотнях наименований болезней, операций и других событий в жизни пациентов, а также их лабораторные анализы, заключения инструментальных методов диагностики, таких как УЗИ и рентген, что может привести к соблазну посмотреть, как связаны множество различных признаков с десятками, а то и сотнями состояний. При наличии достаточного количества данных, терпения и свободы в выборе метода анализа случайное выявление значимых связей неизбежно.

Так произошло с учеными из Университета Южной Калифорнии, которые, как и Салли и Беннетт Шайвиц, изучали работу человеческого мозга. Для этого участникам исследования показывали изображения людей в различных ситуациях – например, в окружении радостных и приветливых людей – или, наоборот, в ситуациях, когда люди настроены явно недоброжелательно, – и просили представить, как бы чувствовал себя человек, оказавшись там. А аппарат функциональной МРТ сканировал активные участки мозга.

Но прежде чем приступить к сканированию участников, ученые должны были протестировать аппарат. Обычно для этого в аппарат помещают мешок с минеральным маслом, который дает хороший контраст, но авторы эксперимента захотели посмотреть на что-то более неоднородное, с разной градацией контраста и разными текстурами. И совершенно случайно выбор пал на семгу, которую они купили в соседнем супермаркете, когда пошли на обед. Для чистоты эксперимента ученые не просто провели рыбе сканирование головного мозга, но и остальные тесты, включая и задания с фотографиями людей. Конечно, рыба не могла дать ответ, но снимки головного мозга показали активные участки, которые менялись от задания к заданию [3]. Но ведь рыба была мертвой?! Почему же мозг продолжал работать?

Чтобы лучше понять, что именно произошло, давайте вспомним, как работает аппарат МРТ и чем отличается аппарат функциональной МРТ, который редко встречается в больницах, но часто используется в научных исследованиях.

Человеческое тело примерно на две трети состоит из воды. Молекула воды состоит из двух атомов водорода и одного атома кислорода. Так вот, ядра атомов водорода при определенных обстоятельствах превращаются в микроскопический компас. А магнитно-резонансный томограф – это, по сути, большой магнит. Под воздействием сильного магнитного поля ядра атомов водорода упорядочиваются, как по команде «смирно!». А после, возвращаясь на прежний энергетический уровень, ядра испускают резонансные волны. Небольшие различия в этих волнах фиксируются аппаратом МРТ и преобразуются в трехмерное изображение исследуемого органа, которое можно посмотреть на экране или распечатать на пленке.

Но если обычный аппарат МРТ показывает нам структуры мозга, то аппарат функциональной МРТ показывает активность участков головного мозга при выполнении различных задач. Для этого, помимо резонансных волн, он фиксирует насыщение крови кислородом в разных областях мозга. Кровь, богатая кислородом с гемоглобином, слабо отталкивается магнитными полями, в то время как кровь, обедненная кислородом, притягивается. А вместе с молекулами гемоглобина, транспортирующими кислород, в головной мозг поступает глюкоза – необходимый источник энергии. Когда область мозга активна, приток крови к ней также увеличивается, что и фиксируется аппаратом функциональной МРТ.

Полученные сигналы потом передаются на компьютер для обработки. Каждый снимок головного мозга содержит около 130 000 сигналов, или, как их еще называют, вокселей, которые являются аналогами двумерных пикселей для трехмерного пространства. Чтобы понять, какой участок мозга «активен», компьютер производит тысячи сравнений каждого вокселя с другими, что неизбежно приводит к проблеме множественных сравнений. Если сделать много тестов, по крайней мере некоторые окажутся положительными по чистой случайности. Среди ученых и медицинских статистиков в ходу пословица: столкнувшись с морем данных, сопротивляйтесь желанию отправиться на рыбалку, подразумевая, что, если пытаться «выловить» какой-то результат, у вас обязательно получится.

Так и у мертвой рыбы увидели активные участки в головном и спинном мозге. Но это не «ответ» мертвого мозга на задания, а случайные и ошибочные сигналы. Чтобы избежать ошибок, связанных с множественными сравнениями, существуют различные методы коррекции и поправок, которые устраняют ложные сигналы.

В 2012 году авторы эксперимента с мертвой рыбой получили Шно́белевскую премию [4]. Это пародия на престижную международную награду – Нобелевскую премию – вручается «за достижения, которые заставляют сначала засмеяться, а потом – задуматься». Как эксперимент с мертвой рыбой при кажущейся несерьезности заставил задуматься ученых о проблеме множественных сравнений. Если до эксперимента с мертвой рыбой от 25 до 40 % опубликованных исследований с использованием функциональной МРТ не делали необходимые поправки [5], то уже через 2 года после показатель упал до 10 % [4]. И за это стоит поблагодарить мертвую рыбу, которую, кстати, ученые съели после эксперимента.

Проблема множественных сравнений встречается не только в исследованиях по изучению мозга. Эта проблема давно знакома генетикам, которые тоже делают сотни и тысячи сравнений, чтобы найти, какой из 12 млн генетических маркеров связан с той или иной болезнью. А также экспертам, изучающим влияние диеты на риск раковых и других заболеваний. В таких исследованиях ученые анализируют как минимум десятки различных продуктов и их компонентов и без должной поправки те или иные продукты периодически винят в развитии рака или, наоборот, находят полезными, хотя и то и другое лишь результат случайности. Подобные ошибки закрадываются и в исследования эффективности спортивных добавок и коктейлей, когда одновременно оценивается эффект по многим показателям – выносливость, скорость, сила, усталость, энергичность и т. д. Вполне вероятно, хотя бы один да окажется положительным.

1.5 Иллюзорные корреляции

В прошлой главе мы говорили о том, что взаимосвязь между двумя событиями может