Выводы

Предположения обычно оказываются неверными. И если даже они верны, глупо просто полагаться на них, когда их легко проверить. Принцип сплит-тестирования понятен даже ребенку: возьмите метод, который вы хотите протестировать, создайте контрольное условие, подбросьте монетку, чтобы выбрать, кто (или что) получит какой именно метод, и наблюдайте, что произойдет. Различие, найденное с помощью рандомизированной схемы, показывает, что какие-то манипуляции с независимой переменной оказывают влияние на зависимую переменную. Различие, найденное с помощью корреляционных методов, не может гарантировать, что независимая переменная действительно оказывает влияние на зависимую переменную.

Корреляционные схемы ненадежны, потому что исследователь не сопоставляет условия и события. Например, много домашней работы или мало, реклама по радио или с помощью рассылок, высокие доходы или низкие. Если вы не назначаете случайным образом условия конкретным случаям — вы получаете все возможные факторы неопределенности. Случаи одного уровня независимой переменной могут отличаться от случаев другого уровня в любом количестве аспектов, часть из них можно идентифицировать, а часть нельзя. Любая из измеряемых или неизмеряемых, или даже воображаемых величин может с большей вероятностью оказывать влияние, чем та независимая величина, которая вас интересует. А может быть и такое, что та величина, которая должна быть зависимой, на самом деле оказывает влияние и вызывает изменения в той величине, которая должна была быть независимой.

Чем больше число представленных случаев — людей, сельскохозяйственных участков и пр., тем больше вероятность, что вы найдете истинный эффект, и тем меньше вероятность, что «обнаружите» эффект, которого там на самом деле нет. Если разница, которую показывает статистический тест любого типа, оказывается такой величины, что она проявляется менее, чем один раз в 20 случайных примерах, мы считаем, что это значимое различие на уровне 0,05. Без подобного теста мы, как правило, не можем узнать наверняка, действительно ли этот эффект имеет место.

Когда вы ставите каждый случай во все группы с различными условиями эксперимента, ваша схема становится более чувствительной. Иными словами, вероятность того, что разница, найденная с помощью внутренней перестановки, будет статистически значима, выше, чем в случае разницы, найденной с помощью сравнения разных объектов, — потому что все возможные различия между любыми двумя случаями полностью контролируются, оставляя в качестве возможного различия, являющегося причиной некой взаимосвязи, исключительно различие, вызванное применением экспериментального метода.

Чрезвычайно важно понимать, могут ли исследуемые случаи (или люди, если вы исследуете их поведение) влиять друг на друга. Если тот или иной случай мог оказать влияние на другие случаи, это значит, что вашему эксперименту недостает статистической независимости. N — число случаев, которые не могут влиять друг на друга. Группа студентов А — это N, равное 1, а не числу студентов. (Здесь могут быть исключения, когда влияние можно считать минимальным, незначительным или отсутствующим, например когда студенты сдают экзамен в специальной аудитории с кабинками, где невозможно разговаривать друг с другом.)

Иммунная система новорожденных еще не окрепла, нужно свести к минимуму их контакт с бактериями и вирусами, которые могут привести к заболеваниям.

Телесюжет CNN от 2 февраля 2011 г.

Дети, которые на раннем этапе жизни контактируют с различными бактериями, впоследствии реже подвержены аллергии.

Новости канадского телеканала CTV от 3 ноября 2011 г.

Со всех сторон — от друзей, коллег и СМИ — на нас сыплются советы о том, как правильно жить и как правильно работать.

Десять лет назад мы узнали, что нужно потреблять как можно меньше жира; теперь нам говорят, что умеренное количество жира в пище полезно для здоровья. В прошлом году говорили, что витамин В6 улучшает настроение и когнитивные функции пожилых людей, в этом году говорят, что он бесполезен для этих целей. А 15 лет назад считалось, что сердечнососудистой системе на пользу стакан красного вина в день; восемь лет назад сообщили, что сгодится любой алкоголь; на прошлой неделе — снова вернулись к красному вину.

Даже если мы готовы «по умолчанию» следовать последним медицинским советам, все равно надо решать, как быть с противоречащими друг другу утверждениями. Стоматолог вашей двоюродной сестры рекомендует чистить зубы нитью дважды в день, а ваш стоматолог говорит, что пользоваться нитью можно время от времени.

В финансовом разделе The New York Times советуют отказаться от акций и покупать облигации. А в статье журналиста The Wall Street Journal говорится, что лучше всего инвестировать в недвижимость и как можно больше средств держать в наличных. Ваш финансовый консультант советует побольше вкладывать в бумаги производителей товаров широкого потребления. А консультант вашего лучшего друга настаивает на том, что лучше всего уйти в иностранные активы.

Ваши друзья Элоиз и Макс озабочены выбором яслей для своего ребенка; они готовы заплатить любую цену, чтобы отдать его в самые лучшие ясли; а Эрл и Майк считают, что их ребенок получает настолько хорошее воспитание и обучение дома, что дополнительная интеллектуальная нагрузка будет излишней, и потому ищут садик, в котором их ребенок будет просто играть с другими детьми.

В этой главе вы найдете советы о том, как правильно анализировать научные данные, сообщаемые средствами массовой информации и вашими знакомыми, и о том, как самостоятельно собирать информацию и давать ей верную оценку. Вы также узнаете о том, к каким печальным последствиям может привести готовность людей слепо доверять советам друзей вместо того, чтобы проверить их истинность экспериментальным путем.

Непрерывность убеждения

Итак, в феврале вы смотрели CNN, и вам сказали, что нужно как можно лучше охранять ребенка от воздействия бактерий. А в ноябре вы посмотрели CTV, и вам сказали, что бактерии полезны для вашего ребенка, потому что они снижают риск аутоиммунных заболеваний, таких как аллергия. И кому вы поверите? Какие вам нужны доказательства для того, чтобы вы предпочли не защищать вашего ребенка от бактерий, и какие доказательства заставили бы вас максимально защищать ребенка от бактерий? Вот несколько естественных (полевых) экспериментов, которые проводятся в условиях обычной жизни и которые, возможно, помогут вам найти ответ на этот вопрос. Естественный эксперимент предполагает сравнение двух (или нескольких) случаев, которые в целом схожи, но отличаются в каком-то аспекте, который связан с интересующей нас результирующей переменной. Никто не может воздействовать на эту переменную; если бы это было возможно, это был бы чистый эксперимент. И все же у нас нет причин предполагать, что случаи отличаются так, что сравнение становится бессмысленным.

Предположим, вы узнали, что жители Восточной Германии реже страдают от аллергии, чем жители Западной Германии.