Как эту погрешность определить? Вот, например, так: в тесте на общую эрудицию я попросил в одном из заданий назвать нынешнего спикера палаты представителей. Джона Бейнера – правильный в те годы ответ – выбрали 70,6 % испытуемых. На самом же деле нашей задачей было установить, какой процент от всего населения США ответил бы правильно. Наверняка мы этого не знаем, потому что я опросил не каждого жителя страны, а только 445 выбранных наугад людей, участвовавших в сетевом панельном исследовании. Статистика говорит о том, что если в выбранной наугад группе 445 человек, то предел погрешности для 70,6 % равен ± 4,2 %. Следовательно, в масштабах всей страны эта величина, вероятно, оказывается в промежутке 66,4–74,8 %.

Нас также интересуют корреляционные связи – область более зыбкая. Как я уже упоминал, чем лучше испытуемый справлялся с тестом, тем больше, как правило, был у него доход. Это открытие потенциально интересно, но опять же насколько можно быть уверенным, что оно отражает состояние всего населения?

Допустим, я опросил 10 случайных добровольцев, один из которых оказался миллиардером, и притом весьма любознательным. Одно только это укажет на предполагаемую связь между широтой кругозора и уровнем дохода, однако на деле это статистический «шум», который не стоит учитывать.

По этому поводу специалисты по статистике беспокоятся, и довольно сильно. Свои сомнения они выражают через оценку значения p. Говоря простым языком, p-значение – это вероятность того, что получен совершенно случайный результат, а выводы исследования ошибочны. Поскольку нам нужны результаты, соответствующие действительности, а не ошибочные, чем меньше p-значение, тем лучше.

Условно p-значение, не превышающее 0,05 (что соответствует 5 %, или одному из двадцати), считается «статистически значимым». Другими словами, исследователи хотят быть уверенными хотя бы на 95 %, что результат получен не по ошибке. Конечно, вся эта «статистическая значимость» свидетельствует лишь о том, что вероятность, с которой вывод подкрепляется данными, достаточно высокая. Чего-то таинственного в этом 5 %-м пороге нет, да и залогом истинности он быть не может. Тем не менее этот порог важен для публикации в академических журналах. Поскольку существует принцип «публикуйся или умри», скептики утверждают, что достижение порогового p-значения 0,05 похоже на выкидывание игральной кости с 20 гранями: повторяйте эксперимент достаточно долго, и непременно появится что-нибудь, что можно опубликовать. (Подобные действия считаются подтасовкой p-значения.) Журналисты и интервьюеры широко, хотя и не повсеместно, пользуются 0,05 p-значением, когда пишут о результатах проведенного исследования.

Вернемся к тесту на общую эрудицию. P-значение для связи между количеством правильных ответов и размером семейного дохода оказалось равным