Погрешность показывает, насколько близки полученные результаты к истинным значениям, а доверительный интервал — это степень уверенности в том, что оценка не выходит за пределы этой погрешности. Например, в стандартном опросе, предполагающем выбор из двух возможностей, случайная выборка из 1067 взрослых американцев даст погрешность в 3 % в любую сторону (напишем ±3 %). Значит, если опрос покажет, что 45 % американцев поддерживают кандидата А, а 47 % — кандидата Б, истинное значение будет приблизительно между 42 и 48 % для А и между 44 и 50 % для Б. Обратите внимание, что получившиеся промежутки пересекаются[65]. Это означает, что разница в 2 % между кандидатом А и кандидатом Б находится в рамках погрешности: мы не можем сказать, что один из них на самом деле опережает другого, и потому сложно пока предсказать исход гонки.

Насколько мы уверены в том, что погрешность равна 3 %, а не больше? Мы находим доверительный интервал. В приведенном мной примере рассматривался интервал с уровнем доверия 95 %. Это означает, что если бы мы проводили голосование сто раз при использовании тех же самых выборочных методов, в 95 случаях из этих 100 полученный интервал содержал бы истинное значение. В 5 случаях из 100 истинное значение выходило бы за полученные рамки[66]. При этом доверительный интервал не говорит нам, насколько сильно оно за них выходит: разница могла бы быть как большой, так и маленькой; для ответа на этот вопрос придется прибегать к другим статистическим методам.

Уровень доверия можно установить такой, какой хочется, но обычно это 95 %. Чтобы сузить доверительный интервал, можно сделать одно из двух: либо при заданном уровне доверия увеличить размер выборки, либо для заданного размера выборки уменьшить уровень доверия. В случае с фиксированным размером выборки изменение уровня доверия с 95 до 99 увеличит размер интервала. В большинстве случаев дополнительные расходы или неудобства того просто не стоят, тем более что уже на следующий день или на следующей неделе под влиянием внешних факторов респонденты могут поменять свое мнение.

Обратите внимание, что для очень больших совокупностей — как, например, население США — нам нужно сделать очень маленькую выборку, меньше 0,0005 %. Но для совокупностей поменьше — например, в случае с корпорацией или школой — доля попавших в выборку должна быть больше. В компании, штат которой составляет 10 000 сотрудников, нам бы пришлось отобрать 964 (почти 10 %), чтобы получить 3 %-ную погрешность с уровнем доверия в 95 %, а в компании, где работает 1000 сотрудников, из них нужно отобрать 600 (60 %).

Допустимая погрешность и доверительный интервал применимы к выборкам любого рода, не только к людям: можно отслеживать количество электромобилей в городе, злокачественных клеток в поджелудочной железе или ртути в рыбе, которую продают в супермаркете. Допустимая погрешность и размер выборки, представленные на графике ниже, указаны для доверительного интервала в 95 %.

В конце книги вы найдете формулу, по которой можно подсчитать погрешность, а кроме того, существует множество онлайн-калькуляторов[67]. Если вы видите, что статистический результат приведен, а погрешность не указана, можете подсчитать ее самостоятельно, просто выяснив количество людей, участвовавших в опросе. Вы увидите: такое случается на каждом шагу, а докладчик или организация, проводившая опрос, не предоставляет эту информацию. Это похоже на график без осей — можно легко обманывать с помощью статистики, просто не сообщая погрешность или доверительный интервал. Вот так, например: мой пес по кличке Шедоу занимает лидирующую позицию на выборах губернатора от штата Миссисипи, у него 76 % голосов. (С не указанной в докладе погрешностью в ±76 %[68]. Голосуйте за Шедоу!!!)

Пытаясь получить случайную выборку, исследователи иногда допускают ошибки в оценке, имеет ли каждый человек или предмет равные шансы попасть в выборку.

В 1936 году во время выборов президента США была допущена вопиющая ошибка. Журнал The Literary Digest проводил опрос, из которого заключил, что на выборах республиканец Альф Лэндон победит тогдашнего президента, члена Демократической партии Рузвельта. The Literary Digest не построил случайную выборку, а опросил тех, кто читал журналы, имел автомобиль или пользовался телефоном. Общепринятое объяснение, процитированное позже во многих научных и популярных статьях, звучало так: в 1936 году такой принцип отбора увеличил долю состоятельных респондентов, а они чаще голосовали за кандидата-республиканца. На самом деле, согласно опросу, проведенному Джорджем Гэллапом в 1937 году, это общепринятое объяснение было неверно — владельцы автомобилей и телефонов гораздо охотнее поддержали бы Рузвельта[69]. Дело в том, что у сторонников Рузвельта просто было меньше шансов принять участие в опросе. Гэллап обнаружил нерепрезентативность выборки, он провел свой собственный опрос, построив случайную выборку, и потому смог верно предсказать результат выборов. Так родилось понятие «опрос Гэллапа». И оно стало золотым стандартом проведения опросов политического мнения до 2012 года, когда произошла ошибка с определением будущего победителя президентских выборов в США. Как было выявлено в ходе расследования, во время формирования выборки были допущены грубые ошибки, по иронии судьбы связанные с опросом пользователей телефонной связи[70].