Стандартными отклонениями удобно пользоваться при описании размера эффекта, например, если нужно выяснить, какое влияние на знания учеников оказывает новая методика преподавания. Наиболее часто используемый в статистике индикатор размера эффекта — это так называемый параметр Коэна d, который рассчитывается следующим образом: из среднего значения для группы А вычитается среднее значение для группы В, и разность делится на среднее из стандартных отклонений двух групп (или иногда только на СО для группы А).

Параметр d меньше или равный 0,20 принято считать малым. Это значение эквивалентно изменению показателей экспериментальной группы с 50-й до 60-й процентили. Возможно, такое изменение не покажется вам слишком маленьким, если речь идет о том, чему может научиться ваш ребенок при новой методике (60-я процентиль) по сравнению со старой (50-я процентиль). А захотите ли вы платить за эту новую методику, зависит от того, насколько существенна разница между 50-й и 60-й процентилью. Если при измерении эффективности метода речь идет, к примеру, о том, насколько быстро ребенок научится печатать со скоростью 40 слов в минуту, и разница между 50-й и 60-й процентилью составляет несколько дней, вероятно, вы не захотите платить за это слишком много, равно как и не захотите взваливать эти расходы на систему школьного образования. Если же вы сравниваете эффективность двух методик преподавания математики в старших классах, используя средние показатели по тесту SAT, и одна методика дает средний балл в 500, а другая — в 520, эта разница также будет соответствовать разнице между 50-й и 60-й процентилью (принимая стандартное отклонения в результатах SAT за 100). Наверное, вы будете готовы заплатить за это какое-то количество денег, возможно, даже немалое. И, вероятно, будете довольны, если ваш школьный совет решит потратить небольшую сумму в расчете на каждого ученика, чтобы обеспечить преподавание по более эффективной методике.

Параметр d, равный 0,50 или около того, считается средним. Однако в сфере тестов на IQ и академической успеваемости такой размер эффекта считается просто бомбой! В показателях SAT по математике это разница между результатом в 500 баллов, которого может быть достаточно для поступления в неплохой университет, и в 550 баллов, который может гарантировать поступление в один из лучших университетов. Вы и ваша школа должны быть готовы заплатить немаленькую сумму за внедрение новой методики, которая могла бы поднять результат среднестатистического ребенка с 50-й на 70-ю процентиль (что соответствует разнице в 0,50 СО).

Размер эффекта от 0,70 до 1,00 СО считается большим. Для образования и различий в интеллектуальных способностях целая величина СО — это очень много. Предполагается, что различие в IQ между черными и белыми составляет как раз порядка 1,00 СО. В главе 6 мы уже обсуждали, можно ли считать этот показатель реальной разницей. Если так, то это означает, что средний показатель IQ у чернокожих находится на 16-й процентили распределения показателей IQ у белых. Если какая-либо программа школьного вмешательства позволяет улучшить успеваемость детей по математике с уровня, приблизительно равного 50-й процентили в распределении показателей по стране, до 84-й, ее внедрение целесообразно даже при высоких затратах. Для всей нации в целом повышение конкурентоспособности, к которому может привести такое улучшение показателей, должно дать очень большой экономический эффект.

Коэффициент корреляции — это показатель степени линейной зависимости между двумя переменными. Например, корреляция между показателями IQ и школьными оценками составляет примерно 0,50, то есть зависимость между ними довольно высока. В данном случае стоит ожидать хотя бы средней степени зависимости, так как IQ-тесты были изобретены для того, чтобы предсказывать возможные школьные успехи детей. Коэффициент корреляции может составлять от -1 (полная отрицательная зависимость) до +1 (полная положительная зависимость). Коэффициент корреляции, равный 0, отражает отсутствие всякой связи. Коэффициент корреляции — это еще один способ измерения размера эффекта или, скорее, степени отношения между показателями, где значения ниже 0,30 считаются несущественными, от 0,30 до 0,50 — средними, а выше 0,50 — высокими. Но так же, как и в случае с размером эффекта, важность корреляции оценивается в большей степени не по ее величине, а по переменным, которые рассматриваются в данном случае. Коэффициент корреляции можно перевести и в термины стандартного отклонения. Корреляция между двумя переменными, равная 0,25, означает, что повышение одной переменной на 1 СО приводит к повышению второй на 0,25 СО; корреляция, равная 0,50, — повышение на 0,50 СО. Следовательно, если корреляция между размером класса и показателями успеваемости по стандартизированным тестам составляет -0,25, значит, уменьшение класса на 1 СО должно приводить к улучшению оценок на 0,25 СО (если считать, что между размером класса и успеваемостью действительно существует причинно-следственная связь).

Множественная регрессия — это способ одновременного установления корреляции между несколькими независимыми, или предикторными, переменными и какой-то целевой, или зависимой, переменной. Например, нам может понадобиться сравнить зависимость стоимости жилья от разных переменных. Мы должны измерить площадь жилья, количество комнат, состояние ванной комнаты (например, используя индекс, вычисляемый на основании количества раковин, наличия или отсутствия горячей воды и использования высоко- или низкокачественных материалов), средний доход населения района и состояние дома по оценкам экспертов или потенциальных покупателей. Затем мы устанавливаем корреляцию этих переменных с привлекательностью дома, измеряемой его стоимостью на рынке — с рабочей (выходной) переменной. Определив коэффициент корреляции каждой из переменных с рыночной ценой, вне зависимости от других переменных (приняв их за постоянные), мы можем оценить, насколько каждая из них влияет на итоговую цену. Так, например, при постоянстве прочих значений корреляция между состоянием дома и его рыночной ценой может быть равна 0,25, а между качеством ванной комнаты и ценой дома — 0,10. Но все используемые переменные должны коррелировать друг с другом, при этом в реальной жизни, как правило, одни переменные измеряются более точно, чем другие, некоторые из них зависимы друг от друга, в то время как другие — нет, а на ряд переменных могут оказывать влияние те, которые не были измерены. В результате множественный регрессионный анализ может нас подвести. Подлинная степень влияния состояния дома на его рыночную цену может оказаться существенно выше или ниже 0,25, полученных в результате регрессионного анализа.

Есть бесчисленное количество примеров, когда множественный регрессионный анализ дает одну оценку, а в экспериментах, которые почти всегда предпочтительнее с точки зрения выявления причинно-следственных связей, обнаруживается совсем другое. Например, около 15 лет назад я присутствовал на конференции, организованной Государственным институтом здравоохранения. Целью конференции был обзор исследований по медикаментозным и хирургическим методам лечения закупорки коронарной артерии и достижение консенсуса по вопросу применимости тех и других. Участникам конференции были доступны данные многочисленных дорогостоящих исследований, осуществленных на средства налогоплательщиков. В этих исследованиях использовался большой набор данных, в том числе по историям болезни, возрасту и социально-экономическому положению пациентов, которые подвергались множественному регрессионному анализу, а затем были сделаны выводы об эффективности типов лечения «независимо» от всех других факторов, по которым отличались пациенты. Но поскольку совет, определяющий политику исследований в США (Internal Review Board), требует, чтобы пациентам было разрешено выбирать себе лечение (хотя далеко не очевидно, что это действительно в интересах пациентов), все данные по Соединенным Штатам в результате самоотбора были искажены (см. ниже). Но помимо американских исследований на конференции рассматривались данные двух европейских, основанных на произвольном назначении лечения разным пациентам. И специалисты очень правильно проигнорировали результаты, полученные в США, и сосредоточились на данных, предоставленных европейскими учеными.