Можно еще больше увеличить статистическую мощность, используя «внутреннюю перестановку», например, изменяя расположение товаров в одном и том же магазине. С помощью этого эксперимента можно исследовать различия, которые имеются между разными магазинами. Типичный пример внутренней перестановки представляет собой сравнение ситуации до и после. Если ювелирные изделия выложены на переднюю витрину магазина, а белье расположено в конце, как это отразится на продажах? А что если вы разместите товары наоборот? Сплит-тесты с результатами «до и после» гораздо более чувствительны, чем обычные сплит-тесты, потому что, используя их, вы можете сравнить результаты в том и другом случае. Это позволяет сравнить продажи в конкретном магазине до эксперимента с продажами после эксперимента. Затем вы смотрите на значение, которое охватывает все аспекты, которые могут отличаться в зависимости от расположения товаров и типа покупателей в магазине: размер и привлекательность магазина, предпочтения местных покупателей и прочее. Такие отличия называются дисперсией ошибок, потому что они отражают разницу между магазинами или между людьми, которые не имеют ничего общего с экспериментом: полученные значения могут быть высокими или низкими в зависимости от таких причин, которые никак не связаны с вопросом, на который должен был ответить сплит-тест. Вы скорее узнаете, реальна ли разница между продажами в условиях А и продажами в условиях Б, когда снизите дисперсию ошибок, получив результат «до и после» для каждого случая.

Помните, что при использовании схемы «до и после» следует уравновешивать порядок применяемых методов. Иными словами, одни случаи нужно сначала поставить в экспериментальные условия, а другие — сначала в контрольные условия. Иначе эффект применяемого метода и эффект порядка событий смешаются и то, что, по вашему мнению, будет эффектом применения метода, на самом деле может быть всего лишь эффектом порядка событий или просто временным эффектом.

Некоторые эксперименты «до и после» происходят случайно и дают непрогнозируемые, но полезные результаты. Мой любимый подобный случай произошел в магазине подарков в одном из юго-западных штатов[125]. Ювелирные изделия из бирюзы продавались очень плохо, и как-то раз хозяин магазина, уезжая по делам на несколько дней, решил выставить бирюзу на распродажу и оставил продавцу-консультанту записку, в которой говорилось «распродать всю бирюзу по цене X 1/2». Когда владелец вернулся, почти вся бирюза была распродана. Он, конечно, обрадовался, но вообразите себе его изумление и радость, когда продавец сообщил ему, что бирюза продавалась лучше по цене в два раза выше изначальной! Продавец неправильно понял записку владельца и решил, что цену нужно умножить на два, а не разделить.

Как правило, цена является достаточно хорошим показателем эвристической ценности товара, поэтому покупатели воспринимают высокую цену на ювелирные изделия как знак качества. Разумеется, это работает не для всех видов товаров, но для бирюзы цена продаж — важный индикатор ценности, потому что мало кто из покупателей может оценить реальное качество этого минерала.

Статистическая мощность схемы «до и после» означает, что мы можем проводить эксперименты над самими собой. У вас бывает изжога, но вы не знаете точно почему? Записывайте, что вы едите и пьете каждый день, уделяя особое внимание возможным причинам проблемы, таким как алкоголь, кофе, газированные напитки и шоколад. Затем проведите настоящее рандомизированное испытание — подбрасывайте монетку, решая, выпить ли сегодня коктейль. Каждый раз меняйте что-нибудь одно, чтобы избежать искажающих факторов. Если вы одновременно перестанете есть шоколад и пить газировку, и при этом изжога исчезнет, вы не узнаете, что же ее вызывало — газировка или шоколад. В главе 12, посвященной словесной передаче опыта, наряду с более научными методами также рассматриваются различные варианты проведения экспериментов над собой.

Статистическая зависимость и независимость

Если количество случаев велико и они распределены по группам с разными условиями эксперимента в случайном порядке, наша уверенность в том, что исследуемый эффект реален, повышается. Но есть еще один чрезвычайно важный фактор, который следует тщательно прояснить, — что следует считать одним случаем? Предположим, вы попробовали метод А в группе 1, состоящей из 30 студентов. Это стандартный способ преподавания: лекции в аудитории и домашнее задание дома. Вы также пробуете применять метод Б в группе 2 с 25 студентами: он состоит в том, что студенты смотрят дома видеозаписи лекций, а «домашнее задание» делают вместе с преподавателем в аудитории. Каково общее количество случаев (N) в данном примере? Увы, не 55, что было бы удобно для того, чтобы показать значимое различие в результатах, если оно есть.

Количество случаев N здесь равно 2. Число N равно числу случаев только при условии независимости наблюдений. Но когда речь идет об аудитории, полной студентов, или о группе людей, которые взаимодействуют друг с другом в период проведения эксперимента и измерения его эффективности, поведение каждого не является независимым от другого. Если кому-то что-то непонятно, это может привести в замешательство других; если кто-то всю лекцию веселится и отпускает шуточки, это может негативно сказаться на результатах остальных студентов. Поведение каждого индивида потенциально зависимо от поведения каждого другого индивида. В таких ситуациях можно провести тест для оценки достоверности, только если достаточно велико количество групп, и тогда число N будет количеством групп, а не количеством индивидов.

Если вы не умеете проводить статистические тесты, вас неизбежно ждет неопределенность по поводу того, каков же истинный эффект применения различных методик. Тем не менее лучше в следующий раз просто применить тот метод, который показал себя лучше, чем полагаться только на свои предположения.

Концепция независимости наблюдений чрезвычайно важна для понимания бесконечного количества событий. Трудно поверить, но в 2008 г. такие рейтинговые агентства, как Standard & Poor (S&P), использовали прогнозирующие модели возможных банкротств на рынке ипотечного кредитования, в которых предполагалось, что банкротства по ипотеке независимы друг от друга[126]. Считалось, что банкротство Джо Докса из штата Айова никак не влияет на вероятность банкротства Джейн Доу из штата Колорадо. В таком подходе есть некоторый смысл в стабильные времена. Но в других обстоятельствах, и уж тем более в период быстрого роста цен на жилье, нельзя исключить, что вы окажетесь внутри ипотечного пузыря. В этом случае вероятность банкротства по ипотеке 20031А статистически зависит от того, обанкротилась ли ипотека 90014С.

Рейтинговые агентства никогда не были и не являются незаинтересованными сторонами. За их работу им платят банки, и услуги рейтинговой компании пользуются большим спросом, если компания привычно составляет рейтинг безопасного вложения средств. Так что происходило ли это из-за того, что рейтинговые компании были поразительно некомпетентны в прогнозировании банкротств или же попросту занимались мошенничеством, я знать не могу. В любом случае полученный урок ясен: ошибочная научная методология может привести к катастрофическим последствиям.