Рис. 4.2. Чтобы получить точные результаты сплит-тестирования, необходима статистическая значимость — высококлассное измерение достоверности результатов

Что такое A/B-тестирование

A/B-тестирование означает, что у вас есть два решения: A и B. К примеру, у вас два различных заголовка на главной странице и вы хотите их протестировать, чтобы понять, какой конвертирует лучше. Может показаться глупым называть это A/B- вместо сплит-тестирования, но существуют и более сложные сплит-тесты, которые вы можете использовать. Вскоре мы подойдем к ним.

Как и когда применять A/B-тестирование

Есть несколько путей проведения тестирования A/B на веб-странице.

К примеру, у вас есть две версии страницы на разных адресах URL (например, адреса сайтов типа www.yoursite.com). Вы можете ввести эти адреса в бесплатную тестовую программу, такую как Google Content Experiments. Или использовать платную программу, например Optimizely или Visual Website Optimizer, предоставляющую возможность работать с визуальным редактором. С такой опцией вы сможете вводить адрес URL действующей страницы и вносить изменения напрямую в тестовой программе, используя простую функцию перетаскивания в визуальном редакторе (операция drag-and-drop). Эта опция хороша для небольших изменений.

Для кардинальных преобразований проще размещать страницу на другом адресе URL. Если в компании нет веб-дизайнеров, графический редактор — отличное решение. Не нужно быть специалистом в программных кодах: вы просто вносите небольшие изменения в визуальном редакторе, и программа автоматически печатает их на специальную тестовую страницу. Для маленьких сайтов и компаний это отличное решение, чтобы быстро начать сплит-тестирование.

Возможно, вы удивитесь, насколько большими должны быть тесты. Нужно ли немедленно тестировать маленькую идею, например изменение заголовка или изображение, или же анализировать только крупные изменения, такие как полная реконструкция страницы? Я бы сказал, что все зависит от цели и опыта. Если вы тестируете множество изменений сразу, то можете достичь больших успехов за короткий промежуток времени. Однако сложно сказать, какие именно поправки принесут желаемый эффект. С другой стороны, если вы тестируете одно изменение, то значительный рост может потребовать большего времени. Но так проще понять, какое именно изменение привело к конверсии.

Исходя из опыта, я предпочитаю делать большие и сложные изменения максимально быстро. А прежде чем взять на себя большие риски, я предпочитаю начинать с маленьких поправок, чтобы удостовериться в верности предположений. Если вы новичок, то, возможно, захотите начать с малого и протестировать одно или два изменения за раз. Чем больше у вас трафика и продаж, тем больше маленьких изменений окажут весомый эффект. Обычно с крупными клиентами мы обсуждаем варианты стратегий и вместе решаем, какой курс действий лучше в каждой отдельной ситуации.

Когда необходимо тестировать

A/B-тестирование стоит применять при любых изменениях на сайте, спланированном под конверсию. Одна из самых больших ловушек конверсии срабатывает, когда осуществляется непроверенная, порой фатальная идея. Но я больше сталкиваюсь с неудачной реализацией, чем с плохими идеями. К примеру, у вас появилась мысль изменить сайт, но в новом дизайне сайта кнопка «Заказать сейчас» находится в самом низу страницы. Идея свежего оформления неплохая, но положение кнопки оказывается катастрофическим. И если вы осознали, что это и есть фатальная ошибка, — вы сделали первый шаг к победе. Все становится очевидным после теста.

Одни из самых больших ошибок, которые я когда-либо видел, происходят из-за того, что новый сайт не тестировали на сравнение с прежним. К примеру, мы говорим о существующей мультимиллионной компании. Она действительно намучилась с ребрендингом. Управление провело исследования на удобство использования: в итоге новый сайт выглядит достаточно привлекательным и современным, с массой всяческих ненужных функций, которые только мог придумать дизайнер. С точки зрения наглядности это смотрится великолепно. Но никто не провел сравнительного тестирования старого и нового сайтов. В результате продажи компании резко упали — на 300 % в месяц, а восстановление прежнего уровня заняло много месяцев. Посетители просто не могли найти правильную страницу или нужную информацию, чтобы сделать заказ. Одна эта ошибка обошлась владельцам компании в миллионы долларов упущенной прибыли. Однако все можно было быстро исправить простым A/B-сплит-тестированием. Поэтому поднимите свою правую руку и повторяйте за мной: «Не важно, насколько я умный или стратегически мыслящий, я осознаю, что всегда существует вероятность ухудшения конверсий. Я торжественно клянусь, что серьезно отнесусь к сплит-тестированию моих новых веб-страниц, сравнивая их со старыми версиями, чтобы удостовериться, что я ничего не упустил».

Что такое многомерное тестирование

Тестирование двух версий и более, в противовес простому двойному А/В, называется многомерным тестированием. Технически все сплит-тесты многомерные, потому что «много» означает два или более. Но в мире конверсии мы используем слово многомерное, подразумевая «более двух».

Существует несколько видов многомерного тестирования. Первый мы называем A/B/C/D-тестированием, или A/B/n. A/B/C/D-тестирование — в действительности A/B/n-тест четырех страниц, на каждой проверяется что-то свое. Вы одновременно тестируете все страницы в сравнении с другими. Представим, что у вас есть целевая страница и вы не знаете, как улучшить конверсии. Вы нанимаете четырех дизайнеров, чтобы реконструировать одну и ту же страницу, а затем с помощью тестовой программы просто сравниваете их друг с другом и со старой.

В этом случае вы выполняете A/B/C/D/E-тестирование, не сильно отличающееся от A/B-тестирования, о котором мы говорили ранее. Все просто: существует четыре дополнительные версии страницы. Оригинальная версия — А, известная как контрольная, а B/C/D/E — новые дизайны. Четыре здесь не магическое число. Вы можете протестировать на сравнение любое количество страниц. Это могут быть A/B/C/D/E, A/B/C/D/E/F и т. д. Вы уловили суть. Рис. 4.3 иллюстрирует многомерный тест с четырьмя вариантами и текущей версией страницы в качестве контрольной.

Рис. 4.3. Многомерный тест позволяет проводить сплит-тестирование с большим количеством страниц. «Многомерный» — означает, что вы можете тестировать более двух вариантов

Многомерное комбинированное тестирование

Другой тип многомерного тестирования — именно то, о чем думает большинство, впервые услышав эту фразу. Я называю это многомерным комбинированным тестом. Скажем, у вас есть сайт и вы хотите провести тестирование по пяти различным элементам — основному изображению, заголовку, двум разным местам с мотивировкой действия и сноске боковой панели. Вы можете протестировать каждый из этих элементов по отдельности, используя A/B/n-тестирование, но это только поможет определить, какой лучше. Такой анализ ничего не скажет по поводу комбинаций этих элементов. Многомерный тест позволит тестировать все или некоторые различные варианты в комбинации. Вот, к примеру.