Идея 1: изменение текста в заголовке.

Идея 2: перемещение кнопки влево.

Идея 3: изменение фонового цвета.

Вы можете получить много конверсий с этими тремя элементами. Но тестировали ли их все одновременно? Что если две идеи работают, а одна нет? Как вы узнаете, какая не работает? Если вы поместили все новые идеи на одну страницу и провели A/B-тестирование на сравнение со старой версией страницы, как определите, что происходит? Если тестирование будет неудовлетворительным, то как вы узнаете, почему? Если результат будет положительным, вы также не узнаете, почему. Если две идеи хороши, а одна неудачна, то подавляют ли они друг друга? Уменьшат ли они ваш коэффициент конверсии?

Чтобы создать комбинированный тест, необходимо выделить различные идеи в комбинированные группы, например группы первичного заголовка, кнопки и фона — обозначим их A, C и E. Затем нужно присвоить имена новому заголовку, кнопке и фону — B, D и F. Теперь можно объединить их в пары. Таблица комбинирования может выглядеть следующим образом:

A C E B C E

A C F B C F

A D E B D E

A D F и т. д.

Как видите, это сбивает с толку. Здесь есть над чем подумать. К счастью, существует программа, которая все может решить за вас.

Как и когда использовать комбинированное тестирование

У многомерного комбинированного тестирования есть значительный недостаток. Для этого теста необходимо огромное количество трафика, иначе проверка займет много времени. Если у вас большая компания или более тысячи посещений сайта в день, то несложно получить необходимое количество людей для построения статистической значимости и достоверности результатов. Но что делать, если всего сто посетителей в день и вы рассматриваете девять или более вариантов теста? Помните, что трафик равномерно распределяется между всеми вариантами страницы. Разделение этой сотни людей на восемь вариантов означает, что для построения статистической достоверности вам потребуется намного больше времени. Другими словами, придется долго определять победителя, потому что в день только около девяти человек будут посещать каждую версию страницы. И у этих девяти, возможно, окажется плохой день. Чтобы определить действительно выигрышную комбинацию, понадобится большое количество данных. И если на вашем сайте нет постоянного трафика, можете ждать результатов комбинированного тестирования много недель или месяцев. Конечно, есть шанс немного сократить время, исключив однотипные или наименее выигрышные комбинации — то есть сузив выбор. Как правило, комбинированное тестирование больше всего подходит компаниям или сайтам с приличным количеством трафика. В ином случае желательно прибегнуть к улучшению маленьких участков, применяя A/B-сплит-тест.

В итоге: если у вас много трафика — используйте комбинированное тестирование, с его помощью вы определите наилучшую комбинацию элементов для улучшения конверсий. Также вы получите большую достоверность, потому что если проводить тест достаточно долго, сможете увидеть кривую комбинаций: от верхних, которые работают лучше всего, до тех, которые работают очень плохо или вообще не работают. Когда все результаты собраны, кривая будет явно просматриваться. Рис. 4.4, 4.5 и 4.6 показывают различные ее виды. Сперва рисунок иллюстрирует спорные результаты, но в конце концов выявляется победитель.

Рис. 4.4. В этой программе сплит-тестирования вы можете отслеживать различные типы диаграмм, чтобы прийти к выводу: кривая распределяется равномерно

Рис. 4.5. Две эти диаграммы отображены также на рис. 4.4

Рис. 4.6. Эта диаграмма показывает, что сплит-тестирование началось нечетко, но затем линии отделились друг от друга и определился победитель, так как была получена статистическая достоверность

Многоразмерное тестирование

Другой тип многомерного тестирования применяет похожие стратегии, основанные на методе Тагучи. Я называю их методами многоразмерного тестирования, потому что у них есть дополнительный уровень сложности.

Они используются для получения статистической достоверности тестирования и того уровня надежности, который вам нужен. Эти методы позволяют протестировать большое количество вариантов без обязательного наличия большого трафика. К сожалению, мои любимые инструменты сплит-тестирования пока не применяют эти развитые концепции. В «Лаборатории опытов» я более подробно затрону эту тему, исследуя некоторые варианты использования концепции наряду с ее разрушением. Понимание A/B-, A/B/n- и многомерного комбинированного тестирования поможет в изучении многоразмерного тестирования.

Лучшие современные инструменты тестирования

Секрет хорошего сплит-теста — в программном обеспечении. Вам нужно что-нибудь надежное и простое в использовании, обеспечивающее точные и легкие в понимании данные. Хотя существует великое множество сплит-тестовых программ, у меня есть несколько предпочтений, которые мы сейчас и обсудим.

Google Analytics Content Experiments

В течение многих лет одним из наиболее распространенных инструментов сплит-тестирования был «Оптимизатор сайтов Google» (Google Website Optimizer), который с тех пор включен в Google Analytics. Теперь это называется Google Analytics Content Experiments. Причина популярности этого программного обеспечения в том, что Google Analytics — широко используемый продукт, более того — бесплатный. Когда вы объединяете возможности сплит-тестирования с данными в Google Analytics, вам становятся доступны решения всей хост-системы, которые можно изменять и использовать для улучшения коэффициентов конверсии. Лично мне Content Experiments не очень нравится, потому что она довольно новая, но это отличное место старта, если вы работаете с бесплатным программным обеспечением. Я очень надеюсь, что в будущем эта программа предложит больше инструментов. Зная Google, скажу — это возможно. Рис. 4.7 иллюстрирует пример, как будет выглядеть отчет Google Analytics Content Experiments на экране.