Но очень скоро все учатся делать это. Сначала процесс происходит рывками. Разработчики могут завершить большой этап работы, а затем провести обширное тестирование и проверку. Изыскивая способы повысить производительность, они начинают понимать: если подумать о проверке с самого начала, то снизится общая производительность команды.

Например, стоит ли создавать новую опцию, которая не является объектом эксперимента по сплит-тестированию? Это может сэкономить немного времени, но позже, во время фазы проверки, потребуется больше времени на тестирование. Та же логика относится к истории, которой разработчик не понимает. По старой системе он просто создавал ее и лишь потом понимал, зачем она нужна. При новой системе становится очевидно, что такое поведение непродуктивно: как можно проверить историю, не имея ясной гипотезы? В IMVU мы тоже с этим сталкивались. Я как-то наблюдал, как разработчик убеждал провести тестирование идеи своего шефа, который хотел внести в продукт какое-то незначительное изменение. Разработчик настаивал на том, что новую опцию нужно подвергнуть сплит-тестированию, как и все остальные. Коллеги его поддержали: казалось совершенно очевидным, что нужно проверять все опции, независимо от того, кто поручил команде их разработку. (Должен признаться, слишком часто этим самым «шефом» был я сам.)

Точный процесс создает основу для здоровой культуры, где идеи оцениваются по их качествам, а не по должности их автора. Но самое главное, что команды, работающие по такой системе, начинают оценивать свою производительность по критериям обоснованных знаний, а не по тому, сколько новых опций они создали.

Grockit приняла новые критерии оценки, стала использовать новые методы, и все изменилось. Например, команда решила проверить одну из основных опций, получившую название «ленивая регистрация». Нужно было выяснить, стоит ли эта опция усилий на ее поддержку. Команда была уверена в ней, потому что «ленивая регистрация» считается одним из лучших методов привлечения клиентов для онлайн-сервисов. Клиенту не нужно заранее регистрироваться, чтобы воспользоваться сервисом. Он просто начинает им пользоваться, и его просят зарегистрироваться только после того, как он получит представление о преимуществах сервиса.

Для студента «ленивая регистрация» работает так: вы заходите на сайт Grockit и сразу включаетесь в сеанс обучения вместе с другими студентами, работающими над тем же самым тестом. При этом не нужно сообщать свое имя, адрес электронной почты или номер кредитной карточки. Ничто не мешает вам тут же начать обучение.

Для Grockit было очень важно протестировать одно из своих основных предположений: клиенты готовы принять новый метод обучения только в том случае, если сразу же убедятся в его эффективности. Для этого на сайте компании нужно было разделить три класса пользователей: незарегистрированные гости, зарегистрированные гости и клиенты, которые заплатили за премиальную версию продукта. Для такого разделения требовалось приложить дополнительные усилия: ведь чем больше классов пользователей, тем больше нужно опций, чтобы их отслеживать, и тем больше нужно маркетинговых инструментов, чтобы побуждать клиентов перейти в следующий класс. Grockit прилагала все эти усилия, потому что «ленивая регистрация» считалась одной из лучших практик в отрасли.

Я порекомендовал команде провести простое сплит-тестирование. Она выделила одну группу пользователей, от которой требовалась немедленная регистрация, но при этом пользователи могли только ознакомиться с рекламными материалами. Как ни странно, поведение этой группы было точно таким же, как и поведение той, которой предлагали «ленивую регистрацию»: тот же самый уровень регистрации, активации и последующего удержания. Иначе говоря, дополнительные усилия на поддержку «ленивой регистрации» были пустой тратой времени и сил, несмотря на то, что она считалась передовой практикой.

Этот тест позволил сократить затраты и привел к важному открытию: отношение клиентов к Grockit основано вовсе не на опыте использования продукта.

Представьте себе, что это значит. У группы пользователей, от которых требовали зарегистрироваться, прежде чем приступить к сеансу обучения вместе с другими студентами, почти не было информации о продукте — эти пользователи знали лишь то, что было написано на домашней странице сайта Grockit и на странице регистрации. У группы с «ленивой регистрацией», наоборот, было гораздо больше информации о продукте, потому что эти люди уже им пользовались. Тем не менее, несмотря на то, что разные пользователи были по-разному информированы, поведение в обеих группах было одинаковым.

Это показало, что для эффективного привлечения пользователей нужно заняться в первую очередь не новыми опциями, а позиционированием и маркетингом. Это был только первый из множества важных экспериментов, которые провела Grockit. С того времени компания значительно увеличила свою клиентскую базу: сейчас она предлагает подготовку к многочисленным стандартизированным тестам, а также онлайн-уроки математики и курсы английского для учеников 7–12-х классов.

Grockit продолжает оттачивать свои процессы и непрерывно совершенствуется. В ее офисе в Сан-Франциско работают больше 20 сотрудников, и компания по-прежнему следует продуманному и дисциплинированному подходу, который отличал ее с самого начала. Она уже помогла сдать тесты почти миллиону студентов и уверена, что может помочь миллионам других.

Примеры из жизни компании Grockit демонстрируют нам три важных аспекта учета инноваций: действенные показатели, простоту изложения и возможность проверки данных.

Отчет отражает действенные показатели, если он четко демонстрирует причинно-следственные связи. Если это не так, значит, он основан на «показателях тщеславия». Отчеты, которые стала использовать команда Grockit для оценки этапов обучения, очень ясно показывали, что нужно сделать, чтобы получить требуемые результаты.

«Показатели тщеславия», напротив, не могут указать, какие действия нужно предпринимать. Возьмем количество хитов на сайте компании. Скажем, у нас 40 000 хитов в этом месяце — настоящий рекорд. Что нам нужно сделать, чтобы получить больше хитов? Ну, мы не знаем, это зависит от многих факторов. Откуда появляются новые хиты? Благодаря 40 000 новых клиентов или в результате бешеной активности веб-браузера одного парня? Эти хиты — результат новой маркетинговой кампании или пиар-акций? И что такое хит? Считается ли каждая страница в браузере как один хит или встроенные изображения и мультимедийный контент тоже учитываются? Любому, кто хоть раз присутствовал на встрече, где обсуждались параметры показателя, приведенного в отчете, знакомы подобные проблемы.

«Показатели тщеславия» вредны, потому что апеллируют к слабостям человеческого разума. Когда цифры идут вверх, нам кажется, что это результат наших действий, того, чем мы занимались в то время. Именно поэтому так часто можно наблюдать встречи, где маркетологи думают, что показатели улучшаются благодаря новой пиар-акции или маркетинговой кампании, а разработчики считают, что это результат новых опций, которые они создали. Чтобы выяснить, что происходит на самом деле, нужно потратить очень много денег, и поэтому менеджеры просто следуют плану и делают лучшее, что могут, на основании собственных суждений, собственного опыта и коллективного разума всех, кто присутствует на встрече.