Метод «Pulse Management» предназначен для работы в условиях, когда у нас много целей/проектов/активностей одновременно. В маркетинге у нас именно такая ситуация. Мы лимитированы в числе проводимых маркетинговых активностей разве только что вследствие бюджета, причем отнюдь не вследствие отсутствующих идей. Их оооочень много. Чтобы упорядочить эту деятельность появилась идея внедрить Pulse Management. И тут на стыке формализованного подхода и запуска маркетинговых гипотез роста у нас стали появляться интересные наблюдения.
Одним из которых и хочется поделиться в этой статье. Эта статья – первая статья в серии применения Метода к маркетингу и маркетинговым экспериментам.
И начнем мы с рассмотрения ловушек, которые возникают при проверке маркетинговых гипотез, когда нас засасывает в бесконечный цикл изменений с низкой отдачей.
Итак… Немного контекста
Сейчас очень популярны темы data driven маркетинга и growth hacking-а. Если вы с этим не сталкивались, то основная идея заключается, что нужно как можно быстрее проверять маркетинговые гипотезы, применяя и усиливая аналитически успешные и быстро откидывая неуспешные. При этом, когда мы формулируем гипотезы (в моем случае – гипотезы роста), мы задумываемся о том, как их проверить с минимальными усилиями, т.е. тратя минимальную трудоемкость на их реализацию.
Эти механики позволяют взломать систему в условиях сильной конкуренции и из иногда привычной парадигмы, хорошо описываемой с помощью фразы из Алисы в стране чудес: «нужно бежать со всех ног, чтобы только оставаться на месте, а чтобы куда-то попасть, надо бежать как минимум вдвое быстрее!» – перейти к пониманию, что:
- бег в 2 раза быстрее сделает вас уставшим в 2 раза быстрее,
- не нужно добегать до конца, если ты уже на 1ом отрезке пути понимаешь, что дорога ведет в никуда,
- никому не нужен просто бег – всем важен только результат. Поправка: всем важен положительный результат.
Как только наступает это прозрение, а оно зачастую наступает после пары -тройки – десятка неуспешно запущенных маркетинговых акций или крупных маркетинговых экспериментов, запускается итеративный процесс проверки гипотез.
И здесь появляются дилеммы многозадачности (гипотез проверяется много), целеполагания (не все нужно упаковывать в гипотезы, есть задачи, которые просто нужно сделать) и строительства новых процессов. И в этом мне существенно помогает применение метода Pulse Mngt, когда на регулярной основе проводится анализ ситуации и применяются практики да-да проектного управления. Это не реклама 😉 Мне реально помогло разделение по потокам принятия решений.
Но вернемся к гипотезам.
Как формулируются гипотезы?
Гипотезы формулируются для каждого этапа воронки AAARRRR в отдельности. Не принято «замешивать» в один эксперимент сразу несколько этапов воронки, потому что потом из сваренного борща не получится выявить тот самый ингредиент, который привел к успеху или провалу всего блюда.
Итак, предполагается, что мы проводим не влияющие друг на друга серию экспериментов, которые направлены на проверку гипотез.
Гипотезы формулируются в формате «если мы проведем такие-то действия, то это приведет к изменению такой-то метрики на такое-то значение в таком-то этапе воронки».
Приведу несколько примеров. Например, мы хотим улучшить нашу рекламу с помощью баннеров. Т.е. мы работаем на этапе Awareness, и самая простая метрика на этом этапе воронке представляет собой Click Through Rate, что показывает отношение числа кликов по рекламе к числу показов. Что мы можем протестировать: мы можем протестировать разные визуалы или же мы можем протестировать разные ценностные предложения с одними и теми же визуалами.
Пример №1.
Если мы в баннерной рекламе будем транслировать ценность нас как премиального хостинга, то CTR таких объявлений будет на 20% выше, чем у штатного предложения по аренде серверов.
Как проверяем – запускаем эксперимент с 2 вариантами рекламных объявлений: берем однин и тот же визуал, но вносим отличия непосредственно в текст рекламных объявлений. Заранее прикидываем нужное число показов объявлений, чтобы достичь статистической значимости. И делаем АБ-тест, чтобы получить примерно одинаковое количество показов для каждого из вариантов.
|
|
|
Пример №2.
Гипотеза – если мы на баннерах будем вносить яркие элементы, то CTR таких объявлений будет на 20% выше, чем у баннеров без к-л. дополнительной цветокоррекции. Этот пример скорее приведен для того, чтобы было попроще уловить мысль. С дизайном можно экспериментировать бесконечно, но основной прирост получается все же не за счет дизайна, а за счет ценности.
Как проверяем – запускаем эксперимент с 2 визуалами и одинаковыми рекламными объявлениями. Итак, изменения у нас только в картинках:
|
|
HADI циклы
Идея работы с гипотезами заключается в том, что мы с одной стороны находимся в процессе постоянного совершенствования механик, которые работают, а с другой стороны можем оперативно оценить интерес рынка к нашим ценностным предложениям. При этом для проверки нового ценностного предложения нам не нужно сразу пилить страницы веб-сайта, реализовывать фичи – достаточно на самом верхнем уровне воронки запустить рекламу и замерить потенциальный спрос. Т.е. работа с гипотезами представляет собой быстрое прохождение HADI-цикла, по результатам которого мы принимаем решение о необходимости запуска рекламной кампании на определенную аудиторию с донесением того или иного ценностного предложения, реализации продуктовой фичи и т.д.
Бежим быстро, получая выводы, по HADI-циклу.
И все было бы хорошо, если бы через некоторое время не начинали возникать нюансы.
Ловушки сознания
Ловушка №1. Одержимость идеей или Бесконечный HADI-цикл
Иногда идея настолько интересна, что мы вместо того, чтобы ее отложить после пары-тройки неудачных экспериментов, продолжаем над ней работать. Причина – как только мы вносим какое-либо изменение в эксперимент, мы по факту его перезапускаем. Т.е. мы тем самым удлиняем время проверки, получаем несколько HADI-циклов, генерим разные гипотезы в попытке добиться подтверждения своей первоначальной идеи и через некоторое время забываем, а с чего все началось, и почему мы считали начальную идею столь ценной.
Как лечить?
Любое изменение – это формирование новой гипотезы. А все гипотезы перед тем, как браться в реализацию, по идее должны проходить процесс приоритезации, когда вновь поднимается вопрос о ценности этой идеи, сравнивается с другими, лежащими в бэклоге. Очевидно, что не всегда хочется переприоритезировать работу, когда нужен минорный тюнинг. Тем не менее, чтобы не попасть в ловушки постоянных минорных изменений в ущерб проверки новых гипотез, помогают простые правила, такие как: при проверке 1 идеи, можно перезапускать эксперимент, но не более 2 раз.
Ловушка №2. Продление эксперимента для оценки эффекта по всей воронке
Когда проводятся эксперименты наверху воронки, мы можем оперативно проверять гипотезы, но по мере продвижения вниз по воронке в сторону платящих клиентов, эксперименты замедляются. Так работает не у всех. Например, для e-commerce с коротким циклом продажи, проведение экспериментов на этапе покупки тоже может проводиться достаточно оперативно. Сложнее, когда цикл принятия решения по покупке у клиентов занимает несколько недель. В этом случае, при запуске экспериментов с рекламными объявлениями нас не покидают мысли, а насколько качественный трафик мы заводим на наш сайт, а как хорошо этот трафик конвертируется в нужные нам активации и покупки. И есть желание оставить эксперимент в работе хотя бы на месяц-другой, чтобы отследить конверсию в покупки, оценить влияние на ARPU и т.д. И таким образом, мы получаем большое число одновременно работающих гипотез, которые у нас отлеживаются на время нужное для среднестатистической продажи. Помимо того, что эти гипотезы не завершены, т.е. мы не можем оперировать выводами, их заморозка плоха еще тем, что мы все равно тратим на них время, перебирая их в пуле своих незавершенных задач, возвращаясь к ним снова и снова.
Как лечить?
Перед тем как отложить эксперимент на дозрев, нужно понять нет ли отклонений у нас по усредненным параметрам движения по воронке. Например, мы знаем, что в среднем у нас Х% пришедших на сайт переходят к процессу регистрации, то мы уже можем в течение более короткого промежутка времени оценить, сколько мы получили регистраций, не дожидаясь конверсии непосредственно в покупку. Если мы получаем метрики существенно меньшие нашего привычного Х%, то эксперимент можно сворачивать и делать выводы.
Второй и не менее важный момент заключается в том, что, когда мы все же откладываем поведение итогов, то нужно четко обозначить (желательно таской в календаре), когда мы к нему возвращаемся. В этом случае мы все же будем закрывать отложенные эксперименты и подводить итоги по мере их дозревания, а не дожидаясь лучших времен, когда у нас будет время, чтобы сесть и все разом разгрести. Ведь, чем раньше мы получим выводы, тем быстрее мы сможем использовать полученные инсайты.
Ловушка №3. Погоня за числом проверяемых гипотез
Сейчас прям очень модно говорить о проверке большого числа гипотез. Если проверяешь больше 10 гипотез в неделю, ты ну почти молодец. Если больше 100 гипотез в неделю, то точно молодец. К чему это приводит? К желанию посчитать все число рекламных креативов и представить их разными гипотезами 😊 Кроме шуток, цели приводят к подгонке методов. И несколько теряется смысл запуска экспериментов. Иными словами, эксперименты должны делаться не для достижения какого-то их числа в неделю, а для проведения изменений либо в продукте, либо для упрощения процесса по донесению ценности продукта для нужной целевой аудитории.
Как лечить?
Когда мы приоритезируем гипотезы, чтобы определить те, которые будем брать в работу, нужно в качестве отдельного пункта отвечать себе на вопрос: «Как успех эксперимента повлияет на весь проект?». Понимание следующих шагов позволяет, во-первых, не забыть, что эксперимент является стартовой точкой для последующих активностей, а во-вторых, дает больший контекст при оценке будущего эффекта от проводимого эксперимента. Отвечая на этот вопрос, мы тем самым защищаем себя от ушедших в песок экспериментов и массы потраченного времени в отсутствии совершенных следующих важных шагов.
Выводы
Работа с гипотезами – это очень эффективный и интересный процесс, используя который можно построить по-настоящему результативную работу. Тем не менее, очень важно не терять из поля зрения свои ключевые метрики и периодически проверять себя на предмет правильно ли мы его применяем и не случилось ли у нас перекосов в пути.
Юлиана Кузнецова, очень въедливый Product Marketing Manager
