Три суровых правды об А/Б тестировании

Три суровых правды об А/Б тестировании

Иногда А/Б тестирования кажутся магическим средством, которое разом решит все проблемы. Низкий коэффициент конверсии? Мы запустим тест и увеличим его на 12433%! Это просто!

Настройка и проведение тестов и правда не так сложны (если вы используете правильные инструменты), но его корректное выполнение требует внимательности.

1. Большинство А/Б тестирований не принесут вам огромной прибыли (и это нормально)

Я читал те же исследования об А/Б тестированиях, что и вы. А может, даже больше. Исходя из них, кажется, что каждый тест будет приносить вам огромную прибыль. Правда в том, что большинство тестирований никогда не публикуются. Вы не слышали о большинстве актеров, которые пробовали свои силы в Голливуде и потерпели неудачу, точно так же вы не знаете о большей части А/Б тестирований.

Огромное количество вариативных тестов «проваливаются» в том смысле, что не приводят к повышению конверсии (новые варианты либо не меняют коэффициента конверсии, либо приводят к его снижению). Основатель Appsumo Ноа Каган сказал о своем опыте следующее

Только 1 из 8 А/Б тестирований привел к значительным результатам.

Лучше не ожидать от тестирований многого. Если вы ждете, что они возведут вас на пьедестал, то заранее обрекаете себя на разочарование.

Воспринимайте тестирования как процесс постоянного улучшения

Оптимизация конверсии – это целый процесс. Улучшение конверсии, как и любое другое улучшение, зависит от вашего постоянства. Часто для получения ценных сведений о том, какие подходы работают, а какие нет, требуется провести большое количество тестов. К каждому продукту и к каждой аудитории нужно подходить по-своему, и даже безупречная теоретическая основа не может гарантировать отличных результатов. Нужно проверять каждую гипотезу на практике и делать выводы на основе результатов тестирования.

Доходы должны расти

Реалистичные ожидания – это рост прибыли на 7-10%. В конце концов все улучшения дадут совокупный результат.

«Провальные» эксперименты – это тоже опыт

Миллион раз у меня появлялась крутая теория, я переписывал тексты и совершенствовал страницы, но выходило так, что новый вариант оказывался ХУЖЕ контрольного. Возможно, и вы с этим сталкивались. Если вы все же сделали благодаря тестированию какие-то ценные выводы, то даже «поражения» можете обратить себе на пользу.

Я не потерпел 10,000 поражений. Я успешно нашел 10,000 способов, которые не работают.

– Томас Алва Эдисон, изобретатель

Настоящая цель А/Б тестирований – не рост конверсии (это приятный побочный эффект), а получение знаний о вашей целевой аудитории. В последующем вы можете использовать эти знания в ваших маркетинговых стратегиях – контекстной рекламе, темах писем для рассылки, продающих текстах и так далее.

Какими бы ни были ваши тестовые варианты, вам нужна гипотеза относительно того, что может оказаться эффективным. Теперь наблюдая за успешностью нового и контрольного варианта, вы можете определить, какие их элементы действительно играют большую роль. Когда тестирование проваливается, вам нужно

  • Пересмотреть гипотезу,
  • Проанализировать на тепловую карту и карту кликов, чтобы понять поведение пользователей на сайте,
  • Проанализировать побочную информацию – даже если пользователи не совершали желаемого действия, они могли совершать другие (чаще переходить по ссылкам, больше времени проводить на сайте и т.д.)

2. Тест займет много времени (пока не станет статистически достоверным)

Мой друг тестировал варианты лендинговой страницы и сообщал мне обо всех результатах и находках. Я радовался тому, что он проводит столько тестов, но он начал слишком часто получать «результаты». Я спросил его: «А как долго длятся твои тесты?» Он ответил: «До тех пор, пока какой-то из вариантов не начнет вырываться вперед».

Это неправильный ответ. Если вы слишком быстро завершаете тест, велика вероятность получения неверных результатов. Вы не можете делать выводы, пока не достигли статистической достоверности.

Статистическая достоверность – наше все

Статистическая достоверность – это вероятность точности результатов теста. Об этом хорошо сказал Ноа из 37Signals:

Запускать А/Б тестирование, не думая о статистической достоверности, хуже, чем вовсе его не запускать. Так вы обзаводитесь ложными убеждениями о том, какие решения являются эффективными. Правда в том, что вы знаете ровно столько же, сколько и до запуска теста.

Прежде, чем делать какие-либо выводы, большинство исследователей добивается уровня достоверности в 95%. На таком уровне мала вероятность случайного совпадения. По сути мы говорим «эти результаты не случайны, они скорее всего произошли в результате сделанных нами изменений». Если результаты не являются статистически достоверными, они могут быть спровоцированы случайными факторами, никак не относящимися к сделанным изменениям и результатам теста (так называемая нулевая гипотеза).

Подсчет статистической достоверности может представлять определенные трудности, для этого я рекомендую пользоваться специальными инструментами.

Опасайтесь малых объемов выборки

Я запустил для заказчика тест. Через 2 дня результаты были такими:

11

Моя новая вариация катастрофически проигрывала – более, чем на 89%. Некоторые инструменты уже назвали ее провальной со статистической достоверностью в 100%. Программа, которую я использовал, сказала, что у Варианта 1 0% шансов превзойти Контрольный. Мой клиент был готов завершить тест.

Однако, из-за того, что размер выборки был слишком мал (немногим больше 100 посещений на каждый вариант), я настоял на том, чтобы продлить тест еще на 10 дней. Вот мои результаты:

2

Правильно, вариант, у которого было 0% шансов победить контрольную версию, теперь выигрывал с достоверностью 95%.

Не делайте выводов на основе слишком малого объема выборки. Разумно будет дождаться хотя бы 100 конверсий на вариацию, и лишь потом смотреть на статистическую достоверность (хотя в некоторых случаях хватит и малого объема выборки). Вообще существует правильный статистический способ определить необходимый объем выборки, но если вы не технический гуру, пользуйтесь этим инструментом (он не покажет вам значения статистической достоверности, пока достаточный объем выборки не будет достигнут).

Не стоит слишком рано подводить итоги А/Б тестирований. Всегда перепроверяйте результаты. Всегда учитывайте пределы погрешности и объем выборки.

Терпение, мой юный друг

Не стоит заблуждаться относительно необходимого объема выборки – если ваш сайт не слишком популярен, тестирования будут занимать больше времени, чем вам бы хотелось. Лучше тестировать варианты медленно, чем вовсе не тестировать. Каждый день без теста – это день, проведенный впустую.

3. Увеличить доходы помогают не уловки, а понимание пользователя

Мне очень понравился этот твит Наоми Найлс:

Наоми Найлс ‪@NaomiNiles

В следующий раз, когда я увижу статью, в которой говорится, что конверсию можно увеличить, выбрав для оформления тот или иной цвет, я расплачусь.

Я полностью согласен с этим высказыванием. Такие советы только путают людей, извращая саму идею тестирований. Конечно, иногда цвет влияет на результаты, особенно когда к лучшему меняет визуальную иерархию, делает призыв к действию более заметным и так далее. Но суть А/Б тестирований – это вовсе не «зеленый против оранжевого». Суть А/Б тестирований – в понимании своей целевой аудитории. Исследования и анализ – утомительный и тяжелый труд, но он стоит того.

Чтобы серьезно увеличить коэффициент конверсии, вам нужно провести исследование конверсии. Это очень тяжелая работа.

Физиологические уловки не приведут к значительному росту конверсии. Вам нужно понимать нужды клиентов. Вам нужно научиться подбирать слова, которые находят в них отклик и побуждают покупать. Ваше предложение должно быть для них актуальным и ценным.

Вывод

  1. Пусть ваши ожидания от тестирований будут реалистичными.
  2. Терпение, тише едешь – дальше будешь.
  3. А/Б тестирования – это всегда уроки. Конверсия вырастет, если вы начнете понимать пользователей и предлагать им актуальный и ценный продукт.
По материалам ConversionXL