Как стать увереннее с помощью А/А тестирования

Как стать увереннее с помощью А/А тестирования

Ничто не может дать вам больше уверенности, чем А/Б тестирование. Они способны ощутимо поднять самооценку. Но с таким же успехом и опустить, если вы допустите ошибку. Чтобы этого избежать, вам нужно знать о статистике А/Б тестирований. В противном случае в попытках найти ответы вы потратите много времени, но еще больше запутаетесь или решите, что достигли результата, хотя в реальности не приблизились к нему ни на шаг. А/А тестирования гарантируют, что полученная вами информация может с уверенностью быть использована для принятия дальнейших решений.

Что может быть хуже отсутствия информации? Неверная информация. Мы хотим представить вам тестирование, которое, даже в случае успешного выполнения, не даст вам абсолютно никакой информации о посетителях вашего сайта. Вместо этого вы получите нечто гораздо более ценное. Уверенность.

Что такое А/А тест?

До того, как тестировать заголовки, подзаголовки, цвета, призывы к действию, видео-скрипты, дизайн и так далее, вам нужно проверить программное обеспечение. Это легко сделать, сравнивая страницу с самой собой. Кто-то может подумать, что это бессмысленно, ведь результат будет нулю, так?
Не совсем.

После трех дней тестирования этот А/А тест показал, что варианты, идентичные оригиналу, приносили на 35.7% меньше прибыли. Вот вам и убийца самооценки.

1

После трех дней этого А/А тестирования уверенности поуменьшилось.

 Причины могут быть следующие:

  • Инструмент для А/Б тестирования неисправен.
  • Данные, предоставленные сайтом, неверны или дублируются.
  • Нужно еще какое-то время продолжать А/А тестирование.

Нашей первой подсказкой стал малый объем выборки. На каждую страницу заходило более 345 пользователей, а транзакций зафиксировано всего 22 и 34. Слишком мало по сравнению с числом посетителей. Для обеспечения точности статистики А/Б тестирования берутся за основу транзакции, которые важнее траффика. Если за период тестирования произошло менее 200 транзакций, результаты нельзя считать достоверными.

Очевидно, рано заканчивать это тестирование.

Возможно, вашим инстинктивным желанием будет поскорее разделаться со скучным А/А тестированием, чтобы перейти к захватывающим А/Б тестам. Но это может стать ошибкой, что видно на примере выше.

2

А/А тестирование позволяет откалибровать инструменты

 Если бы разница между этими двумя идентичными страницами не исчезла, мы бы отменили все планы относительно А/Б тестирований, пока не стало бы понятно, кроется проблема в инструменте тестирования или в самом сайте. Мы также вынуждены были бы перепроверить результаты всех тестирований, проходивших до возникновения этой А/А аномалии.

В этом случае пролонгирование А/А тестирования увеличило объем выборки и результат выровнялся, как и должно быть в подобных тестах. Разница в 3.5% допустима для А/А тестов. Мы также узнали, что для точной оценки результатов необходимо было достигнуть минимального объема выборки, приближающегося к 200 транзакциям.

Этот пример является отличным уроком того, как статистическая значимость и объем выборки могут укрепить или наоборот пошатнуть нашу уверенность

А/А тестирование дает вам информацию о минимальном объеме выборки

Причина, по которой показатели А/А тестирования выровнялись – сам тест занял достаточное количество времени, чтобы приличное количество траффика прошло через сайт, тем самым предоставляя информацию о том, как проявляют себя два тестируемых варианта страницы. И дело даже не в трафике, а в достаточном объеме выборки.

  • Покупатели, заходящие на ваш сайт в понедельник утром, статистически очень сильно отличаются от тех, кто заходит в субботу вечером.
  • Покупатели, заходящие на ваш сайт в период праздников, отличаются от тех, кто заходит в будни.
  • Покупатели, заходящие с компьютера, также отличаются от тех, кто совершает покупки с мобильных устройств.
  • Кто-то заходит с рабочего компьютера, а кто-то из дома. Эту разницу тоже нужно учитывать.
  • Кто-то перешел на ваш сайт, увидев рекламу, а кто-то по рекомендации друзей. И эти люди также отличаются друг от друга.

Удивительно, какие открытия может принести тестирование, если вдаваться в детали вроде устройств пользователей и их интернет-браузеров. Конечно, если объем выборки у вашего теста мал, полностью довериться результатам не представляется возможным. Малый объем выборки означает, что некоторые блоки информации распределены неравномерно. Вот пример результатов того же самого А/А теста. На данный момент было протестировано менее 300 сессий с каждой из наблюдаемых вариаций. Вы можете видеть, что распределение посетителей, которые пользуются браузером Safari, то есть, владельцев техники Mac, неравномерно – 85 посетителей вариации тестируемой страницы и 65 – контрольной страницы. Помните, что обе страницы идентичны. Разница показателей среди пользователей браузера Internet Explorer даже более значительна – 27 против 16.

Такая неравномерность – не более чем закон средних чисел. Не верьте, что пользователи распределяются именно таким образом. По мере увеличения объема выборки разница сойдет на нет.

3

Вы можете наблюдать разные показатели коэффициента конверсии среди пользователей разных браузеров.

Статистически неравномерное распределение ведет к различным результатам, даже если исследуемые вариации полностью идентичны. Если распределение посещений так неравномерно, представьте, что таким же может быть распределение потенциальных конверсий. А это бы привело к неравномерности коэффициентов конверсии.

Это мы видим в цифрах из примера выше. Из тех шестнадцати посещений сайта через Internet Explorer ни один не завершился конверсией. Два посетителя, чьи визиты закончились конверсией, перешли на вариацию страницы и их вклад в общий коэффициент конверсии составил 7.41%.
В случае с браузером Safari одинаковое количество посещений с конверсией пришлось и на контрольную страницу, и на ее вариацию, однако только 65 посетителей перешли на контрольную страницу, тогда как вариацию посетили 85 человек. Получается, коэффициент конверсии у контрольной страницы гораздо выше.

Но этого не может быть, потому что обе страницы идентичны.

Мы ожидаем, что с течением времени показатели выровняются. На ранних этапах они слишком часто дают противоречивые результаты.

Такие же закономерности можно наблюдать, когда вы проводите А/Б тесты различных страниц. Видите, почему инструмент тестирования может посоветовать вам сделать неправильный выбор, если объем выборки слишком мал?

Расчет продолжительности тестирования

Вы должны продолжать тестирование, пока не получите достаточно большой объем выборки из различных сегментов аудитории, позволяющий понять, какая вариация страницы более популярна среди той аудитории, которую вы хотите изучить. А/А тест может показать, какое время необходимо, чтобы результаты стали статистически значимыми.

На продолжительность А/Б теста влияют два фактора.

  1. Время, за которое вы получаете данные из достаточного объема выборки.
  2. Разница между показателями вариаций.

Если вариация опережает контрольную версию на 50%, тест можно не затягивать. Вероятность такого значительного отрыва вперед, который также называется «шансом на победу» или «уверенностью», больше вероятности ошибки, даже при малых объемах выборки.

Итак, А/А тест должен демонстрировать худший сценарий развития событий, при котором вариации практически не имеют шансов превзойти контрольную страницу, потому что они идентичны. На самом деле, А/А тестирование может никогда и не достичь показателей статистической значимости.

В нашем примере выше тест не достиг статистической значимости и вряд ли когда-нибудь достигнет. Однако, вы видим, что на пятнадцатый день тестирования показатели вариации и контрольной страницы выровнялись.

4

Показатели идентичных версий страницы выровнялись на пятнадцатый день А/А тестирования.

Пример показывает, что продолжительность теста должна составлять по крайней мере 15 дней, только тогда результаты будут достоверными. Вне зависимости от вероятности шанса на победу тест никогда не должен быть короче недели.

Оптимальная продолжительность теста – две недели.

Применение А/А теста

Преимуществом А/А тестов является то, что для его запуска не требуется никакого креатива или разработок. Перед А/Б тестированием вы меняете программное обеспечение, прячете или удаляете какие-либо части страницы. Для А/А теста это по определению не нужно.

Главное условие успешного А/А теста – правильный выбор страницы, которую вы будете исследовать. Страница для А/А тестирования должна соответствовать двум критериям:

  • Относительно высокий траффик. Чем больше людей заходит на страницу, тем быстрее выровняются показатели вариаций.
  • На этой странице посетители могут совершать покупки или регистрироваться. Мы хотим откалибровать инструмент А/Б тестирования вплоть до конечной цели.

По этим причинам мы часто применяем А/А тестирование на домашней странице сайта.

Вы также захотите объединить инструмент А/Б тестирования с аналитическими программами. Возможно, настройка инструмента А/Б тестирования будет неправильной и обе вариации покажут одинаковый результат. Добавляя к аналитике информацию о результатах А/А теста, вы можете сравнивать данные о конверсии и прибыли из результатов теста с данными аналитических отчетов. Они должны совпадать.

Могу ли я одновременно проводить А/А и А/Б тестирования?

Согласно статистике, можете. Если инструмент работает исправно, пользователи не заметят, что имеет место быть А/А тест. Однако, вы добавите в А/Б тест дополнительную неточность, так что на получение статистически значимых результатов уйдет больше времени.

И если показатели А/А теста не выровняются, результаты А/Б теста нельзя будет назвать достоверными.

Вы также можете быть вынуждены запустить А/Б тест, чтобы получить прошлые статистические данные, пока ждете завершения А/А теста. Во время А/А теста нежелательно вносить на сайт изменения.

Цена запуска А/А теста

У запуска А/А теста есть своя цена: цена упущенных возможностей. Время и траффик, которые вы тратите на проведение А/А теста, могли бы быть использованы для А/Б тестирования. Вы могли бы узнать о своих посетителях что-то ценное.

Вы должны прибегать к А/А тестированиям в следующих случаях:

  1. Вы только что установили новый инструмент тестирования или поменяли настройки текущего.
  2. Вы нашли расхождения в результатах, которые получаете от инструмента тестирования и из аналитики.

К А/А тестам не стоит прибегать слишком часто.

Существует два типа А/А тестов:

  1. «Настоящий» с двумя вариациями
  2. А/Б тест с «вариантом для калибровки».

У каждого из них есть плюсы и минусы.

Настоящий А/А тест

 Вы выбираете страницу с высоким посещением и настраиваете тест в инструменте для А/Б тестирования. Сравнивать вы будете контрольную версию и вариацию без изменений.

Плюсы: Тест займет мало времени, потому что весь траффик будет работать на результат.

Минусы: Вы ничего не узнаете о посетителях. Почти. Читайте дальше.

А/А тест с вариантом для калибровки

 Этот подход заключается в добавлении к А/Б тесту «варианта для калибровки». Такой тест включает в себя контрольную вариацию, один или несколько вариантов с изменениями, которые вы хотите протестировать, а также дополнительную вариацию, идентичную контрольной. По завершении теста вы получите данные о вариантах с изменениями, а также откалибруете инструмент тестирования вариациями А/А.

Плюсы: Вы проводите одновременно А/А и А/Б тесты.

Минусы: Такой подход может причинить ущерб статистике. Чем больше в тестировании вариаций, тем выше вероятность ошибки. Также какая-то часть траффика будет отвлечена от А/Б вариаций, поэтому тест нужно проводить в течение более долгого времени.

5

Вариация для калибровки в А/Б тесте

К сожалению, в примере выше результаты А/Б вариации не превышают результатов вариации для калибровки.

А/А тестирование может рассказать вам еще кое-о-чем

Одной из самых значительных способностей инструментов А/Б тестирования считается возможность отслеживать различные действия посетителей сайта. Большинство инструментов А/Б тестирований могут вести учет количества действий, которые расскажут вам кое-что о ваших посетителях.

  • На каких этапах регистрации или совершения покупки они уходили с сайта.
  • Как много посетителей начало заполнять форму.
  • На каких картинках посетители кликали.
  • На какие навигационные кнопки они чаще всего кликают.

Вы можете настроить инструмент так, чтобы он показывал и такую информацию, как правило, опция называется «Настройка целей» — и параллельно с тестированием изучайте поведение посетителей.

Выводы

Надеемся, вас хоть немного впечатлила статья, а также вы узнали что-то новое о том, как успешно провести А/Б тестирование. Да, вам понадобится терпение, которого нам всегда так не хватает. Но это не значит, что первых результатов вам нужно ждать год.

Вы всегда можете переключиться на лидирующую версию на месяц или два, в то же время продолжая тесты. Так вы убьете двух зайцев – главной версией вашего сайта будет та, что приносит больше прибыли, а остальные будут проходить дополнительные тесты.

Поздравляем, вы разобрались в основах процесса А/Б тестирования!

Вы также всегда можете обратиться ко мне за помощью или консультацией по этой ссылке и я сделаю все возможное для увеличения конверсии Вашего сайта.

Хороших Вам продаж!