Что такое A/B-тестирование и что можно тестировать на сайте
Основы3 минРедакция Innovialabs
Коротко
A/B-тест — это эксперимент, в котором трафик случайно делится между текущей версией страницы (контроль) и изменённой (вариант), а потом по одной заранее выбранной метрике проверяют, какая версия работает лучше и не случайна ли разница.
Коротко: что такое A/B-тест
A/B-тестирование — способ проверить изменение на реальных пользователях, а не спорить о нём на совещании. Посетителей случайным образом делят на две группы:
- A — контроль: видят текущую версию страницы;
- B — вариант: видят версию с одним изменением.
Обе группы попадают на сайт в одно и то же время, из одних и тех же источников. Если в группе B конверсия заметно выше и разница статистически значима, изменение внедряют для всех.
Главное отличие от «поменяли и посмотрели, что стало»: при последовательном сравнении на результат влияют сезон, реклама, новости, конкуренты. В A/B-тесте эти факторы действуют на обе группы одинаково.
Как провести тест: по шагам
- Сформулируйте гипотезу. Не «давайте сделаем кнопку зелёной», а «если показать цену сразу на первом экране, больше людей дойдёт до формы, потому что в звонках часто спрашивают о стоимости».
- Выберите одну главную метрику. Например, отправка заявки. Вспомогательные метрики смотрите, но решение принимайте по главной.
- Посчитайте нужный объём выборки. Калькуляторы размера выборки подскажут, сколько посетителей нужно, исходя из текущей конверсии и того, какой эффект вы хотите заметить.
- Запустите и не трогайте. Не меняйте условия по ходу и не останавливайте тест, как только вариант вырвался вперёд.
- Дайте тесту пройти полные недельные циклы. Поведение в будни и выходные часто отличается.
- Подведите итоги и запишите вывод — даже если победителя нет. Это тоже знание.
Что стоит тестировать
| Элемент | Примеры изменений |
|---|---|
| Оффер | что именно вы предлагаете: бесплатная консультация, расчёт стоимости, демо |
| Заголовок | акцент на выгоде, на проблеме, на сроках |
| Формы | количество полей, порядок, обязательность телефона, многошаговая форма |
| Цены и тарифы | порядок тарифов, какой из них выделен, помесячная или годовая оплата по умолчанию |
| Призыв к действию | текст кнопки, её расположение, количество кнопок на экране |
| Доверие | отзывы, гарантии, ответы на возражения рядом с формой |
| Структура страницы | порядок блоков, длина страницы |
Самый сильный эффект обычно дают изменения смысла — оффер, цена, форма. Цвет и шрифт кнопки редко меняют что-то заметное, а трафика на их проверку уходит столько же.
Экспериментировать с ценами нужно осторожно: показывать разным людям разную цену за одно и то же может быть неэтично и в некоторых случаях противоречить закону или правилам площадки. Чаще тестируют подачу цены, а не саму цену.
Когда трафика слишком мало
A/B-тест требует объёма. Если у вас несколько десятков конверсий в месяц, тест на небольшое улучшение может идти очень долго и так и не дать надёжного ответа.
Признаки, что тестировать рано:
- калькулятор выборки показывает срок в несколько месяцев;
- целевых действий единицы в неделю;
- трафик сильно скачет из-за рекламных кампаний.
Что делать вместо этого:
- тестировать крупные изменения — новый оффер или другая структура страницы дают более заметную разницу, которую проще поймать;
- мерить микроконверсию ближе к началу воронки, например переход к форме, понимая, что это компромисс;
- проводить качественные исследования — записи сессий, тепловые карты, интервью с клиентами, юзабилити-тесты на нескольких людях;
- внедрять очевидные улучшения без теста — исправить сломанную форму или медленную загрузку не нужно доказывать экспериментом.
Частые ошибки
- Останавливать тест при первом лидерстве. На маленьких числах лидер меняется постоянно.
- Менять несколько вещей сразу и не понимать, что сработало. Для одновременной проверки комбинаций есть мультивариантные тесты, но им нужно ещё больше трафика.
- Подглядывать и выбирать удобную метрику после теста.
- Не проверить техническую сторону: вариант медленнее грузится, мигает или ломается на мобильных.
- Не учесть разные источники трафика, если одна группа случайно получила больше рекламных визитов.