Как правильно провести A/B-тест: от гипотезы до вывода

Короткий ответ

A/B-тест — эксперимент, в котором трафик случайно делится между версией A (текущей) и версией B (изменённой), а затем сравнивается заранее выбранная метрика. Чтобы вывод был надёжным, всё важное решается до запуска: гипотеза, главная метрика, размер выборки и длительность.

Шаг 1. Гипотеза

Хорошая гипотеза опирается на данные и проверяема. Формат:

Если мы [изменение], то [метрика] изменится, потому что [причина из данных].

Пример: «Если сократить форму заявки до двух полей, конверсия в заявку вырастет, потому что в Вебвизоре видно, что люди бросают форму на третьем поле».

Источники гипотез: аналитика воронки, карты кликов, записи сессий, обращения в поддержку, интервью с клиентами. Плохая гипотеза — «давайте попробуем зелёную кнопку, вдруг сработает».

Шаг 2. Главная метрика и защитные метрики

• Главная метрика одна. Она решает, победила ли версия B. Обычно это конверсия в целевое действие: заявка, покупка, регистрация.
• Защитные метрики (guardrail) следят, чтобы вы ничего не сломали: средний чек, доля возвратов, качество лидов, скорость страницы.

Если смотреть на десяток метрик и выбирать ту, что «выросла», случайный шум почти наверняка выдаст ложную победу.

Шаг 3. Размер выборки и длительность

Размер выборки зависит от четырёх параметров:

Для этих стандартных значений существует приближённая формула на одну группу:

n ≈ 16 × p × (1 − p) / δ²

где p — базовая конверсия, δ — абсолютная разница, которую хотите заметить. Например, при конверсии 4% и желании заметить рост до 5% (δ = 0,01) получается порядка 6–7 тысяч посетителей на каждую версию. Для точного расчёта используйте калькулятор размера выборки или инструмент тестирования.

Длительность = выборка на все группы ÷ дневной трафик в тесте, округлённая вверх до целых недель. Поведение в будни и выходные различается, поэтому тест меньше недели почти всегда искажён.

Если по расчёту тест займёт много месяцев, трафика не хватает: проверяйте более смелые изменения с большим ожидаемым эффектом или используйте качественные методы — юзабилити-тесты, интервью.

Шаг 4. Инструменты

Клиентские визуальные редакторы могут вызывать мерцание — посетитель на мгновение видит версию A, затем B. Для важных страниц надёжнее серверное разделение трафика.

Шаг 5. Запуск и контроль

• Распределение случайное и постоянное: один посетитель всегда видит одну версию.
• Проверьте SRM (sample ratio mismatch): если вы делите 50/50, а в группах заметно разное число посетителей, разделение сломано и результатам верить нельзя.
• Не подглядывайте с остановкой. Остановка теста в момент, когда разница «стала значимой», резко повышает риск ложной победы. Дождитесь расчётной выборки или используйте инструмент с последовательным анализом, который это учитывает.
• Не меняйте версии, рекламу и бюджеты посреди теста.

Шаг 6. Вывод и документация

Возможны три исхода: B лучше, B хуже, разница не обнаружена. Последний — тоже результат: изменение не дало эффекта заметного размера.

Ведите журнал экспериментов — таблицу или страницу на каждый тест:

• гипотеза и источник данных для неё;
• скриншоты версий;
• главная и защитные метрики;
• даты, выборка, распределение;
• результат с доверительным интервалом;
• решение и что проверить дальше.

Журнал защищает от повторения неудачных тестов и помогает новым людям в команде.