SEO A/B-тестирование: как проводить сплит-тесты на группах страниц

Как устроен SEO-сплит-тест

В обычном A/B-тесте одна и та же страница показывается разным пользователям в двух вариантах. В SEO так нельзя: у поисковика один «пользователь» — его робот, и он видит одну версию страницы. Если показывать роботу и людям разное, это клоакинг.

Поэтому в SEO-тесте делят страницы, а не посетителей. Берут множество однотипных страниц (карточки товаров, статьи, страницы городов), разбивают на две группы, меняют что-то только в тестовой и сравнивают, как изменился органический трафик тестовой группы относительно контрольной.

Когда SEO-тест вообще возможен

• Много однотипных страниц на одном шаблоне. Десятки — минимум, лучше сотни. На пяти страницах шум перекроет любой эффект.
• Достаточный органический трафик. Если у страниц почти нет показов, разницу не будет видно.
• Изменение можно применить к части страниц. Шаблон должен уметь отдавать разную версию в зависимости от группы.

Как выбрать контрольную и тестовую группы

1. Отберите однородный пул. Один тип страниц, один шаблон, одна языковая версия.
2. Посмотрите историю трафика. Нужны данные за период до теста, чтобы понимать, как группы вели себя раньше.
3. Делите не случайно «в лоб», а стратифицированно. Отсортируйте страницы по трафику и раскладывайте по группам поочерёдно, чтобы в обеих были и сильные, и слабые страницы.
4. Проверьте, что группы ведут себя похоже. До теста кривые трафика групп должны двигаться синхронно. Если нет — перераспределите.
5. Исключите аномалии. Страницы с разовыми всплесками, сезонными товарами или недавними большими изменениями лучше убрать из пула.

Что тестировать

Правило одно: одно изменение на тест. Если поменять title и перелинковку одновременно, вы не узнаете, что сработало.

Сколько держать тест

Точного срока нет, он зависит от нескольких факторов:

• скорость переобхода — пока робот не увидел изменения на большинстве тестовых страниц, тест не начался по-настоящему;
• объём трафика — чем меньше трафика, тем дольше нужно копить данные;
• размер эффекта — маленькие изменения требуют больше времени, чтобы выделиться из шума;
• недельная цикличность — тест должен охватывать целые недели.

Проверяйте в Search Console или вебмастере, что изменённые страницы действительно переобойдены, и только после этого начинайте отсчёт.

Как читать результат с учётом сезонности

Сравнивать «до» и «после» по тестовой группе нельзя: трафик мог вырасти из-за сезона, апдейта алгоритма или рекламной кампании. Для этого и нужна контрольная группа.

1. Постройте прогноз. По периоду до теста определите, как тестовая группа обычно соотносится с контрольной.
2. Сравните факт с прогнозом. Если после изменения тестовая группа заметно обгоняет прогноз, а контрольная ведёт себя как раньше, эффект вероятно реальный.
3. Смотрите на доверительный интервал, а не на одну цифру. Для этого используют методы вроде причинно-следственного анализа временных рядов (causal impact) или разницы разниц.
4. Учитывайте внешние события. Апдейт поисковика во время теста может по-разному задеть группы — отметьте это в отчёте.
5. Разделяйте метрики. Клики, показы и средняя позиция могут вести себя по-разному: рост показов без роста кликов говорит о другом, чем рост CTR.

Частые ошибки

• Слишком маленькие группы и выводы по первым дням.
• Несколько изменений в одном тесте.
• Разные версии для робота и людей.
• Игнорирование того, что изменение ещё не проиндексировано.
• Раскатка на весь сайт без проверки нейтрального или отрицательного результата: «не выросло» — тоже результат.