Тесты инкрементальности: как измерить реальный эффект рекламы

Атрибуция и инкрементальность — не одно и то же

Атрибуция отвечает на вопрос «какое касание было перед покупкой». Инкрементальность — «сколько покупок не случилось бы без рекламы». Это разные вопросы, и ответы на них могут сильно расходиться.

Почему атрибутированные конверсии завышают вклад рекламы:

• Брендовый поиск ловит людей, которые уже искали именно вас и пришли бы через органику.
• Ретаргетинг показывается тем, кто и так был близок к покупке.
• Конверсии после просмотра засчитывают рекламе покупку, если человек лишь видел баннер.
• Каждая площадка считает себя: сумма конверсий в кабинетах обычно больше, чем реальных заказов.
• Алгоритмы оптимизации находят тех, кто купил бы с высокой вероятностью, — это хорошо для отчёта, но не обязательно для бизнеса.

Атрибуция полезна для ежедневной оптимизации. Для ответа «стоит ли вообще тратить этот бюджет» нужен эксперимент.

Главная идея: контрольная группа

Любой тест инкрементальности сравнивает две сопоставимые группы:

• тестовая — видит рекламу;
• контрольная — не видит, но в остальном такая же.

Инкрементальные конверсии = конверсии тестовой группы − конверсии контрольной (с поправкой на размер групп). Отсюда считают iROAS — инкрементальную выручку на единицу расходов — и коэффициент инкрементальности: доля атрибутированных конверсий, которая реально вызвана рекламой.

Способ 1. Holdout-группа

Часть аудитории случайно исключают из показов.

• Когда подходит: у вас есть своя аудитория — база клиентов, подписчики email, аудитории ретаргетинга. Вы загружаете список и случайно делите его.
• Как: случайно разделите пользователей до запуска, исключите контрольную часть из таргетинга, сравните покупки по вашим данным (CRM), а не по кабинету.
• Сложности: на открытых аудиториях вы не можете исключить людей сами; контрольная группа должна быть достаточно большой.

Для email и push это самый простой и чистый тест: отправляйте не всем, а небольшую случайную часть оставляйте без рассылки.

Способ 2. Geo-lift эксперимент

Делите не людей, а регионы: в части городов реклама работает (или усиливается), в других — нет.

1. Выберите метрику, которую видно по регионам: заказы, выручка, звонки.
2. Подберите тестовые и контрольные регионы с похожей историей метрики.
3. Включите или выключите рекламу в тестовых регионах на заранее заданный срок.
4. Сравните фактический результат с контрфактическим — прогнозом на основе контрольных регионов (методы synthetic control, например открытые библиотеки GeoLift и CausalImpact).

Плюсы: работает для любого канала, включая офлайн и ТВ, и не зависит от cookie. Минусы: нужно достаточно регионов с устойчивыми данными. В странах с сильной концентрацией спроса в столице подобрать пары регионов сложнее — иногда тест делают по районам доставки или по чередованию периодов.

Способ 3. Lift-исследования площадок

Meta и Google предлагают Conversion Lift: площадка сама случайно делит аудиторию и не показывает рекламу контрольной группе (или показывает чужую рекламу на этом месте).

• Плюсы: настоящая рандомизация на уровне пользователей, минимум работы с вашей стороны.
• Минусы: доступность зависит от бюджета и аккаунта; результат измеряет площадка по собственным данным; один тест — один канал.

Используйте их, но сверяйте результат с вашими данными о заказах.

Как спланировать тест

• Одна гипотеза: «ретаргетинг в Meta даёт дополнительные продажи», а не «вся реклама работает».
• Размер и длительность заранее: с учётом цикла покупки и ожидаемого эффекта. Короткий тест на дорогом товаре не поймает отложенные покупки.
• Метрика бизнеса: заказы и выручка из CRM, а не конверсии кабинета.
• Стабильность: во время теста не меняйте цены, акции и другие каналы в тестовых и контрольных группах по-разному.

Как использовать результаты

• Умножайте атрибутированные конверсии канала на коэффициент инкрементальности, чтобы получить реалистичный CPA и ROAS.
• Сокращайте бюджет там, где инкрементальность низкая (часто — бренд и широкий ретаргетинг), и тестируйте перенос денег в каналы привлечения.
• Повторяйте тесты: эффект меняется с сезоном, креативами и объёмом бюджета.