Продажи растут — денег нет: почему важно оценивать инкрементальный эффект
Продажи растут — значит, маркетинг работает? Не факт. Часть клиентов купили бы продукт и без рекламы, а метрики лишь создают иллюзию эффективности. Как отделить реальный эффект от совпадений и не сливать бюджет, объясняет Максим Сяфуков (Mindbox)
Фото: Walls.io / Unsplash
Этот материал входит в раздел «РБК Образование», где мы рассказываем, как развивать навыки, принимать взвешенные решения и двигаться по карьере осознанно.
Школа управления РБК — образовательный проект медиахолдинга, ориентированный на развитие руководителей. Встречаемся каждый четверг в 19:00 на онлайн-событиях, где вместе решаем сложные управленческие задачи.
С темами и спикерами можно познакомиться здесь.
Когда запускают рекламные кампании, многие компании смотрят на метрики и атрибуцию: если растут продажи и выручка, кажется, что маркетинг работает. Но сами метрики не показывают, купил бы клиент товар без рекламы или именно маркетинг спровоцировал покупку.
Подсчет инкрементальности помогает это понять: показывает, какие каналы и кампании действительно приносят прибыль, а от каких лучше отказаться.
Что такое инкрементальность и зачем ее считать
Инкрементальный эффект — это прибыль или результат, который бизнес получает благодаря конкретным маркетинговым каналам, кампаниям или маркетингу в целом. Инкрементом могут быть выручка, регистрации, покупки, просмотры карточек товаров или страниц сайта.
Например, интернет-магазин раньше зарабатывал на email-рассылках 700 000 руб. в месяц. После запуска telegram-бота рассылки стали приносить 900 000 руб. Инкремент от бота — 200 000 руб. Если при этом выручка от старых email-рассылок снизилась до 500 000 руб., значит часть заказов перешла в бота. Выручка от Telegram — 400 000 руб., но инкремент все равно 200 000 руб.
Зачем считать инкремент:
- Определять самые эффективные каналы и механики;
- Перераспределять бюджет на прибыльные каналы;
- Обосновывать и планировать маркетинговый бюджет.
Многие компании ориентируются только на атрибуцию и конверсию, забывая про инкрементальность. Все три инструмента нужны, но для разных целей.
- Атрибуция показывает, какой канал или кампания привели к конверсии. Но это не всегда значит, что именно маркетинг спровоцировал покупку. Например, клиент купил товар после рекомендации на сайте — возможно, он уже видел рекламу или читал отзывы, и решение было принято заранее.
- Конверсия фиксирует результат кампании, но не объясняет, почему он произошел: маркетинг, сезонность или улучшение сервиса.
- Инкрементальность показывает именно эффект от маркетинговых усилий: сработал ли канал или механика, или результат произошел бы и без них.
Как рассчитать инкрементальность
Существует несколько способов подсчитать инкрементальный эффект: тесты, поэтапный запуск кампаний, difference-in-differences (DiD), байесовский метод (BSTS) и propensity score matching (PSM).
AB-тесты, тесты с глобальной контрольной группой (ГКГ) и поэтапный запуск кампаний
AB-тесты и поэтапный запуск кампаний
Тесты используют, когда аудиторию можно разделить и проверить разные способы взаимодействия. Например, если у компании есть база контактов покупателей, часть клиентов можно не включать в рассылку.
AB-тесты помогают оценить эффективность отдельной кампании. Аудиторию делят на тестовую группу (получает рассылку) и контрольную группу (не получает). В конце кампании сравнивают конверсии и средний чек, а статистические калькуляторы помогают понять, насколько результаты надежны. Если тестовая группа показывает лучшие показатели, значит рассылка дает инкрементальный эффект.
Например, для сервиса знакомств «Мамба» email-рассылки и мобильные пуши — основные инструменты для реактивации пользователей и увеличения выручки. Они мотивируют платить за дополнительные услуги и подписку, повышая средний чек и количество платежей. Компания тестирует эти коммуникации с контрольной группой и считает инкрементальную выручку — разницу между доходом тестовой и контрольной групп.
Формула для этого следующая:
Инкрементальная выручка = выручка тестовой группы — (выручка контрольной группы/число участников контрольной группы × число участников тестовой группы)
С помощью калькулятора достоверности AB-теста «Мамба» определяет, какая выборка нужна для статистически значимого результата, и выделяет 30–50% аудитории в контрольную группу. Рассылку не отправляют сразу всем клиентам: если она окажется неэффективной, метрики могут сильно пострадать. За 10 месяцев тестов компания нашла рабочие варианты рассылок — выручка в тестовой группе выросла на 89,18% по сравнению с контрольной.
Кроме выручки в «Мамбе» считают инкремент по количеству реактивированных пользователей (которые хотя бы раз зашли в сервис), плательщиков и покупок. На атрибуцию по last click компания не ориентируется. Last click — это метод, при котором весь «вклад» в покупку отдается последнему каналу, через который клиент пришел к покупке. То есть если клиент оплатил подписку после письма или пуша, last click приписал бы весь результат этим каналам, хотя без них клиент мог бы купить и так.
Глобальная контрольная группа
ГКГ — это группа клиентов, на которую не распространяются все или большинство маркетинговых кампаний. Эти покупатели получают только обязательные транзакционные сообщения. ГКГ помогает понять: «как ведут себя клиенты без маркетингового воздействия» и позволяет измерить инкрементальный эффект маркетинга в целом.
Например, у сети доставки суши и роллов «Много лосося» в ГКГ входят 5% клиентов. С помощью тестов компания измеряет, сколько дополнительных заказов приносит CRM-маркетинг (так называемых uplift-заказов) и какую долю они составляют от всех покупок.
Формула для расчета доли uplift-заказов:
Доля uplift-заказов в общем количестве заказов = (Число заказов на клиента в основной группе — Число заказов на клиента в контрольной группе) × Количество клиентов в основной группе / Общее число заказов за месяц × 100%
Так компания выяснила, что за 2024 год доля uplift-заказов выросла и составила 7,92% от общего числа заказов.
Сеть обувных магазинов Mario Berlucci с помощью ГКГ измеряет инкрементальную конверсию в заказ и среднюю выручку с клиента. Во время распродаж и новогодних праздников компания все же отправляет рассылки и клиентам из контрольной группы, чтобы получить максимум выручки в высокий сезон.
Вступайте в сообщество Школы управления РБК в Telegram или «Макс», чтобы общаться с руководителями из разных сфер, выстраивать нетворкинг и получать советы экспертов.
За три месяца тестов с ГКГ выяснилось: рассылки действительно приносят эффект. Конверсия в основной группе оказалась выше на 1,35 п.п., а средняя выручка на клиента (ARPU) — на 130% по сравнению с контрольной группой.
Поэтапный запуск
Это особый вид AB-теста, когда кампанию запускают постепенно, обычно из-за технических ограничений. Например, если компания запускает мобильное приложение и хочет проверить, выдержат ли серверы массовую отправку пушей, уведомления сначала отправляют только 20% пользователей. Остальные клиенты не получают уведомлений и составляют контрольную группу.
Difference-in-differences (DiD)
Метод difference-in-differences (DiD) сравнивает поведение тестовой и контрольной групп до и после маркетинговой кампании. Его используют, когда:
- AB-тест провести невозможно (например, нужно оценить кампанию постфактум);
- есть группы клиентов, получавшие коммуникации в разное время или в разных регионах;
- до кампании выручка или средний чек в группах были примерно одинаковыми.
Например, компания запустила рекламу в Москве, а в Санкт-Петербурге — нет. В обоих городах средний чек до кампании был около 1000 руб. Москва — тестовая группа, Санкт-Петербург — контрольная. После кампании средний чек вырос: в Москве до 1300 руб., в Санкт-Петербурге — до 1100 руб.
Эффект DiD считают по формуле:
Эффект DiD = (Средний чек в тест. группе после кампании − Средний чек в тест. группе до кампании) − (Средний чек в контр. группе после кампании − Средний чек в контр. группе до кампании)
Для нашего примера: (1300 − 1000) — (1100 − 1000) = 200 руб. Это и будет инкрементом: благодаря рекламе средний чек вырос на 200 руб.
Байесовский метод (BSTS)
Это статистический метод, который используют, когда нельзя остановить кампанию и выделить контрольную группу. Например, для ТВ-рекламы или уже запущенной рассылки.
Для анализа нужен разработчик, который с помощью библиотеки Google CausalImpact строит систему тестирования. В систему загружают данные минимум за год: историю продаж, сезонность, тренды. Система прогнозирует, какими были бы метрики, если бы кампании не было, и сравнивает прогноз с фактическими данными. Разница между ними показывает инкрементальный эффект.
Например, компания запустила ТВ-рекламу по всей стране. BSTS-модель учитывает сезонность и тренды, прогнозирует: без рекламы выручка составила бы 500 000 руб. Фактическая выручка — 2 000 000 руб. Значит, инкрементальный эффект рекламы — 1 500 000 руб.
Propensity score matching (PSM)
Этот метод используют, когда тестирование не проводилось, но есть данные о действиях клиентов. В отличие от AB-тестов, где сравнивают целые группы, PSM анализирует пары клиентов.
Для каждого клиента, который получил маркетинговое воздействие (например, увидел рекламу), подбирают «двойника» — человека с похожими характеристиками и поведением, но который рекламы не видел. Это уменьшает различия между группами и позволяет точнее подсчитать инкремент — разницу в целевой метрике для этих клиентов.
Ошибки при оценке инкрементальности и как их избежать
- Неверно сегментирована аудитория. Разные когорты реагируют на рекламу по-разному. Новые клиенты могут давать высокий инкремент, а лояльные — низкий, потому что купили бы в любом случае. Решение: использовать ML-алгоритмы для подбора тестовых и контрольных групп и проводить несколько тестов.
- Игнорирование внешних факторов. Сезонность, изменения продукта или сервиса, акции конкурентов — все это влияет на результат. Если не учитывать эти факторы, инкремент может быть завышен или занижен.
- Не учитывается каннибализация каналов. Например, telegram-бот может «перетягивать» трафик из email-рассылки. Тогда при подсчете инкремента бота не нужно включать заказы, которые просто перешли из email.
- Не учитывается синергия каналов. Пользователь мог увидеть баннер, потом контекстную рекламу, а купить после email-рассылки. Стандартная last click-атрибуция приписывает конверсию только последнему каналу, и компания может ошибочно посчитать другие каналы неэффективными. Решение: тестировать каналы отдельно, в разных группах и комбинациях.
- Околонулевая инкрементальность. Если инкремент почти нулевой, это сигнал перераспределить бюджет, использовать новые офферы или пересмотреть стратегию — например, внедрить программу лояльности вместо массовых акций. Инкрементальность нужно воспринимать как инструмент для принятия решений: тогда маркетинг станет осмысленным, прозрачным и перестанет «сливать» бюджет на неэффективные каналы.