Конверсия выросла в каждом сегменте и упала в целом: разбор смеси трафика

Команда улучшила конверсию и на компьютерах, и на телефонах, но общий показатель снизился. Такое возможно, если изменились доли сегментов. По одной общей цифре нельзя понять, ухудшился продукт или пришёл другой состав посетителей.

Как разобрать ситуацию

Разложите период на стабильные сегменты и сохраните для каждого числитель, знаменатель и долю трафика. Затем сравните не только проценты внутри групп, но и их веса. Контрольный расчёт с фиксированными весами помогает увидеть изменение качества при прежней структуре аудитории. Он не заменяет реальный общий результат, а объясняет его.

Пример и ожидаемый результат

Раньше было 900 визитов с компьютеров при конверсии 10% и 100 мобильных при 2%: всего 92 успеха из 1000, или 9.2%. Теперь 100 компьютерных визитов при 11% и 900 мобильных при 3%: 38 успехов из 1000, или 3.8%.

Внутри обеих групп стало лучше, но доля более слабого мобильного сегмента резко выросла. Если оставить старые веса, новая конверсия составила бы 10.2%.

Проверка перед применением

• Проверьте, что сегменты не пересекаются и вместе покрывают всю аудиторию.
• Используйте одинаковое определение конверсии в двух периодах.
• Посмотрите, не изменилась ли разметка устройства или канала после обновления аналитики.

Не выбирайте сегментацию задним числом только ради красивого объяснения. Для регулярного контроля заранее заведите несколько осмысленных разрезов и одинаково считайте их каждую неделю. В выводе разделяйте наблюдение «изменились веса» и гипотезу «новый источник привёл менее готовых людей»: второе требует дальнейшей проверки.

Границы решения

Это иллюстрация смешения групп, а не объяснение любого падения. В каждом сегменте могут оставаться дополнительные различия: новые пользователи, география, рекламные обещания и качество загрузки страницы.

Если хочется пройти весь путь от проверки выгрузки до выводов для бизнеса, посмотрите наш платный курс

Практическая аналитика данных. Перед записью сравните программу со своей задачей и подготовкой.

Техническая справка: support.google.com: документация.

Следующий шаг: Практическая аналитика: метрики, данные и выводы. По смежным вопросам: Цена регистрации и цена активного пользователя: как сравнивать каналы, Три покупки из ста: почему конверсия 3% ещё не точный прогноз.