Три покупки из ста: почему конверсия 3% ещё не точный прогноз

Канал привёл сто человек и три покупки. Деление даёт 3%, но следующий такой набор не обязан принести ровно три заказа. Доля на маленькой выборке — оценка с большой неопределённостью, которую полезно показывать вместе с точечным результатом.

Как разобрать ситуацию

Для независимых бинарных наблюдений можно рассчитать интервал Уилсона. В примере он описывает статистическую неопределённость доли при фиксированном процессе привлечения. Он не учитывает сезонность, изменение ставок или то, что один человек пришёл несколько раз. Поэтому сначала определите единицу наблюдения, а уже затем применяйте формулу.

Пример и ожидаемый результат

При k=3, n=100 и z=1.96 точечная доля равна 0.03. Приблизительный 95-процентный интервал Уилсона составляет 1.0–8.5%. Диапазон достаточно широк, чтобы не обещать окупаемость на основании одного удачного дня.

Ожидаемый результат анализа — 3% рядом с исходными 3/100 и приблизительным интервалом. Это честнее, чем выводить 3.000% и создавать видимость высокой точности.

Проверка перед применением

• Считайте людей или независимые попытки, а не произвольную смесь визитов и аккаунтов.
• Убедитесь, что окно ожидания покупки завершилось для всей когорты.
• Не выбирайте момент остановки только потому, что текущая конверсия стала красивой.

Для решения о бюджете полезно подставить нижнюю, среднюю и верхнюю оценки доли в собственную модель маржи. Если экономика работает только на верхней границе, уверенного основания масштабировать пока нет. Если результат всё ещё интересен при нижней оценке, можно продолжать проверку с понятным ограничением риска.

Границы решения

Интервал не показывает вероятность, что конкретный клиент купит, и не исправляет смещение источника данных. Для сравнения двух вариантов и последовательного мониторинга нужны соответствующий дизайн и заранее заданные правила решения.

Если хочется пройти весь путь от проверки выгрузки до выводов для бизнеса, посмотрите наш платный курс

Практическая аналитика данных. Перед записью сравните программу со своей задачей и подготовкой.

Техническая справка: www.itl.nist.gov: документация.

Следующий шаг: Практическая аналитика: метрики, данные и выводы. По смежным вопросам: Конверсия выросла в каждом сегменте и упала в целом: разбор смеси трафика, Заказы выросли, покупателей столько же: как проверить повторные покупки.