Доверительный интервал в A/B-тесте: как читать

Точечная оценка uplift показывает одну разницу между A и B, но выборка случайна. Доверительный интервал добавляет диапазон неопределённости вокруг оценки. Чем больше шум и меньше данных, тем он шире.

Частотная интерпретация 95%-интервала относится к процедуре: если многократно повторять эксперимент и каждый раз строить интервал тем же методом, примерно 95% таких интервалов накроют истинный параметр. Для уже рассчитанного интервала параметр не становится случайной монетой с вероятностью 95%.

Если интервал разницы включает ноль, данные совместимы и с улучшением, и с отсутствием эффекта либо ухудшением. Это не доказывает равенство вариантов.

Абсолютный и относительный эффект

Рост конверсии с 10% до 11% — это +1 процентный пункт и +10% относительно baseline. В отчёте полезно показывать оба числа: относительный uplift выглядит крупнее и без исходного уровня легко вводит в заблуждение.

Интервал нужно строить для той шкалы, на которой принимается решение. Бизнесу может быть важна абсолютная добавка покупок или выручки, а не только относительный процент. Для нелинейных метрик и отношений простой симметричный интервал вокруг среднего не всегда корректен — применяют bootstrap, delta method или специализированную модель.

Одновременно смотрите primary metric и guardrails: ускорение конверсии может сопровождаться ростом возвратов или падением маржи.

Решение через практический порог

Задайте минимально полезный эффект до эксперимента. Если весь интервал выше этого порога, данные поддерживают внедрение. Если весь интервал ниже нуля — вариант вреден. Если интервал пересекает и ноль, и полезный порог, вывод пока неопределён: возможны как бесполезность, так и ценный эффект.

Узкий интервал около нуля может быть сильным результатом: он позволяет отвергнуть практически значимое улучшение и прекратить инвестиции. Фраза «статистически незначимо» без диапазона скрывает эту разницу.

Всегда указывайте уровень доверия, метод расчёта и единицу эффекта. Интервал без контекста метрики и дизайна эксперимента нельзя интерпретировать корректно.

Посчитаем интервал разницы конверсий

Возьмём независимые группы по 2000 пользователей: 200 покупок в A и 250 в B. Разница равна 0,025, то есть 2,5 процентного пункта. Построим учебный 95%-интервал Уолда для разницы двух долей. Здесь стандартная ошибка использует отдельные оценки долей, в отличие от pooled-оценки для теста равенства.

from math import sqrt
p_a, p_b = 200/2000, 250/2000
effect = p_b - p_a
se = sqrt(p_a*(1-p_a)/2000 + p_b*(1-p_b)/2000)
low, high = effect - 1.96*se, effect + 1.96*se
print(round(100*low, 3), round(100*high, 3))
assert 0 < low < effect < high

Границы примерно 0,543 и 4,457 процентного пункта. Интервал не включает ноль, но включает минимально полезный эффект в 1 п.п.: уверенно обещать хотя бы такую прибавку нельзя. Для очень малых выборок или долей около 0 и 1 нормальное приближение может работать плохо. Определение интервала разности долей.

Продолжите разбор: Размер выборки и длительность A/B-теста.