Доверительный интервал в A/B-тесте: как читать

Абсолютный и относительный эффект

Рост конверсии с 10% до 11% — это +1 процентный пункт и +10% относительно baseline. В отчёте полезно показывать оба числа: относительный uplift выглядит крупнее и без исходного уровня легко вводит в заблуждение.

Интервал нужно строить для той шкалы, на которой принимается решение. Бизнесу может быть важна абсолютная добавка покупок или выручки, а не только относительный процент. Для нелинейных метрик и отношений простой симметричный интервал вокруг среднего не всегда корректен — применяют bootstrap, delta method или специализированную модель.

Одновременно смотрите primary metric и guardrails: ускорение конверсии может сопровождаться ростом возвратов или падением маржи.