Доверительный интервал в A/B-тесте: как читать

Решение через практический порог

Задайте минимально полезный эффект до эксперимента. Если весь интервал выше этого порога, данные поддерживают внедрение. Если весь интервал ниже нуля — вариант вреден. Если интервал пересекает и ноль, и полезный порог, вывод пока неопределён: возможны как бесполезность, так и ценный эффект.

Узкий интервал около нуля может быть сильным результатом: он позволяет отвергнуть практически значимое улучшение и прекратить инвестиции. Фраза «статистически незначимо» без диапазона скрывает эту разницу.

Всегда указывайте уровень доверия, метод расчёта и единицу эффекта. Интервал без контекста метрики и дизайна эксперимента нельзя интерпретировать корректно.