Размер выборки и длительность A/B-теста

Размер выборки рассчитывают до запуска эксперимента. Для него нужны baseline-уровень метрики, минимальный обнаруживаемый эффект (MDE), уровень значимости alpha, желаемая мощность и схема распределения трафика.

MDE — не прогноз и не «эффект, который хочется увидеть». Это наименьшее изменение, ради которого бизнес готов принять решение. Чем меньше MDE, тем больше наблюдений требуется. Более высокая мощность тоже увеличивает выборку, зато снижает риск пропустить реальный эффект выбранного масштаба.

Для конверсии расчёт использует дисперсию бинарной метрики, для среднего чека — оценку дисперсии непрерывной метрики. Исторические данные должны соответствовать той же единице анализа и похожему трафику.