Размер выборки и длительность A/B-теста

Почему нельзя пересчитывать план после старта

Остановить тест при первом удобном результате — значит изменить правило принятия решения на основании самих данных. Это повышает частоту ложноположительных выводов. Если бизнесу нужен непрерывный мониторинг, заранее выбирают последовательный метод и соответствующие границы.

До запуска зафиксируйте primary metric, guardrail-метрики, MDE, alpha, мощность, единицу рандомизации, целевую выборку, минимальную длительность и допустимые исключения данных. Проверка качества трафика не должна превращаться в поиск способа «добыть значимость».

Если поток слишком мал, честные варианты — принять более крупный MDE, объединить трафик, увеличить срок или не запускать тест. Статистика не создаёт информацию из недостатка наблюдений.