Размер выборки и длительность A/B-теста

Из выборки в длительность

После расчёта наблюдений оцените дневной поток подходящих пользователей и долю, попадающую в эксперимент. Простое деление даёт минимальную техническую длительность, но продуктовый тест обычно должен покрыть целые недельные циклы.

Два дня с большим трафиком не заменяют две недели, если поведение будней и выходных различается. Также учитывайте время созревания метрики: покупка или удержание могут проявляться позже назначения варианта.

Уникальным пользователям нужно стабильно показывать один вариант. Повторные визиты не увеличивают независимую выборку так же, как новые пользователи. Для кластерной рандомизации по компаниям или городам расчёт корректируют на внутрикластерную зависимость.