Peeking в A/B-тестах: почему нельзя остановиться раньше
Содержание курса
Peeking — многократный просмотр результата с решением остановить обычный фиксированный тест, как только p-value пересёк желаемый порог. Каждый новый шанс остановиться на случайном всплеске повышает общий риск ложноположительного вывода.
Проблема не в открытом dashboard. Мониторить здоровье эксперимента можно и нужно: распределение трафика, ошибки, sample ratio mismatch, технические guardrails. Нарушение возникает, когда решение о победе принимают по обычному порогу, хотя число и моменты проверок не были учтены в статистической процедуре.
Даже при нулевом эффекте накопленная разница колеблется. Если ждать первого удачного пересечения, редкое событие со временем становится гораздо вероятнее.