Ошибки I и II рода в A/B-тестах

Цена ошибок зависит от продукта

Ложный запуск изменения платежей может стоить дороже, чем пропуск небольшого роста кликов. Для рискованного решения выбирают более строгий alpha, дополнительные guardrails и независимое подтверждение. Для дешёвого обратимого интерфейсного эксперимента компромисс может быть другим.

Уменьшение alpha при фиксированной выборке обычно снижает мощность: доказать эффект становится труднее. Чтобы одновременно уменьшить обе ошибки, нужно больше качественных данных или менее шумная метрика.

Множественная проверка увеличивает общий шанс ошибки I рода. Если команда смотрит двадцать равноправных метрик и выбирает любую значимую, alpha одного теста уже не описывает риск всей процедуры.