Ошибки I и II рода в A/B-тестах

Ошибка I рода — отвергнуть верную нулевую гипотезу: объявить эффект, когда наблюдаемая разница возникла из шума. Её вероятность контролирует уровень значимости alpha при выполнении предпосылок теста.

Ошибка II рода — не отвергнуть нулевую гипотезу, когда реальный эффект заданного масштаба существует. Её вероятность обозначают beta, а 1 - beta называют мощностью. Часто планируют мощность 80% или 90%, но конкретный выбор зависит от цены пропуска.

Эти ошибки относятся к повторяемой процедуре и выбранной альтернативе. Для мощности нужно определить величину эффекта: тест не имеет одной мощности «на все возможные uplift».