Ошибки I и II рода в A/B-тестах

Ошибка I рода — отвергнуть верную нулевую гипотезу: объявить эффект, когда наблюдаемая разница возникла из шума. Её вероятность контролирует уровень значимости alpha при выполнении предпосылок теста.

Ошибка II рода — не отвергнуть нулевую гипотезу, когда реальный эффект заданного масштаба существует. Её вероятность обозначают beta, а 1 - beta называют мощностью. Часто планируют мощность 80% или 90%, но конкретный выбор зависит от цены пропуска.

Эти ошибки относятся к повторяемой процедуре и выбранной альтернативе. Для мощности нужно определить величину эффекта: тест не имеет одной мощности «на все возможные uplift».

Цена ошибок зависит от продукта

Ложный запуск изменения платежей может стоить дороже, чем пропуск небольшого роста кликов. Для рискованного решения выбирают более строгий alpha, дополнительные guardrails и независимое подтверждение. Для дешёвого обратимого интерфейсного эксперимента компромисс может быть другим.

Уменьшение alpha при фиксированной выборке обычно снижает мощность: доказать эффект становится труднее. Чтобы одновременно уменьшить обе ошибки, нужно больше качественных данных или менее шумная метрика.

Множественная проверка увеличивает общий шанс ошибки I рода. Если команда смотрит двадцать равноправных метрик и выбирает любую значимую, alpha одного теста уже не описывает риск всей процедуры.

Как управлять риском

Заранее выделите одну primary metric и ограниченный набор guardrails. Рассчитайте выборку под MDE и нужную мощность. Не меняйте гипотезу после просмотра данных и отделяйте исследовательские находки от подтверждающего эксперимента.

После теста показывайте не только бинарное «значимо/не значимо», но и эффект с интервалом. Это позволяет обсуждать экономическую цену ошибок. Иногда безопаснее внедрить постепенно с мониторингом, иногда — повторить тест, а иногда узкий нулевой эффект уже достаточен, чтобы отказаться.

Статистический порог не выбирает решение за продукт. Он формализует одну часть неопределённости, а бизнес задаёт стоимость ложного запуска и пропуска.

Четыре исхода проверки гипотезы

Представьте эксперимент с изменением формы оплаты. Если эффекта нет и тест его не обнаружил, это верный отрицательный вывод. Если эффекта нет, но тест объявил рост, это ошибка I рода. Если полезный эффект есть, но его не обнаружили, это ошибка II рода. Если полезный эффект есть и тест его обнаружил, это верный положительный вывод.

При alpha=0,05 около 5% повторений корректно спланированной процедуры могут дать ошибку I рода, когда нулевая гипотеза верна. Мощность 80% относится к заранее выбранной величине эффекта: при этой альтернативе примерно 20% повторений могут её пропустить. Это не «20% вероятность, что наш отрицательный вывод неверный».

Для самопроверки рассмотрите два продукта. В первом ложный запуск ломает оплату, во втором пропуск улучшения лишь откладывает смену цвета кнопки. Одного общего порога риска им может быть недостаточно. Зафиксируйте, какой исход дороже, а затем выбирайте alpha, мощность и guardrails. Уменьшение alpha при неизменной выборке не улучшает оба риска одновременно.

Продолжите разбор: Peeking в A/B-тестах: почему нельзя остановиться раньше.