Статистическая значимость и p-value в A/B-тесте

Статистический тест начинает с нулевой гипотезы: наблюдаемая разница между вариантами совместима со случайным шумом. P-value — вероятность получить такой же или более экстремальный результат при условии, что нулевая гипотеза и предпосылки теста верны.

Это не вероятность того, что нулевая гипотеза верна. P-value 0,03 не означает «вероятность случайности равна 3%» и не говорит, что эффект с вероятностью 97% повторится. Он измеряет совместимость данных с конкретной моделью нулевой гипотезы.

До запуска выбирают уровень значимости alpha, часто 0,05. Если p-value меньше alpha, результат называют статистически значимым и отвергают нулевую гипотезу по заранее установленному правилу.