Статистическая значимость и p-value в A/B-тесте

Статистический тест начинает с нулевой гипотезы: наблюдаемая разница между вариантами совместима со случайным шумом. P-value — вероятность получить такой же или более экстремальный результат при условии, что нулевая гипотеза и предпосылки теста верны.

Это не вероятность того, что нулевая гипотеза верна. P-value 0,03 не означает «вероятность случайности равна 3%» и не говорит, что эффект с вероятностью 97% повторится. Он измеряет совместимость данных с конкретной моделью нулевой гипотезы.

До запуска выбирают уровень значимости alpha, часто 0,05. Если p-value меньше alpha, результат называют статистически значимым и отвергают нулевую гипотезу по заранее установленному правилу.

Что проверяет t-тест

Для сравнения средних часто используют t-тест. В продуктовой аналитике обычно предпочтителен вариант Уэлча, который не требует равенства дисперсий групп. Тест предполагает независимые наблюдения и адекватную единицу анализа.

Если один пользователь создаёт много событий, нельзя бездумно считать события независимыми строками: стандартная ошибка получится слишком маленькой. Метрику агрегируют на уровне рандомизации или используют метод, учитывающий кластеризацию.

Большая выборка делает значимой даже крошечную разницу. Поэтому вместе с p-value показывают оценку эффекта и доверительный интервал. Они отвечают на более полезный вопрос: какого масштаба изменение согласуется с данными.

Типичные ошибки интерпретации

Нельзя сначала много раз смотреть на результат, а остановить тест при первом p-value ниже 0,05: обычный порог не учитывает последовательный просмотр. Нельзя выбирать метрику после того, как увидели красивый эффект. При проверке десятков метрик растёт вероятность хотя бы одного случайного «успеха».

Практический отчёт содержит дизайн эксперимента, размер групп, длительность, исходную и новую метрику, абсолютный и относительный uplift, доверительный интервал и p-value. Затем бизнес сравнивает диапазон эффекта с минимально полезным изменением и возможными рисками.

Статистическая значимость — фильтр против части случайных находок, а не сертификат полезности и не замена корректному дизайну.