Статистическая значимость и p-value в A/B-тесте

Что проверяет t-тест

Для сравнения средних часто используют t-тест. В продуктовой аналитике обычно предпочтителен вариант Уэлча, который не требует равенства дисперсий групп. Тест предполагает независимые наблюдения и адекватную единицу анализа.

Если один пользователь создаёт много событий, нельзя бездумно считать события независимыми строками: стандартная ошибка получится слишком маленькой. Метрику агрегируют на уровне рандомизации или используют метод, учитывающий кластеризацию.

Большая выборка делает значимой даже крошечную разницу. Поэтому вместе с p-value показывают оценку эффекта и доверительный интервал. Они отвечают на более полезный вопрос: какого масштаба изменение согласуется с данными.