Планирование A/B-теста: MDE, мощность, метрики и решение

Тест значимый, а эффект слишком мал, чтобы окупить изменение. Или команда снизила MDE и удивилась, что эксперимент стал дольше. Эта подборка связывает планирование A/B-теста с решением, которое нужно принять после результата.

Начать практику: Нулевая гипотеза A/B-теста для двух конверсий.

Вопросы с выбором ответа. Проверка доступна без регистрации.

Как проходить

Начните с нулевой гипотезы и главной метрики. Затем разберите множественные проверки, изменение требуемой выборки и сравнение нескольких групп. Последние вопросы — о мощности, бизнес-пороге и эффекте меньше запланированного MDE. Числа для расчёта приведены в условиях.

На что обратить внимание

Разведите три величины: уровень ошибки теста, эффект, под который планируется мощность, и минимальную пользу для бизнеса. MDE помогает планировать эксперимент, но не заменяет расчёт ценности полученного изменения.

Задания

1. Нулевая гипотеза A/B-теста для двух конверсий — вопрос.
2. Метрика A/B-теста для сокращённой формы — вопрос.
3. Поправка Бонферрони для 12 метрик — вопрос.
4. MDE и размер выборки: во сколько раз меняется объём теста — вопрос.
5. Сравнение конверсии трёх групп: выбор статистического теста — вопрос.
6. Значимый A/B-тест с маленьким бизнес-эффектом — вопрос.
7. Мощность теста 90%: сколько результатов значимы — вопрос.
8. Uplift меньше MDE, но p-value значим — вопрос.

Продолжить обучение

Разберите тему по порядку в курсе A/B тесты и анализ данных на Python.

Связанная практика: A/B-тесты: метрики, статистика и правила остановки.