A/B-тесты: метрики, статистика и правила остановки
Команда видит рост метрики в эксперименте, но перед решением нужно понять размер эффекта, допустимые ошибки и условия остановки. Одного взгляда на p-value для этого недостаточно.
В числовых задачах вы рассчитаете продуктовую метрику, переведёте относительный эффект в процентные пункты, разберёте MDE, CUPED, интервалы и дополнительные конверсии. Вопросы с выбором ответа посвящены постановке теста, ежедневному просмотру результатов и проверке дисперсий.
Используйте числа из условия и указанную точность. Для вопросов о процедуре выбирайте поведение, соответствующее заранее выбранному правилу эксперимента.
Задачи с проверкой
- Липкость продукта: рассчитать DAU / MAU в процентах
- MDE: перевести относительный рост в процентные пункты
- CUPED: снижение дисперсии по корреляции
- Guardrail в A/B-тесте: предельный p95 TTI
- A/B-тест: вычислить t-статистику по сводным данным
- Bootstrap: рассчитать ширину доверительного интервала
- Uplift: сколько дополнительных конверсий на тысячу пользователей
- A/A-тесты: ожидаемое число ложных срабатываний
- Поправка Бонферрони: порог для восьми гипотез
- Можно ли менять двусторонний A/B-тест после просмотра данных
- Peeking: ежедневный p-value и остановка A/B-теста
- Тест Левена: какую гипотезу он проверяет
Продолжите работу над проектом
Откройте программу платного курса «A/B-тесты и анализ данных на Python». Выберите раздел под свою задачу и продолжите практику в системной программе.
Если сначала нужен разбор эксперимента, начните с проверки распределения пользователей через SRM, затем посмотрите bootstrap среднего чека по пользователям.
- Липкость продукта: рассчитать DAU / MAU в процентах
Липкость продукта: рассчитать DAU / MAU в процентах. Самостоятельная задача Latorn с проверкой ответа.
A/B тесты и анализ данных на Python - MDE: перевести относительный рост в процентные пункты
MDE: перевести относительный рост в процентные пункты. Самостоятельная задача Latorn с проверкой ответа.
A/B тесты и анализ данных на Python - CUPED: снижение дисперсии по корреляции
CUPED: снижение дисперсии по корреляции. Самостоятельная задача Latorn с проверкой ответа.
A/B тесты и анализ данных на Python - Guardrail в A/B-тесте: предельный p95 TTI
Guardrail в A/B-тесте: предельный p95 TTI. Самостоятельная задача Latorn с проверкой ответа.
A/B тесты и анализ данных на Python - A/B-тест: вычислить t-статистику по сводным данным
A/B-тест: вычислить t-статистику по сводным данным. Самостоятельная задача Latorn с проверкой ответа.
A/B тесты и анализ данных на Python - Bootstrap: рассчитать ширину доверительного интервала
Bootstrap: рассчитать ширину доверительного интервала. Самостоятельная задача Latorn с проверкой ответа.
A/B тесты и анализ данных на Python - Uplift: сколько дополнительных конверсий на тысячу пользователей
Uplift: сколько дополнительных конверсий на тысячу пользователей. Самостоятельная задача Latorn с проверкой ответа.
A/B тесты и анализ данных на Python - A/A-тесты: ожидаемое число ложных срабатываний
A/A-тесты: ожидаемое число ложных срабатываний. Самостоятельная задача Latorn с проверкой ответа.
A/B тесты и анализ данных на Python - Поправка Бонферрони: порог для восьми гипотез
Поправка Бонферрони: порог для восьми гипотез. Самостоятельная задача Latorn с проверкой ответа.
A/B тесты и анализ данных на Python - Можно ли менять двусторонний A/B-тест после просмотра данных
Можно ли менять двусторонний A/B-тест после просмотра данных. Самостоятельная задача Latorn с проверкой ответа.
A/B тесты и анализ данных на Python - Peeking: ежедневный p-value и остановка A/B-теста
Peeking: ежедневный p-value и остановка A/B-теста. Самостоятельная задача Latorn с проверкой ответа.
A/B тесты и анализ данных на Python - Тест Левена: какую гипотезу он проверяет
Тест Левена: какую гипотезу он проверяет. Самостоятельная задача Latorn с проверкой ответа.
A/B тесты и анализ данных на Python
