Data ScienceНачальныйPublished

A/B тесты и анализ данных на Python

Практический курс по A/B-тестированию и продуктовым метрикам: формулируем гипотезы, считаем размер выборки, запускаем эксперименты и анализируем результаты. От первой идеи до внедрения изменений в продукт — без «воды» и лишней теории.

#stepik-import

О курсе

Подробнее о курсе

Вас ждёт полный цикл работы с A/B-тестами: Продуктовые метрики. DAU/WAU/MAU, retention, воронки и stickiness. Дизайн эксперимента. Проверка идей, выбор метрик успеха и расчёт длительности. Статистика без боли. t-test, непараметрические критерии, бутстрап и современные подходы. Интерпретация результатов. Uplift, доверительные интервалы, ошибки I и II рода. Частые ошибки. Peeking, carry-over, конкуренция эффектов — и как их избежать. Формат: текстовые лекции, графики, примеры кода на Python и SQL, тесты и практика на реальных датасетах. После прохождения финального проекта вы получите сертификат Stepik.

Записей

Slug

a-b-testy-i-analiz-dannyh-na-python

Структура курса

Секции и уроки

6 секц.

Секция 1

Введение

1 уроков

Урок 1

Как устроен курс?

1 шагов

Секция 2

Продуктовые метрики

3 уроков

Урок 1

Активные пользователи: DAU, WAU, MAU и «липкость» (Stickiness)

12 шагов

Урок 2

Удержание пользователей (Retention Rate)

12 шагов

Урок 3

Воронка конверсии и продуктовые показатели воронки

13 шагов

Секция 3

Дизайн эксперимента (A/B тестирование)

3 уроков

Урок 1

Гипотезы и проверка идей с помощью A/B-тестов

14 шагов

Урок 2

Выбор метрик успеха и целей эксперимента

16 шагов

Урок 3

Размер выборки и длительность эксперимента

16 шагов

Секция 4

Статистические тесты и проверка значимости

3 уроков

Урок 1

Статистическая значимость и t-тест

16 шагов

Урок 2

Непараметрические тесты: критерий Манна–Уитни и другие

14 шагов

Урок 3

Бутстрап и современные подходы к A/B-тестам

16 шагов

Секция 5

Интерпретация результатов эксперимента

3 уроков

Урок 1

Оценка эффекта (uplift) и его значимость

11 шагов

Урок 2

Доверительные интервалы и их использование

14 шагов

Урок 3

Ошибки I и II рода, доверие к результатам теста

14 шагов

Секция 6

Частые ошибки и подводные камни в A/B‑тестировании

4 уроков

Урок 1

Преждевременное прекращение теста (Peeking)

14 шагов

Урок 2

Эффект переноса (Carryover effect)

12 шагов

Урок 3

Пересекающиеся эксперименты и конкуренция эффектов

9 шагов

Урок 4

Обратная связь

1 шагов