Bootstrap в A/B-тестах: доверительный интервал

Ограничения и интерпретация

Percentile bootstrap прост, но может работать плохо при сильном смещении, малой выборке или статистике на границе допустимых значений. Существуют basic и BCa-интервалы; выбор метода нужно зафиксировать до просмотра желаемого результата.

Bootstrap не означает «метод без предположений». Он предполагает, что наблюдаемая выборка достаточно представляет генеральную совокупность и что схема ресемплирования отражает механизм получения данных.

В отчёте укажите метрику, единицу ресемплирования, число итераций, seed и тип интервала. Сравните результат с простым аналитическим методом на тестовой задаче: резкое расхождение часто обнаруживает ошибку реализации или неверную единицу анализа.