Bootstrap в A/B-тестах: доверительный интервал

Единица ресемплирования

Bootstrap должен сохранять структуру данных. Если вариант назначается пользователю, а таблица содержит события, ресемплируют пользователей вместе со всеми их событиями, а не отдельные строки. Иначе зависимые события искусственно увеличат эффективный размер выборки.

Для временных рядов простой независимый bootstrap часто разрушает автокорреляцию; используют block bootstrap или временную модель. Для кластерного эксперимента ресемплируют кластеры. Метод не исправляет плохую рандомизацию, утечку между группами и систематическое смещение.

Число итераций влияет на стабильность хвостовых квантилей. Фиксируйте seed для воспроизводимости и проверяйте, что увеличение итераций заметно не меняет вывод.