Бутстреп: стандартные ошибки и доверительные интервалы
Содержание курса
Идея бутстрепа: выборка как замена генеральной совокупности
Представьте, что у нас есть выборка из наблюдений, и мы посчитали по ней сложную нелинейную характеристику: например, 90-й процентиль времени ответа сервера, дисперсию чека или отношение средней конверсии к среднему чеку. Для обычного среднего арифметического стандартную ошибку можно оценить формулой . Но для квантилей или отношения двух средних простой аналитической формулы стандартной ошибки либо не существует, либо она требует сильных предположений о форме исходного распределения.
В идеальном мире, чтобы узнать разброс нашей оценки , мы бы обратились к генеральной совокупности с распределением , извлекли из неё сотни независимых выборок размера , для каждой посчитали оценку и измерили стандартное отклонение полученных значений. На практике генеральная совокупность недоступна: у нас есть ровно одна выборка .
Идея непараметрического бутстрепа Брэдли Эфрона (1979) состоит в так называемом принципе подстановки («plug-in principle»). Раз неизвестное распределение недоступно, заменим его наилучшим имеющимся приближением — эмпирическим распределением выборки , которое приписывает каждому наблюдаемому значению одинаковую вероятность :
Случайное извлечение элементов из — это просто выбор элементов из исходного массива с возвращением (когда один и тот же элемент может встретиться в новой выборке несколько раз или ни разу). Полученный набор $X^LATORNMATH14X\hat{\theta}^$ — бутстреп-репликой.
Критически важно определить, что именно является элементарной единицей ресэмплинга. Единица бутстрепа жестко диктуется дизайном наблюдений:
- Если наблюдения независимы и одинаково распределены (i.i.d.), перевыбираются отдельные строки/числа.
- Если данные представляют собой связанные пары , например измерения «до» и «после» у одного пользователя, ресэмплировать нужно пары целиком как неделимые объекты. Раздельный ресэмплинг и уничтожит парную корреляцию.
- Если данные сгруппированы в две независимые группы и , бутстреп проводится независимо внутри группы и внутри группы .
