Бутстреп: стандартные ошибки и доверительные интервалы
Содержание курса
Векторизованный ресэмплинг и стандартная ошибка в NumPy
Повторять ресэмплинг раз в цикле for на чистом Python медленно. В NumPy этап генерации псевдовыборок полностью векторизуется за счет создания двумерной матрицы случайных индексов.
Пусть в выборке элементов, и мы хотим сгенерировать бутстреп-псевдовыборок. Для этого создается массив индексов формы , где каждый элемент — случайное целое число от до с равной вероятностью:
import numpy as np
x = np.array([3.0, 4.0, 7.0, 8.0, 12.0], dtype=np.float64)
n = len(x)
B = 10000
rng = np.random.default_rng(2026)
indices = rng.integers(0, n, size=(B, n))
boot_samples = x[indices] # матрица формы (B, n)
Выражение x[indices] использует целочисленную индексацию NumPy: строка с номером в матрице boot_samples представляет собой -ю бутстреп-выборку размера .
Вычисление самой статистики также может быть полностью векторизовано, если используемая функция поддерживает агрегацию вдоль заданной оси. Например, исправленная выборочная дисперсия для исходных данных и для каждой бутстреп-строки матрицы вычисляется через параметр axis=1 без циклов. Если же статистика задана произвольной функцией stat_func, принимающей только одномерный массив, её вызывают последовательно для каждой строки матрицы бутстреп-выборок.
Рассчитаем дисперсию вдоль строк сформированной матрицы:
point_estimate = float(np.var(x, ddof=1))
boot_estimates = np.var(boot_samples, axis=1, ddof=1)
se_boot = float(np.std(boot_estimates, ddof=1))
print(f"Точечная оценка: {point_estimate:.4f}")
print(f"Бутстреп-SE: {se_boot:.6f}")
Вывод программы:
Точечная оценка: 12.7000 Бутстреп-SE: 5.457728
Стандартная ошибка бутстрепа — это выборочное стандартное отклонение полученных реплик статистики с поправкой Бесселя ddof=1:
$$\mathrm{SE}{\text{boot}} = \sqrt{\frac{1}{B - 1} \sum{b=1}^B \left(\hat{\theta}^*_b
- \bar{\theta}^\right)^2}, \quad \text{где } \bar{}^ = \sum_{b=1}^B \hat{}^*_b$$
Таким образом, без аналитического дифференцирования и без предположений о нормальности мы получили оценку стандартной ошибки дисперсии для малой выборки.
