Непараметрические ранговые и вычислительные методы

Бутстреп: стандартные ошибки и доверительные интервалы

Содержание курса

Где обычный бутстреп ломается

Непараметрический бутстреп — мощный вычислительный инструмент, но его состоятельность не универсальна. Метод опирается на то, что эмпирическое распределение адекватно воспроизводит поведение выборочной статистики вокруг истинного параметра. Разберём типичные ситуации, где стандартная схема даёт сбой.

1. Экстремальные статистики и оценивание границ носителя

Классический пример несостоятельности обычного бутстрепа — оценка верхней границы в равномерном распределении по выборочному максимуму .

Пусть в выборке размера максимум уникален. При формировании бутстреп-выборки условно на исходных данных выполняется независимых извлечений индексов с возвращением. Вероятность того, что индекс максимального элемента не выпадет ни в одном из извлечений, равна . Соответственно, бутстреп-максимум $M^_n = \max(X^)M_n$ с вероятностью:

$$P(M^*_n = M_n \mid X) = 1 - \left(1

  • \frac{1}{n}\right)^n \xrightarrow{n \to \infty} 1
  • e^{-1} 0.632$$

С оставшейся вероятностью бутстреп-максимум строго меньше , а значений больше в бутстреп-выборке появиться не может. Если рассмотреть неотрицательную ошибку ресэмплинга , то её распределение сохраняет дискретный атом массы в нуле при любом сколь угодно большом .

В то же время для равномерного закона истинная нормированная ошибка оценивания границы слабо сходится к непрерывному экспоненциальному распределению без дискретных атомов. Из-за неустранимой массы в нуле бутстреп оказывается несостоятельным для аппроксимации предельного закона экстремума в этой задаче.

2. Нулевые знаменатели в нелинейных статистиках

При оценке отношений величин (например, отношения средней выручки к среднему числу кликов или отношения средних ) в бутстреп-выборке знаменатель может случайно обратиться в ноль. Деление на ноль математически не определено.

При этом принципиально различать числитель и знаменатель:

  • Если в конкретной реплике числитель равен нулю, а знаменатель ненулевой, результат корректно равен — это содержательное числовое значение, и реплика обязана остаться в массиве.
  • Если знаменатель равен нулю, значение статистики не существует. Выбрасывать такие реплики молча (например, удаляя NaN или inf) категорически нельзя: отсечение меняет вероятностную меру и искажает оценки доверительных границ. В такой ситуации алгоритм должен явно сигнализировать об ошибке или неприменимости модели отношения к выборке с риском нулевого знаменателя.

3. Разрушение парной структуры данных

Пусть данные состоят из независимых одинаково распределенных пар , например измерений одних и тех же пользователей до и после внедрения функционала. Дисперсия разности выборочных средних описывается точной формулой:

$$\mathrm{Var}(\bar{X} - \bar{Y}) = \frac{\mathrm{Var}(X) + \mathrm{Var}(Y)

  • 2,\mathrm{Cov}(X, Y)}{n}$$

Если выполнить раздельный ресэмплинг и независимо друг от друга вместо переотбора пар целиком, ковариация между бутстреп-векторами станет равной нулю. В результате член выпадет из расчёта. При положительной зависимости между измерениями (что типично для парных тестов) раздельный отбор существенно завысит бутстреп-оценку стандартной ошибки , а при отрицательной ковариации — занизит её (оставив формулу дисперсии неизменной лишь при строго нулевой ковариации). Поэтому связанные пары всегда необходимо ресэмплировать строками целиком.

Начать заново?

Помощник начнёт новый диалог по этой задаче. Текущая переписка останется в истории до конца срока хранения.

О переписке

Можно приложить до трёх фото PNG, JPEG или WebP по 5 МБ.

Переписка и фото хранятся 90 дней после последнего принятого сообщения и доступны преподавателям курса. Чтобы попросить преподавателя подключиться, отправьте обращение из диалога.

Проверка решения остаётся отдельным действием.