MAE, MSE, RMSE и единицы ошибки
Содержание курса
Интерпретация MAE и RMSE в единицах целевой переменной и сигнал разрыва
Датасет diabetes предсказывает количественный показатель прогрессирования болезни — условная шкала без прямого «рублёвого» смысла, но принцип интерпретации универсален. Допустим, модель показала MAE ≈ 44 и RMSE ≈ 55. Оба числа — в единицах целевой переменной. Это означает: в среднем по тестовым объектам модель ошибается примерно на 44 единицы; при этом типичная «бо́льшая» ошибка, взвешенная квадратичным штрафом, соответствует отклонению порядка 55 единиц.
MSE здесь не интерпретируют напрямую: число вида 2900 в «единицах²» не сопоставимо ни с диапазоном целевой переменной, ни с чем-либо предметным. Именно поэтому RMSE существует — он возвращает метрику в исходное пространство.
Разрыв между RMSE и MAE несёт отдельную информацию. Если RMSE ненамного больше MAE, ошибки примерно одного порядка на всей выборке. Если разрыв заметный — например, MAE = 44, а RMSE = 55 — это значит, что часть предсказаний сильно промахивается: квадрат крупных ошибок тянет MSE вверх, а значит, и RMSE. Сам по себе этот разрыв не говорит, какие именно объекты ошиблись и почему — для этого нужно смотреть на распределение ошибок отдельно. Но он служит первым сигналом: ошибки неоднородны.
Практическое правило: отчитывайтесь о модели числами MAE и RMSE вместе. MAE даёт «средний» промах, понятный без математики. RMSE показывает, насколько модель чувствительна к крупным промахам. Вместе они дают больше, чем каждое число отдельно.
Один большой промах меняет RMSE сильнее
У трёх предсказаний абсолютные ошибки 1, 1 и 8. MAE равен 10/3, MSE — 66/3, а RMSE — корню из 22. Крупная ошибка возводится в квадрат, поэтому RMSE становится заметно выше MAE. Посчитаем оба значения без scikit-learn.
from math import sqrt
y = [10,20,30]
pred = [11,19,38]
errors = [abs(a-b) for a,b in zip(y,pred)]
mae = sum(errors)/len(errors)
rmse = sqrt(sum(e*e for e in errors)/len(errors))
print(round(mae,3), round(rmse,3))
assert rmse > mae
Получится MAE около 3,333 и RMSE около 4,690. Если цель — цена в рублях, оба результата выражены в рублях. Для разных масштабов целей абсолютные метрики нельзя сравнивать без контекста. Проверьте ошибку отдельно на важных сегментах, чтобы маленькая общая MAE не скрыла провал на дорогих объектах.
Продолжите разбор: Матрица ошибок: TP, FP, TN, FN.