MAE, MSE, RMSE и единицы ошибки

Интерпретация MAE и RMSE в единицах целевой переменной и сигнал разрыва

Датасет diabetes предсказывает количественный показатель прогрессирования болезни — условная шкала без прямого «рублёвого» смысла, но принцип интерпретации универсален. Допустим, модель показала MAE ≈ 44 и RMSE ≈ 55. Оба числа — в единицах целевой переменной. Это означает: в среднем по тестовым объектам модель ошибается примерно на 44 единицы; при этом типичная «бо́льшая» ошибка, взвешенная квадратичным штрафом, соответствует отклонению порядка 55 единиц.

MSE здесь не интерпретируют напрямую: число вида 2900 в «единицах²» не сопоставимо ни с диапазоном целевой переменной, ни с чем-либо предметным. Именно поэтому RMSE существует — он возвращает метрику в исходное пространство.

Разрыв между RMSE и MAE несёт отдельную информацию. Если RMSE ненамного больше MAE, ошибки примерно одного порядка на всей выборке. Если разрыв заметный — например, MAE = 44, а RMSE = 55 — это значит, что часть предсказаний сильно промахивается: квадрат крупных ошибок тянет MSE вверх, а значит, и RMSE. Сам по себе этот разрыв не говорит, какие именно объекты ошиблись и почему — для этого нужно смотреть на распределение ошибок отдельно. Но он служит первым сигналом: ошибки неоднородны.

Практическое правило: отчитывайтесь о модели числами MAE и RMSE вместе. MAE даёт «средний» промах, понятный без математики. RMSE показывает, насколько модель чувствительна к крупным промахам. Вместе они дают больше, чем каждое число отдельно.