Переобучение и недообучение модели: как отличить

Learning curves

Кривая по размеру train показывает качество train и validation при постепенном добавлении данных. Если validation продолжает улучшаться, а разрыв сокращается, дополнительные размеченные примеры могут помочь. Если обе кривые вышли на плохое плато, нужны более информативные признаки или другой класс моделей.

Кривая по эпохам или сложности помогает найти момент, когда train продолжает улучшаться, а validation начинает ухудшаться. Для итеративного обучения используют early stopping по validation, но test при этом не трогают.

Один случайный split может вводить в заблуждение. Для небольших независимых данных применяют cross-validation и смотрят разброс между folds, а для временных данных — последовательную backtesting-схему.