Train, validation и test: как разделить данные

Train-выборка используется для подбора параметров модели. Validation — для выбора признаков, гиперпараметров и порогов. Test хранится до финальной оценки и имитирует новые данные, которых команда не видела при принятии решений.

Если много раз смотреть на test и менять модель, test фактически становится validation. Финальная метрика будет оптимистичной, даже если веса модели напрямую на test не обучались. Для продолжительной разработки нужен новый holdout или корректная схема cross-validation.

Базовый случай с независимыми объектами можно разделить случайно. Для классификации часто сохраняют доли классов через stratification, особенно при редком положительном классе.