Train, validation и test: где выбирать модель
Содержание курса
Пока модель одна, схема кажется простой: разделили данные на две части, обучили на первой, посчитали метрику на второй и сделали вывод. Сложности начинаются в тот момент, когда вариантов становится несколько. Как только мы начинаем перебирать признаки или сравнивать разные подходы, привычной схемы из двух частей перестаёт хватать.
Что меняется, когда моделей несколько
Представьте ситуацию: у нас есть три разные идеи, как предсказывать целевую переменную. Если мы обучим каждую идею на обучающей части, а потом выберем лучшую по результатам на отложенной тестовой выборке, эта тестовая выборка перестанет быть независимой. Мы не вызывали на ней метод обучения напрямую, но использовали её результат как критерий отбора. Лучшая модель могла случайно угадать специфические особенности именно этих контрольных строк, и надёжной оценки её реальной работы у нас уже не останется.
Чтобы разорвать эту зависимость, выборку делят не на две, а на три части с чётким разделением ролей:
Обучающая часть (train) используется исключительно для подгонки внутренних параметров: расчёта весов линейной регрессии или вычисления среднего значения.
Валидационная часть (validation) нужна для принятия решений между кандидатами. Мы прогоняем через неё предсказания всех вариантов и по её метрике определяем победителя.
Тестовая часть (test) остаётся полностью изолированной. Она не участвует ни в обучении коэффициентов, ни в сравнении вариантов. В рамках этого урока мы вообще не будем вычислять на ней метрику: наша цель — только корректно зафиксировать выбранную модель.
В нашем примере строки представляют собой 80 независимых синтетических квартир, сгенерированных из одной учебной совокупности. Здесь нет временной последовательности, повторных визитов или связанных групп, поэтому обычное случайное разбиение по строкам вполне оправдано. Однако объявлять такой построчный split универсальным нельзя: если бы в данных присутствовали временные ряды или групповые структуры, случайное перемешивание могло бы нарушить логику задачи. Впрочем, само по себе наличие даты или группы ещё не доказывает утечку — всё зависит от практической цели прогноза и характера зависимостей между строками.