Train, validation и test: где выбирать модель

Что записать после выбора

По итогам вычислений на валидационной выборке победитель зафиксирован: это linear_area_rooms с результатом 1606.18 рублей. На этом этапе мы записываем имя выбранного кандидата и останавливаемся.

Здесь легко поддаться соблазну и сразу посчитать метрику на тестовой выборке, чтобы порадоваться красивым цифрам. Делать этого сейчас нельзя. Тестовая часть сохраняется в неприкосновенности для финального отчёта, когда все решения по архитектуре и признакам уже окончательно приняты. Более того, мы не делаем повторного обучения (refit) на объединённых данных разработки: победившая модель остаётся обученной строго на тех же 48 строках train.

Второй важный момент касается интерпретации: второй признак снизил ошибку на этих конкретных 16 валидационных квартирах, но это не является математической гарантией того, что добавление признаков всегда улучшает модель. На маленькой выборке разница в несколько сотен рублей может быть следствием удачного стечения обстоятельств для конкретных строк. Если начать бесконечно менять формулы и перебирать признаки, глядя только на валидационную ошибку, мы точно так же переобучимся под валидацию, как переобучились бы под train. Выбор сделан, кандидат зафиксирован, а проверка его обобщающей способности остаётся отдельным шагом.