Data leakage в машинном обучении: как найти утечку

Preprocessing тоже может подсматривать

Если заполнить пропуски медианой всей таблицы, масштабировать по всем данным или отобрать признаки по связи с target до split, validation повлияла на параметры преобразования. Разница может быть небольшой, но контракт оценки уже нарушен.

Сначала делите данные, затем fit-ите все обучаемые преобразования только на train. Pipeline помогает повторить эту дисциплину внутри cross-validation. Oversampling выполняют только в train-fold, иначе синтетические родственники одного объекта попадают в проверку.

Особенно внимательно проверяйте агрегаты: «число покупок пользователя» должно быть рассчитано только до timestamp прогноза, а не по всей его истории.