Data leakage в машинном обучении: как найти утечку

Data leakage возникает, когда при обучении или оценке используется информация, которой не будет в момент реального прогноза. Модель демонстрирует высокий offline-score, но после запуска качество резко падает.

Target leakage — признак прямо или косвенно содержит результат. Например, статус возврата нельзя использовать для прогноза возврата в момент покупки. Temporal leakage — в признаки попадает будущее: итоговый баланс месяца используется для решения в его начале.

Утечка бывает и между объектами: дубликаты, строки одного пользователя или соседние кадры видео оказываются по разные стороны случайного split. Модель узнаёт конкретный объект вместо общей закономерности.