Data leakage в машинном обучении: как найти утечку

Чек-лист поиска утечки

Для каждого признака спросите: когда он появляется, из какой системы приходит и был ли доступен до решения? Постройте lineage от raw-события до матрицы признаков. Проверьте слишком сильные одиночные признаки, дубликаты и резкий разрыв между случайным и временным split.

Запустите простой baseline. Подозрительно идеальная метрика в сложной задаче — повод искать утечку, а не праздновать. Удаляйте группы потенциально опасных признаков и смотрите, как меняется качество. Сравнивайте offline-распределения с production shadow data.

Лечение — не просто удалить один столбец, а изменить момент формирования dataset и закрепить point-in-time correct pipeline. Тогда будущая информация не вернётся под новым названием.