Prediction drift и качество модели: границы мониторинга

Монитор показывает спокойное распределение предсказанных скоров, и команда оценивает надёжность модели. Выберите ограничение такого способа контроля качества. Разбор подготовки данных, оценки и деплоя моделей продолжайте в платном курсе «Data Scientist: от данных до деплоя моделей» — откройте программу.

Почему нельзя полностью полагаться на мониторинг распределения предсказанных скоров как единственный индикатор качества модели?

Выберите один вариантМодель может выдавать стабильное распределение скоров, но при этом ошибаться на новых паттернах данных — прокси-метрики не гарантируют отсутствия деградации реального качестваРаспределение скоров не учитывает дисперсию предсказаний, которая является основным индикатором качества модели в продакшнеМониторинг скоров требует слишком большого объёма данных (минимум 10 000 запросов), что делает его непрактичным для большинства задачPrediction drift всегда возникает одновременно с data drift, поэтому достаточно отслеживать только входные признакиРасчёт PSI для скоров даёт корректные результаты только для регрессионных задач, но не применим к классификации

Без регистрации · результат не сохраняется

Связанные задачи