Precision, Recall и F1-score: как выбрать метрику

Порог и PR-кривая

Классификатор часто выдаёт score или вероятность, а метка получается после порога. Снижение порога обычно повышает recall и снижает precision. Поэтому сравнивать модели только при пороге 0,5 необязательно разумно.

Порог выбирают на validation по стоимости FP и FN, ограничениям мощности ручной проверки или целевому recall. На test применяют уже зафиксированный порог. PR-кривая особенно информативна при редком положительном классе; ROC AUC может выглядеть хорошо, хотя рабочая область precision неудовлетворительна.

После запуска следите за метриками и калибровкой: доля классов и цена ошибок меняются. Одна offline F1 не описывает работу системы во всех режимах.