Precision, Recall и F1-score: как выбрать метрику

Для бинарной классификации confusion matrix содержит true positive, false positive, true negative и false negative. Precision отвечает: какая доля предсказанных положительных действительно положительна. Recall: какую долю всех реальных положительных мы нашли.

Precision = rac{TP}{TP + FP}

Recall = rac{TP}{TP + FN}

Высокий precision важен, когда ложное срабатывание дорого. Высокий recall — когда опасно пропустить положительный объект. Метрику выбирают по цене ошибок, а не по тому, какая выглядит выше.

F1 и дисбаланс классов

F1 — гармоническое среднее precision и recall. Оно высоко только тогда, когда обе величины достаточно высоки. Но F1 не учитывает true negatives и предполагает примерно равную важность precision и recall.

При редком классе accuracy может быть бесполезной: модель, всегда отвечающая «нет», получит 99% при одном проценте positives. Показывайте baseline, confusion matrix и метрики по каждому важному классу.

Для multiclass-задачи macro average одинаково взвешивает классы, micro суммирует решения по объектам, weighted учитывает размер классов. Выбор агрегации тоже является продуктовым решением.

Порог и PR-кривая

Классификатор часто выдаёт score или вероятность, а метка получается после порога. Снижение порога обычно повышает recall и снижает precision. Поэтому сравнивать модели только при пороге 0,5 необязательно разумно.

Порог выбирают на validation по стоимости FP и FN, ограничениям мощности ручной проверки или целевому recall. На test применяют уже зафиксированный порог. PR-кривая особенно информативна при редком положительном классе; ROC AUC может выглядеть хорошо, хотя рабочая область precision неудовлетворительна.

После запуска следите за метриками и калибровкой: доля классов и цена ошибок меняются. Одна offline F1 не описывает работу системы во всех режимах.