Precision, Recall и F1-score: как выбрать метрику

F1 и дисбаланс классов

F1 — гармоническое среднее precision и recall. Оно высоко только тогда, когда обе величины достаточно высоки. Но F1 не учитывает true negatives и предполагает примерно равную важность precision и recall.

При редком классе accuracy может быть бесполезной: модель, всегда отвечающая «нет», получит 99% при одном проценте positives. Показывайте baseline, confusion matrix и метрики по каждому важному классу.

Для multiclass-задачи macro average одинаково взвешивает классы, micro суммирует решения по объектам, weighted учитывает размер классов. Выбор агрегации тоже является продуктовым решением.