Качество классификации и второй проект

Precision, recall и F1

Содержание курса

Две проверки точности предупреждений

В журнале доставок есть реальные метки задержки и ответы модели. Ложная тревога и пропущенная задержка влияют на разные показатели качества: долю оправданных предупреждений и долю найденных задержек. Подготовьте отчёт, в котором эти показатели можно сверить с матрицей ошибок.

Что уже дано

В видимом коде находятся массивы y_true и y_pred с бинарными метками. Положительный класс — 1. Скрытая подготовка данных не создаёт; переменные прошлых уроков сюда не переносятся.

Что нужно сделать

Функция audit_predictions(actual, predicted) должна возвращать словарь с ключами precision, recall, f1, tp, fp, fn, manual_precision, manual_recall. Значения precision, recall и f1 — библиотечные метрики для положительного класса 1; tp, fp и fn — соответствующие счётчики матрицы ошибок при порядке меток [0, 1]. Значения manual_precision и manual_recall — независимая проверка первых двух метрик по этим счётчикам. Если долю невозможно вычислить из-за нулевого знаменателя, её значение равно 0.0. После вашего кода проверяется переменная audit — сохраните в ней отчёт для данных из шаблона.

Ввод и вывод

stdin не используется. Печатать через print в stdout ничего не нужно. Проверяются значения audit, совпадение ручных долей с библиотечными и работа функции на других бинарных метках.

О данных в ответах

Используйте учебные данные. Не вставляйте пароли, токены, ключи доступа, паспортные и банковские данные, а также персональные данные других людей. Политика обработки данных.

РешениеPython · Python 3.12 (data: numpy, pandas, sklearn...)
Как проверяется решение

Проверяются функции и их результаты. Собственный запуск выполняет ваш код без авторских тестов. Интерактивный запуск не влияет на оценку. Лимит сессии — 5 минут, процессорного времени — 10 секунд.

Отправьте решение, чтобы увидеть результаты тестов.