Вероятности и score в ML: predict_proba, log loss и SVC

Второй столбец predict_proba не обязательно означает нужное вам событие, а отрицательный decision_function не является отрицательной вероятностью. Здесь нужно правильно прочитать выход модели до того, как считать метрики или принимать решение по порогу.

Начать практику: Log loss: уверенная ошибка классификатора.

Вопросы с выбором ответа. Проверка доступна без регистрации.

Как проходить

Сравните вероятностные прогнозы через log loss, найдите класс по classes_, затем разберите перенос порога на переобученную модель и знак score у SVC. Вопросы небольшие: достаточно понимать классификацию и читать вывод scikit-learn.

На что обратить внимание

Сначала установите смысл числа: метка класса, вероятность конкретного класса или сырой score. Для вероятности найдите соответствующий класс в classes_. При изменении модели отдельно проверяйте, сохранилось ли качество решения с прежним порогом.

Задания

1. Log loss: уверенная ошибка классификатора — вопрос.
2. KNeighborsClassifier predict_proba: порядок классов — вопрос.
3. Порог классификации после переобучения модели — вопрос.
4. SVC decision_function: отрицательный score и классы — вопрос.

Продолжить обучение

Разберите тему по порядку в курсе Классическое машинное обучение: алгоритмы и практика на Python.

Связанная практика: Классификация ML: precision, recall, порог и дисбаланс — задачи.