Выбор ML-модели: Ridge, kNN, Random Forest и ошибки на CV

У одной модели нулевая ошибка на обучении, у другой — меньше ошибка на новых данных. Какую оставить и что проверять следующим экспериментом? Эти задания учат читать результаты подбора модели и отделять улучшение признаков от смены условий сравнения.

Начать практику: Train и CV MAE: какую модель выбрать.

Вопросы с выбором ответа. Проверка доступна без регистрации.

Как проходить

Сначала сравните деревья и значения alpha в Ridge. Затем проверьте влияние шумовых признаков, кривую обучения и абляцию. Последние вопросы посвящены выбору признаков в Random Forest и поведению Lasso на коррелирующих столбцах. Все результаты экспериментов уже приведены в условиях.

На что обратить внимание

Меняйте один исследуемый фактор, сохраняя метрику и схему проверки. Для абляции явно запишите направление разности: ошибка без группы признаков минус ошибка полной модели. Тогда положительная дельта означает ухудшение именно в сравниваемом эксперименте.

Задания

1. Train и CV MAE: какую модель выбрать — вопрос.
2. Ridge: выбор alpha по ошибке кросс-валидации — вопрос.
3. kNN и шумовые признаки: как сравнить эксперименты — вопрос.
4. Кривая обучения: можно ли уже судить о недообучении — вопрос.
5. Абляция признаков: как читать изменение MAE — вопрос.
6. Random Forest: max_features в каждом узле — вопрос.
7. Lasso обнуляет разные коррелирующие признаки — вопрос.

Продолжить обучение

Разберите тему по порядку в курсе Классическое машинное обучение: алгоритмы и практика на Python.

Связанная практика: Регрессия scikit-learn: baseline, MAE и ошибки — задачи.