Коэффициенты линейной регрессии
Содержание курса
Единицы коэффициентов и граница их интерпретации без причинности
Каждый коэффициент из model.coef_ отвечает на один конкретный вопрос: на сколько единиц изменится предсказание модели, если этот признак вырастет на одну его единицу, а все остальные признаки останутся на прежних значениях. Единица коэффициента — [единица цели] / [единица признака].
В датасете diabetes признаки масштабированы нестандартным способом: каждый столбец центрируется, а затем делится на стандартное отклонение, умноженное на sqrt(n_samples) — то есть на sqrt(442). Поэтому одна единица масштабированного столбца — это не одно исходное стандартное отклонение, а примерно sqrt(442) ≈ 21 исходных стандартных отклонений. Коэффициент при bmi, например, показывает, на сколько пунктов целевой переменной меняется предсказание при росте уже масштабированного bmi на 1. Для целей этого урока достаточно помнить: коэффициент всегда привязан к единицам того столбца, который фактически подаётся в модель.
Граница интерпретации проходит вот здесь: коэффициент описывает поведение модели, а не реального мира. Правильная формулировка — «при росте признака X на 1 единицу предсказание модели меняется на N единиц». Неправильная — «X вызывает изменение цели на N единиц».
Почему это важно? Коэффициент зависит от того, какие другие признаки включены в модель, как они коррелируют между собой и какие данные попали в обучающую выборку. Добавление или удаление одного признака может изменить коэффициенты других признаков — особенно если те коррелируют с добавленным или удалённым. Это значит, что одно и то же число может принять другое значение в другой модели на тех же данных, а причинный эффект от этого не меняется.
Корреляция между признаками особенно заметна в медицинских данных: bmi и несколько других метаболических показателей связаны между собой. Когда признаки коррелируют, модель распределяет «объяснительную нагрузку» между ними произвольным образом, и коэффициент при одном из них несёт лишь часть общей картины. Говорить о причинности в таком случае — значит приписывать число, зависящее от состава признаков, реальному механизму.