Skip to main content
 首页 » 编程设计

python之LASSO 中的单热编码分类变量,如何比较变量重要性

2024年12月31日8txw1958

我正在 sklearn 中进行回归项目,我在其中对各种数字和分类变量使用了 LASSO 回归。使用 One-hot-encoder 方法转换分类变量。

由于一开始对特征矩阵进行了归一化处理,所以最终LASSO模型中系数的绝对值应该能够代表模型的相对重要性。

但是,我想不出比较数值变量和分类变量重要性的方法。例如(使用平方英尺和家庭类型预测房价):

Feature         Coefficient 
sqft             114.35 
type_house       67.11 
type_apartment   -23.97 
type_condo       5.14 

比较 sqft 和 type 重要性的合理方法应该是什么?

请您参考如下方法:

LASSO 允许特征选择,但通过改变 λ(惩罚系数)的模型估计。只需在 y 轴 上绘制估计系数,在 x 轴 上绘制 λ。这将使您能够看到变量重要性如何随着正则化惩罚的增加而变化。

Here你会找到更详细的描述(图片来源)。您可以观察到,wt 是最重要的变量之一,因为即使 penalty (λ) 高 > 1,它仍然具有值 零不同。