我认为下面的 Lasso 问题有简单的解决方案 [1,2,0,0] 因为 np.dot(x, [1,2,0,0]) 返回 [[5,7,6,8]]。
clf = linear_model.Lasso(alpha=0.2)
x = np.matrix([[1,3,4,2],[2,2,1,3],[2,1,1,1],[3,1,2,2]]).transpose()
y = [5,7,6,8]
clf.fit(x, y)
print clf.coef_
print clf.intercept_
但是,我无法获得[1,2,0,0]。上面的套索代码打印 [0, 0,6, -0.400, -0.399] 和 6.600。
为什么上面的代码没有返回[1,2,0,0]?
请您参考如下方法:
scikit-learn 中的默认 LASSO 模型会自动添加一个不受 L1 惩罚控制的截距(直觉上:您不必为大截距付费,而大系数很昂贵由于罚款)。
因此模型将尝试从拦截中获得尽可能多的解释。
如果你想公平,让模型知道没有拦截,并使用非常低的 alpha:
from sklearn import linear_model
import numpy as np
clf = linear_model.Lasso(alpha=0.0001, fit_intercept=False)
x = np.array([[1,3,4,2],[2,2,1,3],[2,1,1,1],[3,1,2,2]], dtype=float).T
y = np.array([5,7,6,8], dtype=float)
clf.fit(x, y)
print(clf.coef_)
那么结果将接近于最优解,而不是惩罚解:
[ 1.00000732e+00 1.99959807e+00 2.37193884e-03 -1.07734723e-03]
