Skip to main content
 首页 » 编程设计

python之方阵上的 Scikit-Learn 线性回归似乎不正确

2025年04月02日24zhwl

我将 k 响应变量 y 线性回归到 k x n 预测变量 X ,其中 k >= n。使用 Scikit-Learn,回归似乎是正确的,除非 n = k;即,当预测变量矩阵为正方形时。考虑以下 MWE,其中我随机生成矩阵 X 和系数 b 来构造 y,然后使用 scikit-learn 执行回归以检查系数与真实系数相同:

import numpy as np 
from sklearn import linear_model 
 
 
n = 5  # number of predictor variables                                   
k = 5  # number of response variables, >= n *** Set = n for issue ***    
mu_b = 2.0  # mean of each component of b, used to create coeffs         
 
print "n = ", n 
 
# generate true coefficients ~ N(2,0.09)                                 
b = np.random.normal(2.0, 0.3, n) 
 
print "b = ", b 
 
# generate true predictors ~ N(0,25)                                     
X = np.random.normal(0.0, 5.0, (k,n)) 
 
# generate true target variables                                         
y = X.dot(b) 
 
 
# create linear regression object                                        
regr = linear_model.LinearRegression() 
 
# train model                                                            
regr.fit(X,y) 
 
# print coeffs                                                           
print "estimated b = ", regr.coef_ 
 
# print difference                                                       
print "difference = ", np.linalg.norm(b - regr.coef_) 

如果 k > n 模机器精度没有差异,但当 k = n 时可能会有很大差异。有人遇到过这种情况么?这是已知错误吗?

请您参考如下方法:

默认情况下,LinearRegression 类的属性 fit_intercept 设置为 True。这似乎有两个影响。首先,在使用 linalg.lstsq 拟合模型之前,通过减去 中的均值将矩阵 X 和 y 居中>_center_data 方法。其次,模型拟合后,_set_intercept 设置:

regr.intercept_ = y_mean - np.dot(X_mean, regr.coef_.T) 

文档中并不清楚这个截距项是如何得出的。

在您的情况下,您可以检查在 k > n 的情况下,生成的 intercept_ 项的顺序为 1e-14 , 但对于 k = n,intercept_ 是非零的,这解释了为什么在 k = n 的情况下系数向量不匹配。您只需在模型中设置 fit_intercept=False 即可解决所有这些问题。

警告:当然,一个更有意义的答案可能会解释截距项的推导方式,并提供关于为什么截距项对于 k > n< 为零的见解.