Skip to main content
 首页 » 编程设计

python之为什么 scikit-learn 中 SVC 上的 GridSearchCV 在给定相同输入的情况下会产生不同的概率

2024年11月01日16jackei

由于某种原因,带有 svc 的 GridSearchCV 在给定相同输入的情况下产生的结果概率很小。在我下面发布的示例中,差异很小,但在其他问题上差异更大。 GridSearch 难道不应该在每次输入相同的情况下产生相同的结果吗?

另请参阅另一个用户之前的问题,predict_proba or decision_function as estimator "confidence"它解决了与逻辑回归相同的问题,但结果证明这是一个错误——也许这也是?还是 GridSearchCV 使用随机种子?在这个演示问题中,差异还算不错,但我有其他更复杂的问题,其中概率差异足以预测二元状态的另一侧。

from sklearn import svm, grid_search, datasets 
iris = datasets.load_iris() 
parameters = {'kernel':('linear', 'rbf'), 'C':[1, 10]} 
svr = svm.SVC(probability=True) 
clf = grid_search.GridSearchCV(svr, parameters) 
clf.fit(iris.data, iris.target) 
clf.predict_proba(iris.data) 
 
array([[  9.75883684e-01,   1.55259588e-02,   8.59035759e-03], 
       [  9.61565216e-01,   2.74888948e-02,   1.09458891e-02], 
       [  9.74605121e-01,   1.68928925e-02,   8.50198656e-03], 
       [  9.58212635e-01,   2.97479036e-02,   1.20394616e-02], 
.... 

当我再次运行完全相同的代码时,我得到:

array([[  9.76047242e-01,   1.54138902e-02,   8.53886802e-03], 
       [  9.61893348e-01,   2.72510317e-02,   1.08556202e-02], 
       [  9.74780630e-01,   1.67675046e-02,   8.45186573e-03], 
       [  9.58586150e-01,   2.94842759e-02,   1.19295743e-02],' 

而且我可以一次又一次地运行并获得更多不同的结果。

对于 svc 上的 GridSearchCV 这是否正常,或者我做错了什么,或者这是一个错误?

我正在使用 scikit-learn .14.1。

谢谢。

请您参考如下方法:

SVM 不支持概率。解决这个问题的一个技巧是对每个数据点到 SVM 决策边界的边缘距离进行逻辑回归。如果我们直接这样做,可能会出现一些问题,因为所有支持向量的距离都是 +- 1。为了避免这种偏差,创建了 3 折,并完成了类似 CV 的过程以获得 1/3 的边距值一次的数据(在另外 2/3 的数据上训练)。然后对这些值进行逻辑回归,并对整个数据集重新训练 SVM。这称为普拉特缩放。 CV 部分是随机性发挥作用的地方。

我有一个 post其中有一些 2D 示例和更多解释。