Skip to main content
 首页 » 编程设计

python之Scikit 学习 : Cross validation and Confidence Intervals

2024年11月24日15emanlee

我正在尝试使用 scikit-learn 中的 DecisionTreeClassifier 计算我的分类模型的置信区间。

阅读有关交叉验证和置信区间的 scikit-learn 文档 (https://scikit-learn.org/dev/modules/cross_validation.html),我找到了下面的代码,它看起来非常简单;但是我不明白为什么上限要大于1,准确率怎么会高于100%?

from sklearn.model_selection import cross_val_score 
clf = svm.SVC(kernel='linear', C=1) 
scores = cross_val_score(clf, iris.data, iris.target, cv=5) 
print("Accuracy: %0.2f (+/- %0.2f)" % (scores.mean(), scores.std() * 2)) 
Accuracy: 0.98 (+/- 0.03) 

请您参考如下方法:

显然不能大于1。

此代码中的基本假设是在scores 中计算的分数是根据正态分布分布的。然后 95% 置信区间由 mean+/- 2*std 给出。

它在大多数情况下都会给出合理的结果,但在您的情况下,它只是定义不明确,因为平均准确度已经非常接近 1。我知道这不是一个很好的解决方案,但也许您可以降低信心间隔到 68%?那么你只需要去掉 std 前面的因子 2,上限就是 99.5%。