在 scikit-learn 中,GridSearchCV() 支持将“roc_auc”作为评分函数。 它适用于 n 折交叉验证,但如果我使用 LeaveOneOut,它不起作用并生成错误消息。
ValueError: Only one class present in Y. ROC AUC score is not defined in that case.
虽然只有一个样本的 AUC 绘图似乎是不可能的,但其他语言(例如 R)支持 roc_auc for LeaveOneOut。
如何使用 python 和 scikit-learn 进行计算?如果不可能,使用大倍交叉验证结果会像这样吗?
请您参考如下方法:
正如 David Maust 指出的那样,留一法交叉验证的问题是 GridSearchCV 计算每个折叠的分数,然后报告平均值。
为了使用 LeaveOneOut 获得有意义的 ROC AUC,您需要计算每个折叠的概率估计值(每个折叠只包含一个观察值),然后计算所有这些概率估计集的 ROC AUC。
这可以按如下方式完成:
def LeaveOneOut_predict_proba(clf, X, y, i):
clf.fit(X.drop(i), y.drop(i))
return clf.predict_proba(X.loc[[i]])[0, 1]
# set clf, param_grid, X, y
for params in ParameterGrid(param_grid):
print(params)
clf.set_params(**params)
y_proba = [LeaveOneOut_predict_proba(clf, X, y, i) for i in X.index]
print(roc_auc_score(y, y_proba))
示例输出:
{'n_neighbors': 5, 'p': 1, 'weights': 'uniform'}
0.6057986111111112
{'n_neighbors': 5, 'p': 1, 'weights': 'distance'}
0.620625
{'n_neighbors': 5, 'p': 2, 'weights': 'uniform'}
0.5862499999999999
由于这不使用 GridSearchCV 的基础设施,您将需要自己实现选择最大分数和并行化(如果需要)。
