Skip to main content
 首页 » 编程设计

python之如何在多类分类的 light gbm python 中编写自定义 F1 分数指标

2024年12月31日12qq号

谁能帮我如何在 python 中为多类分类编写自定义 F1 分数???

编辑:我正在编辑问题以更好地描述我想做什么

这是我为具有 5 个类的多类问题自定义 eval f1 分数指标的函数。

def evalerror(preds, dtrain): 
    labels = dtrain.get_label() 
    preds = preds.reshape(-1, 5) 
    preds = preds.argmax(axis = 1) 
    f_score = f1_score(preds, labels, average = 'weighted') 
    return 'f1_score', f_score, True 

注意:我 reshape 的原因是验证真值的长度为 252705,而预测值是一个长度为 1263525 的数组,是实际值的 5 倍。原因是 LGB 为每个预测输出每个类别的概率。

下面我将训练数据和验证数据转换为 LGB 可接受的格式。

dtrain = lgb.Dataset(train_X, label= train_Y, free_raw_data = False) 
dvalid = lgb.Dataset(valid_X, label= valid_Y, free_raw_data = False,  
                     reference= dtrain) 

下面是我拟合训练数据的 LGB 模型。如您所见,我已将 evalerror 自定义函数传递到我的模型 feval 以及我想查看的验证数据 dvalid训练时的 f1 分数。 我正在训练模型进行 10 次迭代。

evals_result = {} 
num_round = 10 
lgb_model = lgb.train(params,  
                      dtrain,  
                      num_round,  
                      valid_sets = dvalid,  
                      feval = evalerror, 
                      evals_result = evals_result) 

随着模型接受 10 轮训练,验证集上每次迭代的 F1 分数显示在下方,这是不正确的,因为我得到的分数约为 0.18。

[1]     valid_0's multi_logloss: 1.46839        valid_0's f1_score: 0.183719 
[2]     valid_0's multi_logloss: 1.35684        valid_0's f1_score: 0.183842 
[3]     valid_0's multi_logloss: 1.26527        valid_0's f1_score: 0.183853 
[4]     valid_0's multi_logloss: 1.18799        valid_0's f1_score: 0.183909 
[5]     valid_0's multi_logloss: 1.12187        valid_0's f1_score: 0.187206 
[6]     valid_0's multi_logloss: 1.06452        valid_0's f1_score: 0.187503 
[7]     valid_0's multi_logloss: 1.01437        valid_0's f1_score: 0.187327 
[8]     valid_0's multi_logloss: 0.97037        valid_0's f1_score: 0.187511 
[9]     valid_0's multi_logloss: 0.931498       valid_0's f1_score: 0.186957 
[10]    valid_0's multi_logloss: 0.896877       valid_0's f1_score: 0.18751 

但是一旦模型被训练了 10 次迭代,我就运行下面的代码来预测相同的验证集。

lgb_prediction = lgb_model.predict(valid_X) 
lgb_prediction = lgb_prediction.argmax(axis = 1) 
lgb_F1 = f1_score(lgb_prediction, valid_Y, average = 'weighted') 
print("The Light GBM F1 is", lgb_F1) 
 
The Light GBM F1 is 0.743250263548 

注意:我没有像在自定义函数中那样 reshape 这里是因为 lgb_model.predict() 输出一个 (252705, 5) 的 numpy 数组 另请注意,我传递的是 valid_X 而不是 dvalid 因为在预测时我们必须传递原始格式而不是像我们传递 lgb 那样的稀疏格式.train()

当我对同一个验证数据集进行预测时,我得到的 F1 分数为 0.743250263548,这已经足够好了。所以我期望的是第 10 次迭代时的验证 F1 分数,而训练应该与我在训练模型后预测的分数相同。

有人可以帮我解决我做错的事吗?谢谢

请您参考如下方法:

我遇到了同样的问题。

Lgb 预测以扁平数组的形式输出。

通过检查,我发现它是这样的:

样本a到类i的概率位于

num_classes*(a-1) + i 位置

至于你的代码,应该是这样的:

    def evalerror(preds, dtrain): 
 
        labels = dtrain.get_label() 
        preds = preds.reshape(5, -1).T 
        preds = preds.argmax(axis = 1) 
        f_score = f1_score(labels , preds,  average = 'weighted') 
        return 'f1_score', f_score, True