Skip to main content
 首页 » 编程设计

python之我可以在训练期间更改 class_weight 吗

2024年11月24日10java哥

我想在 Keras 训练期间更改我的 class_weight。

我使用了 fit_generator 和 Callback 方法,如下所示。

model.fit_generator( 
                decoder_generator(x_train, y_train), 
                steps_per_epoch=len(x_train), 
                epochs=args.epochs, 
                validation_data=decoder_generator(x_valid, y_valid), 
                validation_steps=len(x_valid), 
                callbacks=callback_list, 
                class_weight=class_weights, 
                verbose=1) 

和

class Valid_checker(keras.callbacks.Callback): 
    def __init__(self, model_name, patience, val_data, x_length): 
        super().__init__() 
        self.best_score = 0 
        self.patience = patience 
        self.current_patience = 0  
        self.model_name = model_name 
        self.validation_data = val_data 
        self.x_length = x_length 
 
 
    def on_epoch_end(self, epoch, logs={}): 
        X_val, y_val = self.validation_data 
        y_predict, x_predict = model.predict_generator(no_decoder_generator(X_val, y_val), steps=len(X_val)) 
        y_predict = np.asarray(y_predict) 
        x_predict = np.asarray(x_predict)   

decoder_generator 和 no_decoder_generator 只是自定义生成器。

我想在每次纪元结束时更改类(class)权重。是否可以?那我该怎么办呢?

我的数据是不平衡数据,一类继续过拟合。

在 epoch 结束时,我想通过按类计算精度来增加精度较低的类的权重。

我该怎么办?

请您参考如下方法:

一次循环一个时期这样的简单方法怎么样?

for i in range(args.epochs): 
        class_weights = calculate_weights() 
        model.fit_generator( 
                    decoder_generator(x_train, y_train), 
                    steps_per_epoch=len(x_train), 
                    epochs=1, 
                    validation_data=decoder_generator(x_valid, y_valid), 
                    validation_steps=len(x_valid), 
                    callbacks=callback_list, 
                    class_weight=class_weights, 
                verbose=1) 

fit_generator 中的每个时期都没有直接使用不同类别权重的方法。您可以通过检查 model.stop_training

的值来合并提前停止

示例

import numpy as np 
from keras.models import Sequential 
from keras.layers import Input, Dense 
from keras.models import Model 
from keras.callbacks import Callback 
 
class Valid_checker(Callback): 
    def __init__(self): 
        super().__init__() 
        self.model = model 
        self.n_epoch = 0 
 
    def on_epoch_end(self, epoch, logs={}):    
        self.n_epoch += 1 
        if self.n_epoch == 8: 
            self.model.stop_training = True 
 
def decoder_generator(): 
    while True:         
        for i in range(10): 
            yield np.random.rand(10,5), np.random.randint(3,size=(10,3)) 
 
 
inputs = Input(shape=(5,)) 
outputs = Dense(3, activation='relu')(inputs) 
model = Model(inputs=inputs, outputs=outputs) 
model.compile(optimizer='rmsprop', 
              loss='categorical_crossentropy', 
              metrics=['accuracy']) 
 
for i in range(10):     
    model.fit_generator(generator=decoder_generator(), 
                    class_weight={0:1/3, 1:1/3, 2:1/3}, 
                    steps_per_epoch=10,                     
                    epochs=1, 
                    callbacks=[Valid_checker()]) 
    if model.stop_training: 
        break