Skip to main content
 首页 » 编程设计

python之Keras 函数模型提供高验证准确性但不正确的预测

2024年11月01日8rubylouvre

我正尝试在 PASCAL VOC 2012 数据集上使用“ImageNet”预训练权重对 VGG16 架构进行迁移学习。 PASCAL VOC 是一个包含 20 个类别的多标签图像数据集,因此我修改了内置的 VGG16 模型,如下所示:

def VGG16_modified(): 
    base_model = vgg16.VGG16(include_top=True,weights='imagenet',input_shape=(224,224,3)) 
    print(base_model.summary()) 
    x = base_model.get_layer('block5_pool').output 
    x = (GlobalAveragePooling2D())(x) 
    predictions = Dense(20,activation='sigmoid')(x) 
 
    final_model = Model(input = base_model.input, output = predictions) 
    print(final_model.summary()) 
    return final_model 

我的输入图像预处理是这样的:

img_val = [] 
for i in tqdm(range(dfval.shape[0])): 
        img = image.load_img(train_images+y_val[0][i],target_size=(224,224)) 
        img = image.img_to_array(img) 
        img_val.append(img) 
x_val = np.array(img_val 

我已经使用 pd.get_dummies 为 20 个类转换了这样的分类标签 [[0 0 0 0 1 0 0 0 0 1 0 .... ]] 并且相应的标签是形状 (图像样本数,20)。输入图像的形状是(number of image samples, 224,224, 3)

当我对模型进行几个时期的训练时,我发现验证准确率非常高(大约 90%),但是当我使用相同的验证数据集来预测图像时,它会为每张图像提供相同的类别输出。

我这样训练模型:

model = VGG16_modified() 
model.summary() 
model.compile(optimizer=Adam(),loss='binary_crossentropy',metrics = ['accuracy']) 
model.fit(x_train, y_train, epochs=100, validation_data=(x_val, yval), batch_size=4) 
model.save('CAMVGG16trainall.h5') 
model.save_weights('CAMVGG16weightstrainall.h5') 

后来我加载了模型并尝试预测同一验证数据集的标签。

model = load_model(model) 
preds = model.predict(image) 

但我对每张图片都得到了相同的输出。输出的形状为 [[0 0 0 ......1 0 0 0...]] 我尝试了更多的时期,更少的时期,通过设置一些不可训练的层,通过设置所有层可训练,改变学习率,使用不同的优化器(SGD),不使用 Imagenet 权重和从头开始训练但没有他们给了我正确的结果。谁能告诉我哪里出错了。

请您参考如下方法:

为了社区的利益在此提及解决方案,因为有很多评论可以了解解决方案。

这里的问题是模型被卡住,即 Layers 在 PASCAL VOC 数据集上 not Trained。

预训练模型的权重应该被卡住,而在我们的数据集上训练的模型层的权重不应该被卡住。

问题通过设置 layer.trainable = True 得到解决。通过下面的屏幕截图可以更好地理解这一点。

注:图片取自 Aurelien Geron 的机器学习和深度学习一书。