Skip to main content
 首页 » 编程设计

python之Keras 如何使用 Adam 优化器恢复训练

2024年11月24日11zhoujg

我的模型需要运行许多 epoch 才能获得不错的结果,并且在 Google Cloud 上使用 v100 需要几个小时。

由于我处于可抢占实例中,它会在训练过程中让我退出。我希望能够从中断的地方继续。

在我的自定义回调中,我在 on_epoch_end 运行 self.model.save(...)。如果在过去 50 个时期内得分没有提高,它也会停止训练。

以下是我尝试过的步骤:

  1. 我一直运行 model.fit 直到第 250 个周期后开始提前停止(最好的成绩是在第 200 个周期)
  2. 我加载了第 100 个迭代后保存的模型。
  3. 我用 initial_epoch=100 运行了 model.fit。 (从纪元 101 开始。)

但是,要 catch 第一轮还需要一段时间。此外,每个 epoch 的准确率得分都接近于第一次运行,但较低。最终在 300 左右开始提前停止,最终得分低于第一轮。获得相同最终分数的唯一方法是从头开始创建模型并从第 1 轮开始运行拟合。

我还尝试使用 float(K.get_value(self.model.optimizer.lr)) 和 K.set_value(self.model.optimizer.lr, new_lr)。 但是,self.model.optimizer.lr 总是返回相同的数字。我认为这是因为 adam 优化器从我用 Adam(lr=1e-4) 设置的初始 lr 计算出真实的 lr。

我想知道使用 Adam 优化器恢复训练的正确方法是什么?

请您参考如下方法:

I'm wondering what's the right approach to resume training using Adam optimizer?

如此处所述:https://keras.io/getting-started/faq/#how-can-i-save-a-keras-model , model.save() 后接 load_model() 将负责使用保存的训练配置编译模型。

if not os.path.exists('tf_keras_cifar10.h5'): 
    model = get_model() #this method constructs the model and compiles it  
else: 
    model = load_model('tf_keras_cifar10.h5') #load the model from file 
    print('lr is ', K.get_session().run(model.optimizer.lr)) 
    initial_epoch=10 
    epochs=13 
 
history = model.fit(x_train, y_train, batch_size=batch_size, epochs=epochs,validation_data=(x_test, y_test), initial_epoch=initial_epoch) 
model.save('tf_keras_cifar10.h5') 
  • 在保存模型之前的初始运行结束时

纪元 10/10 50000/50000 [================================] - 13s 255us/样本 - 损失:0.6257 - 加速:0.7853 - val_loss : 0.8886 - val_acc: 0.6985

  • 从保存的模型中恢复:

纪元 11/13 50000/50000 [================================] - 15s 293us/样本 - 损失:0.6438 - 加速:0.7777 - val_loss : 0.8732 - val_acc: 0.7083

请检查此问题以及与使用 Adam Optimizer(tf.keras) 恢复训练相关的问题:https://github.com/tensorflow/tensorflow/issues/27049

建议升级TF版本。