我的模型需要运行许多 epoch 才能获得不错的结果,并且在 Google Cloud 上使用 v100 需要几个小时。
由于我处于可抢占实例中,它会在训练过程中让我退出。我希望能够从中断的地方继续。
在我的自定义回调中,我在 on_epoch_end 运行 self.model.save(...)。如果在过去 50 个时期内得分没有提高,它也会停止训练。
以下是我尝试过的步骤:
- 我一直运行 model.fit 直到第 250 个周期后开始提前停止(最好的成绩是在第 200 个周期)
- 我加载了第 100 个迭代后保存的模型。
- 我用 initial_epoch=100 运行了 model.fit。 (从纪元 101 开始。)
但是,要 catch 第一轮还需要一段时间。此外,每个 epoch 的准确率得分都接近于第一次运行,但较低。最终在 300 左右开始提前停止,最终得分低于第一轮。获得相同最终分数的唯一方法是从头开始创建模型并从第 1 轮开始运行拟合。
我还尝试使用 float(K.get_value(self.model.optimizer.lr)) 和 K.set_value(self.model.optimizer.lr, new_lr)。 但是,self.model.optimizer.lr 总是返回相同的数字。我认为这是因为 adam 优化器从我用 Adam(lr=1e-4) 设置的初始 lr 计算出真实的 lr。
我想知道使用 Adam 优化器恢复训练的正确方法是什么?
请您参考如下方法:
I'm wondering what's the right approach to resume training using Adam optimizer?
如此处所述:https://keras.io/getting-started/faq/#how-can-i-save-a-keras-model , model.save() 后接 load_model() 将负责使用保存的训练配置编译模型。
if not os.path.exists('tf_keras_cifar10.h5'):
model = get_model() #this method constructs the model and compiles it
else:
model = load_model('tf_keras_cifar10.h5') #load the model from file
print('lr is ', K.get_session().run(model.optimizer.lr))
initial_epoch=10
epochs=13
history = model.fit(x_train, y_train, batch_size=batch_size, epochs=epochs,validation_data=(x_test, y_test), initial_epoch=initial_epoch)
model.save('tf_keras_cifar10.h5')
- 在保存模型之前的初始运行结束时
纪元 10/10 50000/50000 [================================] - 13s 255us/样本 - 损失:0.6257 - 加速:0.7853 - val_loss : 0.8886 - val_acc: 0.6985
- 从保存的模型中恢复:
纪元 11/13 50000/50000 [================================] - 15s 293us/样本 - 损失:0.6438 - 加速:0.7777 - val_loss : 0.8732 - val_acc: 0.7083
请检查此问题以及与使用 Adam Optimizer(tf.keras) 恢复训练相关的问题:https://github.com/tensorflow/tensorflow/issues/27049
建议升级TF版本。
