我在我的优化器Adam中设置学习率衰减,比如
LR = 1e-3
LR_DECAY = 1e-2
OPTIMIZER = Adam(lr=LR, decay=LR_DECAY)
作为keras文档Adam状态,在每个 epoch 之后学习率将是
lr = lr * (1. / (1. + self.decay * K.cast(self.iterations, K.dtype(self.decay))))
如果我没理解错的话,学习率是这样的,
lr = lr * 1 / ( 1 + num_epoch * decay)
但在看到打印出来后,我没有看到学习率衰减生效。 我用这个有什么问题吗?
编辑
我通过设置 ReduceLROnPlateau 的详细信息来打印学习,例如,
ReduceLROnPlateau(monitor='val_loss', factor=0.75, patience=Config.REDUCE_LR_PATIENCE, verbose=1, mode='auto', epsilon=0.01, cooldown=0, min_lr=1e-6
这将监控 val-loss 并通过乘以 factor 来降低学习率。 打印出来的学习率是这样的,
Epoch 00003: ReduceLROnPlateau reducing learning rate to 0.0007500000356230885.
我将初始学习率设置为 1e-3。因此,看起来学习率从 1e-3 变为 1e-3 * 0.75,所以我怀疑我在 Adam 中设置的 decay 没有起作用。
请您参考如下方法:
学习率随每次迭代而变化,即随每个批处理而不是 epoch 变化。所以,如果你设置 decay = 1e-2 并且每个 epoch 有 100 个 batches/iterations,那么在 1 epoch 之后你的学习率将是
lr = init_lr * 1/(1 + 1e-2 * 100)
因此,如果我希望我的学习率在每个时期结束时为原始学习率的 0.75,我会将 lr_decay 设置为
batches_per_epoch = dataset_size/batch_size
lr_decay = (1./0.75 -1)/batches_per_epoch
这似乎对我有用。此外,由于每次迭代都会计算新的学习率,因此优化器不会更改学习率变量的值,而是始终使用初始学习率来计算有效学习率。
