Skip to main content
 首页 » 编程设计

python之基于中间层输出的 Keras 指标

2024年12月31日14thcjp

问题: 我想在训练期间更好地监控我的模型。因为在某些情况下,损失在训练过程中突然变成了 nan,我想知道这种情况下模型在做什么。 除此之外,我想看看某个层是否符合特定条件(行和列之和应为 1)。

方法: 定义自定义指标无济于事,因为该指标仅适用于 y_pred 和 y_true。也许有一些复杂的解决方案,可以在模型中构建模型,并尝试以某种方式计算中间模型层输出的指标。但这感觉有点太复杂了。

解决方法: 我唯一能想到的就是切换到 Tensorflow 本身,这样我就可以更好地控制训练过程。还有其他想法吗?

请您参考如下方法:

model.metrics_tensors.append 在 TensorFlow 2.x 中不起作用

因此,如果您正在使用 add_loss 方法,您还可以在 Keras/TensorFlow 2.x 中使用 model.add_metric 方法.

例如,如果我们想从 VAE 中的 z_mean 和 z_log_var(中间层的输出)跟踪 KL 损失,我们可以这样做:

kl_loss = 1 + z_log_var - K.square(z_mean) - K.exp(z_log_var)  
kl_loss = K.sum(kl_loss, axis=-1) 
kl_loss *= -0.5 

然后,

model.add_loss(vae_loss)  
model.add_metric(kl_loss,name='kl_loss')     
model.add_metric(reconstruction_loss,name='reconstruction_loss')  
model.compile(optimizer='adam') 

然后,

Epoch 1/50 
469/469 [==============================] - 3s 6ms/step - loss: 51.4340 - kl_loss: 4.5296 - reconstruction_loss: 46.9097 - val_loss: 42.0644 - val_kl_loss: 6.0029 - val_reconstruction_loss: 36.0615