我见过一段tensorflow 2.0的代码,是用来计算loss的。总损失由两部分组成:1)正则化损失,2)预测损失。我的问题是为什么 model.losses 是正则化损失? model 这里是 tf.keras.Model 的实例。我对 tensorflow 官方 API 文档有点困惑。 tf.keras.Model , 它说
Losses which are associated with this Layer.
Variable regularization tensors are created when this property is accessed, so it is eager safe: accessing losses under a
tf.GradientTapewill propagate gradients back to the corresponding variables.
为什么我们可以通过访问 losses 属性来获得正则化损失?另外,什么是渴望安全?如果 losses 属性返回正则化损失,为什么它被命名为 losses 而不是 regularization_loss?
with tf.GradientTape() as tape:
outputs = model(images, training=True)
regularization_loss = tf.reduce_sum(model.losses)
pred_loss = ...
total_loss = pred_loss + regularization_loss
请您参考如下方法:
我们通过访问 losses 属性获得正则化损失,因为这些损失是在模型定义期间创建的。由于该模型是 Keras 模型,您已使用 Keras 层构建它。每个 Keras 层(Dense、Conv3D 等)都可以正则化,这是层本身的属性。
该模型是层的有序集合,包含 losses 属性中的所有层损失。
Eager safe 意味着您可以在 Eager 训练期间使用模型的 losses 属性,确保梯度仅传播到正确的层。例如。如果您仅在模型的第二层添加 l2 正则化,则第二层的变量仅受该损失项的影响(和更新)。
被命名为 losses 而不是 regularization_losses 因为不仅限于正则化损失;编译模型时,会向该属性添加非正则化损失
