Skip to main content
 首页 » 编程设计

python之为什么 model.losses 会返回正则化损失

2024年11月24日9findumars

我见过一段tensorflow 2.0的代码,是用来计算loss的。总损失由两部分组成:1)正则化损失,2)预测损失。我的问题是为什么 model.losses 是正则化损失? model 这里是 tf.keras.Model 的实例。我对 tensorflow 官方 API 文档有点困惑。 tf.keras.Model , 它说

Losses which are associated with this Layer.

Variable regularization tensors are created when this property is accessed, so it is eager safe: accessing losses under a tf.GradientTape will propagate gradients back to the corresponding variables.

为什么我们可以通过访问 losses 属性来获得正则化损失?另外,什么是渴望安全?如果 losses 属性返回正则化损失,为什么它被命名为 losses 而不是 regularization_loss?

with tf.GradientTape() as tape: 
  outputs = model(images, training=True) 
  regularization_loss = tf.reduce_sum(model.losses) 
  pred_loss = ... 
  total_loss = pred_loss + regularization_loss 

请您参考如下方法:

我们通过访问 losses 属性获得正则化损失,因为这些损失是在模型定义期间创建的。由于该模型是 Keras 模型,您已使用 Keras 层构建它。每个 Keras 层(Dense、Conv3D 等)都可以正则化,这是层本身的属性。

该模型是层的有序集合,包含 losses 属性中的所有层损失。

Eager safe 意味着您可以在 Eager 训练期间使用模型的 losses 属性,确保梯度仅传播到正确的层。例如。如果您仅在模型的第二层添加 l2 正则化,则第二层的变量仅受该损失项的影响(和更新)。

被命名为 losses 而不是 regularization_losses 因为不仅限于正则化损失;编译模型时,会向该属性添加非正则化损失