Skip to main content
 首页 » 编程设计

python之什么时候应该使用 tf.add(t, 0) 而不是直接使用张量 t

2025年02月15日14daizhj

在tensorflow.contrib.slim.batch_norm ,math_ops.add(moving_mean, 0)用于复制moving_mean的值,即passed to nn.moments随后。

如果我们直接将 moving_mean 传递给 nn.moments 会不会有问题?

copy操作(tf.add(t, 0))的使用有什么指导方针吗?

请您参考如下方法:

问题是 moving_mean 更新的顺序可能会导致梯度使用 moving_mean 的更新版本,而不是用作 shift 的原始 moving_mean。因此,为了确保在前向传递和反向传递中使用相同的值,我们制作了一个显式副本。