在tensorflow.contrib.slim.batch_norm ,math_ops.add(moving_mean, 0)用于复制moving_mean的值,即passed to nn.moments随后。
如果我们直接将 moving_mean 传递给 nn.moments 会不会有问题?
copy操作(tf.add(t, 0))的使用有什么指导方针吗?
请您参考如下方法:
问题是 moving_mean 更新的顺序可能会导致梯度使用 moving_mean 的更新版本,而不是用作 shift 的原始 moving_mean。因此,为了确保在前向传递和反向传递中使用相同的值,我们制作了一个显式副本。
