所以,我有一个带有 lstm 层的深度卷积网络,在 ltsm 层之后,它 split 出来计算两个不同的函数(使用两个不同的线性层),然后将其结果加在一起形成最终的网络输出。
当我计算网络的损失以便让它计算梯度和更新权重时,我让它执行一些操作,然后让它计算派生值和计算的目标值之间的损失。
def update(output, target):
# target output is calculated outside the function
# operations on output
loss(output, target).backward()
self.optimizer.step()
网络有一些损失(有时在非常小的数量级,但有时也在更高的数量级),例如一些损失:
tensor(1.00000e-04 *
5.7420)
tensor(2.7190)
tensor(0.9684)
它也有这里计算的梯度:
for param in self.parameters():
print(param.grad.data.sum())
哪些输出:
tensor(1.00000e-03 *
1.9996)
tensor(1.00000e-03 *
2.6101)
tensor(1.00000e-02 *
-1.3879)
tensor(1.00000e-03 *
-4.5834)
tensor(1.00000e-02 *
2.1762)
tensor(1.00000e-03 *
3.6246)
tensor(1.00000e-03 *
6.6234)
tensor(1.00000e-02 *
2.9373)
tensor(1.00000e-02 *
1.2680)
tensor(1.00000e-03 *
1.8791)
tensor(1.00000e-02 *
1.7322)
tensor(1.00000e-02 *
1.7322)
tensor(0.)
tensor(0.)
tensor(1.00000e-03 *
-6.7885)
tensor(1.00000e-02 *
9.7793)
和:
tensor(2.4620)
tensor(0.9544)
tensor(-26.2465)
tensor(0.2280)
tensor(-219.2602)
tensor(-2.7870)
tensor(-50.8203)
tensor(3.2548)
tensor(19.6163)
tensor(-18.6029)
tensor(3.8564)
tensor(3.8564)
tensor(0.)
tensor(0.)
tensor(0.8040)
tensor(-0.1157)
但是当我比较运行优化器前后的权重时,我得到的结果是权重彼此相等。
查看权重是否变化的代码:
before = list(neuralnet.parameters())
neuralnet.update()
after = list(neuralnet.parameters())
for i in range(len(before)):
print(torch.equal(before[i].data, after[i].data))
上面的代码每次迭代都返回 True。
请您参考如下方法:
https://discuss.pytorch.org/t/gradients-exist-but-weights-not-updating/20484/2?u=wr01有我寻求的答案。问题是 neuralnet.parameters() 没有克隆参数列表,所以当我更新权重时,权重在之前的变量中更新。
