Skip to main content
 首页 » 编程设计

python之Pytorch 梯度存在但权重不更新

2024年12月31日9Free-Thinker

所以,我有一个带有 lstm 层的深度卷积网络,在 ltsm 层之后,它 split 出来计算两个不同的函数(使用两个不同的线性层),然后将其结果加在一起形成最终的网络输出。

当我计算网络的损失以便让它计算梯度和更新权重时,我让它执行一些操作,然后让它计算派生值和计算的目标值之间的损失。

def update(output, target): 
    # target output is calculated outside the function 
    # operations on output 
    loss(output, target).backward() 
    self.optimizer.step() 

网络有一些损失(有时在非常小的数量级,但有时也在更高的数量级),例如一些损失:

tensor(1.00000e-04 * 
   5.7420) 
tensor(2.7190) 
tensor(0.9684) 

它也有这里计算的梯度:

for param in self.parameters(): 
    print(param.grad.data.sum()) 

哪些输出:

tensor(1.00000e-03 * 
   1.9996) 
tensor(1.00000e-03 * 
   2.6101) 
tensor(1.00000e-02 * 
   -1.3879) 
tensor(1.00000e-03 * 
   -4.5834) 
tensor(1.00000e-02 * 
   2.1762) 
tensor(1.00000e-03 * 
   3.6246) 
tensor(1.00000e-03 * 
   6.6234) 
tensor(1.00000e-02 * 
   2.9373) 
tensor(1.00000e-02 * 
   1.2680) 
tensor(1.00000e-03 * 
   1.8791) 
tensor(1.00000e-02 * 
   1.7322) 
tensor(1.00000e-02 * 
   1.7322) 
tensor(0.) 
tensor(0.) 
tensor(1.00000e-03 * 
   -6.7885) 
tensor(1.00000e-02 * 
   9.7793) 

和:

tensor(2.4620) 
tensor(0.9544) 
tensor(-26.2465) 
tensor(0.2280) 
tensor(-219.2602) 
tensor(-2.7870) 
tensor(-50.8203) 
tensor(3.2548) 
tensor(19.6163) 
tensor(-18.6029) 
tensor(3.8564) 
tensor(3.8564) 
tensor(0.) 
tensor(0.) 
tensor(0.8040) 
tensor(-0.1157) 

但是当我比较运行优化器前后的权重时,我得到的结果是权重彼此相等。

查看权重是否变化的代码:

before = list(neuralnet.parameters()) 
neuralnet.update() 
after = list(neuralnet.parameters()) 
for i in range(len(before)): 
    print(torch.equal(before[i].data, after[i].data)) 

上面的代码每次迭代都返回 True。

请您参考如下方法:

https://discuss.pytorch.org/t/gradients-exist-but-weights-not-updating/20484/2?u=wr01有我寻求的答案。问题是 neuralnet.parameters() 没有克隆参数列表,所以当我更新权重时,权重在之前的变量中更新。