Skip to main content
 首页 » 编程设计

python之在我的模型中使用 Pytorch SSIM 损失函数

2024年12月31日8webabcd

我正在通过 this repo 试用这个 SSIM 损失工具用于图像恢复。

引用原作者GitHub上的示例代码,我试过:

model.train() 
for epo in range(epoch): 
    for i, data in enumerate(trainloader, 0): 
        inputs = data 
        inputs = Variable(inputs) 
        optimizer.zero_grad() 
        inputs = inputs.view(bs, 1, 128, 128) 
        top = model.upward(inputs) 
        outputs = model.downward(top, shortcut = True) 
        outputs = outputs.view(bs, 1, 128, 128) 
 
        if i % 20 == 0: 
            out = outputs[0].view(128, 128).detach().numpy() * 255 
            cv2.imwrite("/home/tk/Documents/recover/SSIM/" + str(epo) + "_" + str(i) + "_re.png", out) 
 
        loss = - criterion(inputs, outputs) 
        ssim_value = - loss.data.item() 
        print (ssim_value) 
        loss.backward() 
        optimizer.step() 

然而,结果并没有像我预期的那样出来。在前 10 个 epoch 之后,打印的结果图像全是黑色。

loss = - criterion(inputs, outputs) 是作者提出的,然而,对于经典的 Pytorch 训练代码,这将是 loss = criterion(y_pred, target) ,因此这里应该是 loss = criterion(inputs, outputs)。

但是,我尝试了 loss = criterion(inputs, outputs) 但结果还是一样。

谁能分享一些关于如何正确利用 SSIM 损失的想法?谢谢。

请您参考如下方法:

作者试图最大化 SSIM 值。 pytorch损失函数和优化器工作的自然理解是减少损失。但 SSIM 值是质量衡量标准,因此越高越好。因此作者使用
loss = - criterion(inputs, outputs)

您可以改为尝试使用
loss = 1 - criterion(inputs, outputs)
如本 paper 中所述.


使用 this repo 测试上述内容的修改代码 (max_ssim.py)

import pytorch_ssim 
import torch 
from torch.autograd import Variable 
from torch import optim 
import cv2 
import numpy as np 
 
npImg1 = cv2.imread("einstein.png") 
 
img1 = torch.from_numpy(np.rollaxis(npImg1, 2)).float().unsqueeze(0)/255.0 
img2 = torch.rand(img1.size()) 
 
if torch.cuda.is_available(): 
    img1 = img1.cuda() 
    img2 = img2.cuda() 
 
 
img1 = Variable( img1,  requires_grad=False) 
img2 = Variable( img2, requires_grad = True) 
 
print(img1.shape) 
print(img2.shape) 
# Functional: pytorch_ssim.ssim(img1, img2, window_size = 11, size_average = True) 
ssim_value = 1-pytorch_ssim.ssim(img1, img2).item() 
print("Initial ssim:", ssim_value) 
 
# Module: pytorch_ssim.SSIM(window_size = 11, size_average = True) 
ssim_loss = pytorch_ssim.SSIM() 
 
optimizer = optim.Adam([img2], lr=0.01) 
 
while ssim_value > 0.05: 
    optimizer.zero_grad() 
    ssim_out = 1-ssim_loss(img1, img2) 
    ssim_value = ssim_out.item() 
    print(ssim_value) 
    ssim_out.backward() 
    optimizer.step() 
    cv2.imshow('op',np.transpose(img2.cpu().detach().numpy()[0],(1,2,0))) 
    cv2.waitKey()