我想使用 SSIM 指标 作为我在 tensorflow 中处理的模型的损失函数。 SSIM 应该测量我的去噪自动编码器的重建输出图像与输入未损坏图像 (RGB) 之间的相似性。
据我了解，要在 tensorflow 中使用 SSIM 指标，图像应标准化为 [0,1] 或 [0,255] 而不是 [-1,1]。在将我的张量转换为 [0,1] 并将 SSIM 作为我的损失函数后，重建的图像是黑白的，而不是彩色的 RGB 图像。
tf.reduce_mean(tf.image.ssim(reconstructed, truth, 1.0))
我的模型在 MSE(均方误差)下运行良好，重建的图像是彩色的 (RGB)。
使用 tf.losses.mean_squared_error(truth, reconstructed) 重建的图像将是 RGB 图像，而使用 SSIM 将给我一个一维图像。
为什么在 tensorflow 中使用 SSIM 作为损失函数会得到与 MSE 不同的结果(就重建图像 channel 而言)？
请您参考如下方法:
我能够通过将图像的动态范围更改为 2.0 来解决问题，因为我的图像在 [-1, 1] 之间按比例缩放:
loss_rec = tf.reduce_mean(tf.image.ssim(truth, reconstructed, 2.0))
并且由于更高的 SSIM 值表明更好的图像质量，我必须最小化损失函数 (SSIM) 的负数以优化我的模型:
optimizer = tf.train.AdamOptimizer(learning_rate).minimize(-1 * loss_rec)
