python之在 TensorFlow 中将 stop_gradient 与 AdamOptimizer 结合使用

当在每次反向传播迭代中，某组参数保持固定时，我正在尝试实现训练/微调框架。我希望能够在迭代之间更改更新或固定参数集。 TensorFlow 方法 tf.stop_gradient ，这显然强制某些参数的梯度保持为零，对于此目的非常有用，并且如果更新或固定参数集在迭代之间没有变化，则它可以与不同的优化器完美配合。如果与 stochastic gradient descent 一起使用，它还可以处理不同的更新或固定参数集。 .我的问题是 tf.stop_gradient 在与 Adam optimizer 一起使用时无法处理此类情况。 .更具体地说，它确实在 tf.compute_gradients 的输出中将固定参数的梯度保持为零，但是在应用梯度 (tf.apply_gradients) 时，固定参数确实会改变。我想这是因为即使梯度为零(基于 Kingma and Ba's paper 中的算法 1)，Adam 优化器中的优化步骤也不为零。是否有一种廉价的方法可以在每次 Adam 迭代中卡住一组可变参数，而无需显式保存前一次迭代的固定参数值？

更多详情:

假设我有一个单层网络，带有权重矩阵变量 W 和一个二进制掩码矩阵占位符 MW 指定 W 的哪些元素应该在每次迭代中得到更新( 中的值 1)。我没有使用W来写这一层的输入/输出关系，而是修改如下

masked_W = MW*W + tf.stop_gradient(tf.abs(1-MW)*W) 

屏蔽 W 的某些元素不具有非零梯度。然后我使用 masked_W 形成层的输出，因此网络的损失取决于这个掩码变量。关键是 MW 在每次迭代中都会发生变化。假设 W 是一个包含 4 个元素的向量，初始化为全零向量。这是发生的事情:

opt=tf.AdamOptimizer(1e-5) 
sess.run(tf.global_variables_initializer()) 
grads_vars=opt.compute_gradients(loss, W) 
 
# initial value of W=[0,0,0,0] 
 
# first iteration: 
MW_val = [0,1,1,0] 
feed_dict={MW:MW_val, x: batch_of_data, y_:batch_of_labels} 
sess.run(opt.apply_gradients(grads_vars), feed_dict=feed_dict)) 
# gradient of  W=[0,xx,xx,0] 
# new value of W=[0,a,b,0] 

其中xx是一些非零梯度值，a和b是更新W <的元素的新值< code> 。在第二次迭代中，我们将分配给二进制掩码矩阵 MW 的值更改为 [1,0,0,1]，因此我们希望 W[1]< 具有固定值 和 W[2] 并更新 W[0] 和 W[3] 的值。但这就是发生的事情:

# second iteration 
MW_val = [1,0,0,1] 
feed_dict={MW:MW_val, x: batch_of_data, y_:batch_of_labels} 
sess.run(opt.apply_gradients(grads_vars), feed_dict=feed_dict)) 
# gradient of  W=[xx,0,0,xx] 
# new value of W=[c,aa,bb,d]