我有一个包含多个变量的多个范围的网络。我需要一种方法来设置特定变量或名称范围的训练能力,以便它们不会更新并且不会包含在梯度计算中,然后在某些条件下将它们设置为可训练。有可能吗?如果是,怎么做?
with tf.name_scope('layer1'):
w = tf.Variable(...)
b = tf.Variable(...)
... some function ...
with tf.name_scope('layer2'):
w = tf.Variable(...)
b = tf.Variable(...)
... some function ...
with tf.name_scope('layer3'):
w = tf.Variable(...)
b = tf.Variable(...)
... some function ...
我想更改第一个范围内变量的训练能力,因为它们是从预训练文件中恢复的,并且已经学习过。所以,我想训练其他层中的变量,直到它们被学习,然后将第一个范围中的变量的可训练能力设置回 True 并一起训练它们。
请您参考如下方法:
您可以使用的一件事是每个优化器都有的 var_list 参数:https://www.tensorflow.org/api_docs/python/tf/train/Optimizer
文档说:
var_list: Optional list of Variable objects to update to minimize loss. Defaults to the list of variables collected in the graph under the key GraphKeys.TRAINABLE_VARIABLES.
在你的情况下你可以说:
optimizer = GradientDescentOptimizer(0.01)
optimizer.minimize(loss,[w1,w2])
如果这有帮助,请告诉我们!
