我在关注这个 tensorflow tutorial在使用多层感知器时进行梯度裁剪。
grads_and_vars = optimizer.compute_gradients(cross_entropy_loss, trainable_variable)
capped_grads_and_vars = [(tf.clip_by_global_norm(gv[0],5), gv[1]) for gv in grads_and_vars]
optimizer.apply_gradients(capped_grads_and_vars)
tensorflow 显示如下错误,
in clip_by_global_norm raise TypeError("t_list should be a sequence")
trainable_variable 是我在创建模型时创建的列表。假设我有一个可训练变量 (tf.Variable),我通过以下命令将此变量添加到 trainable_variable 列表。
trainable_variable.append(var) #where ver is a trainable variable in tensorflow
请您参考如下方法:
这类问题的关键在于,trainable_variable 列表可能包含多个未初始化或未在图中使用的张量。确保将所有张量安全地包含在 trainable_variable 列表中。有时甚至它们可能包含 NaN 用于梯度计算。这种类型的错误也可能因不自然的值(value)而引入。
