Skip to main content
 首页 » 编程设计

python之剪切渐变时出错

2025年01月19日13emanlee

我在关注这个 tensorflow tutorial在使用多层感知器时进行梯度裁剪。

grads_and_vars = optimizer.compute_gradients(cross_entropy_loss, trainable_variable) 
capped_grads_and_vars = [(tf.clip_by_global_norm(gv[0],5), gv[1]) for gv in grads_and_vars] 
optimizer.apply_gradients(capped_grads_and_vars) 

tensorflow 显示如下错误,

in clip_by_global_norm raise TypeError("t_list should be a sequence") 

trainable_variable 是我在创建模型时创建的列表。假设我有一个可训练变量 (tf.Variable),我通过以下命令将此变量添加到 trainable_variable 列表。

trainable_variable.append(var) #where ver is a trainable variable in tensorflow 

请您参考如下方法:

这类问题的关键在于,trainable_variable 列表可能包含多个未初始化或未在图中使用的张量。确保将所有张量安全地包含在 trainable_variable 列表中。有时甚至它们可能包含 NaN 用于梯度计算。这种类型的错误也可能因不自然的值(value)而引入。