Skip to main content
 首页 » 编程设计

python之BasicRNNCell 偏差没有得到训练

2025年01月19日13虾米哥

我的网络在训练时的准确率大约为 70%,而验证准确率仅超过 50%(这是一个二分类问题)。我正在调试它并想排除以下原因。

除其他外,该网络由一个 BasicRNNCell 组成:

rnn_cell = tensorflow.contrib.rnn.BasicRNNCell(100) 

tensorflow 为这个 RNN 层创建权重和偏差,我可以使用 tf.trainable_variables() 找到它:

<tf.Variable 'network/rnn/basic_rnn_cell/kernel:0' shape=(200, 100) dtype=float32_ref>, 
<tf.Variable 'network/rnn/basic_rnn_cell/bias:0' shape=(100,) dtype=float32_ref> 

在训练期间,kernel:0 的值会按照我的预期改变每一步,另一边的 bias 的值都是零并且不会改变.我正在使用 AdagradOptimizer:

optimizer = tf.train.AdagradOptimizer(learning_rate=learning_rate).minimize(cost) 

在我看来,偏差应该像权重一样在每个训练步骤中更新。

这是预期的行为吗?难道这就是让我的学习停滞不前的原因吗?

请您参考如下方法:

根据我的经验,我不会关注这样的细节。从您给出的内容很难说是否应该有非零偏差。使用 RNN 时,最好使用裁剪梯度。我已经看到使用这个训练有很大的改进

    optimizer = tf.train.AdamOptimizer(learning_rate) 
 
    # Calculate and clip gradients 
    params = tf.trainable_variables() 
    gradients = tf.gradients(rnn.loss, params) 
    clipped_gradients, _ = tf.clip_by_global_norm( 
        gradients, FLAGS.max_gradient_norm) 
    train_op = optimizer.apply_gradients(zip(clipped_gradients,params), global_step=global_step) 

通常 max_gradient_norm 在 1 到 5 之间效果最好。我也更喜欢 adamOptimizer。希望对您有所帮助!