Skip to main content
 首页 » 编程设计

python之LSTM 网络在几次迭代后开始生成垃圾

2025年01月19日10langtianya

我有一个大约 700 万个字符的大型文本语料库,我正在训练 LSTM 网络。然而,我一直看到,在大约第 5 个 epoch 之后,生成的句子没有得到改善,而是完全变成了垃圾。我在下面粘贴了一个示例:

Generating with seed: "n who is in possession of the biggest ro" 
n who is in possession of the biggest ro to   tato ton ant an to  o   
ona toon t o o taon  an s to  ao t tan t  tout att tj ton  an o  t an $ 

我也尝试过不同的温度。上面粘贴的例子是最保守的。这是另一代人:

Generating with seed: 'to sin, and most of the known world is n' 
to sin, and most of the known world is na ararea t tarre a araa arae  
tor tae a a aaa aaata ater tje aea arare ar araererrt tmaear araae 

为了调试,我最终复制粘贴了 LSTM example from keras并在我的语料库上训练它。同样,在第 5 次迭代时,它开始生成垃圾。

关于如何调试这个或者这可能是什么的任何想法?它以更连贯的预测开始,但突然下降。

请您参考如下方法:

通常,5 个 epoch 过早下结论。 RNN 可以生成看起来不像垃圾的文本,尽管它仍然没有学到任何东西。因此,如果采样文本在每次迭代中明显退化,您应该开始担心,否则就让它学习。

发生这种情况时,您首先应该检查的是概率分布如何随时间演变。比如这个样本

a ararea t tarre a araa arae  
tor tae a a aaa aaata ater tje aea arare ar araererrt tmaear araae 

... 清楚地表明 a 概率太高。我不认为你的训练数据中有很多 aa 重复,所以子序列 aaata 应该是非常不可能的。要检查这一点,请打印最大概率分数及其对应的字符(分布摘要也可以)。如果您看到这种可能性增加,那几乎肯定是问题所在。

这可能有多种原因,从数据处理或输入管道错误开始,到不正确的网络布线结束。例如,我看到的一个特定错误与索引 0 相关,它对应于未知字符或填充,但实际上被 LSTM 视为有效字符。由于它们很多,网络只学习了这一点,因此它的概率上升了。