我有一个大约 700 万个字符的大型文本语料库,我正在训练 LSTM 网络。然而,我一直看到,在大约第 5 个 epoch 之后,生成的句子没有得到改善,而是完全变成了垃圾。我在下面粘贴了一个示例:
Generating with seed: "n who is in possession of the biggest ro"
n who is in possession of the biggest ro to tato ton ant an to o
ona toon t o o taon an s to ao t tan t tout att tj ton an o t an $
我也尝试过不同的温度。上面粘贴的例子是最保守的。这是另一代人:
Generating with seed: 'to sin, and most of the known world is n'
to sin, and most of the known world is na ararea t tarre a araa arae
tor tae a a aaa aaata ater tje aea arare ar araererrt tmaear araae
为了调试,我最终复制粘贴了 LSTM example from keras并在我的语料库上训练它。同样,在第 5 次迭代时,它开始生成垃圾。
关于如何调试这个或者这可能是什么的任何想法?它以更连贯的预测开始,但突然下降。
请您参考如下方法:
通常,5 个 epoch 过早下结论。 RNN 可以生成看起来不像垃圾的文本,尽管它仍然没有学到任何东西。因此,如果采样文本在每次迭代中明显退化,您应该开始担心,否则就让它学习。
发生这种情况时,您首先应该检查的是概率分布如何随时间演变。比如这个样本
a ararea t tarre a araa arae
tor tae a a aaa aaata ater tje aea arare ar araererrt tmaear araae
... 清楚地表明 a 概率太高。我不认为你的训练数据中有很多 aa 重复,所以子序列 aaata 应该是非常不可能的。要检查这一点,请打印最大概率分数及其对应的字符(分布摘要也可以)。如果您看到这种可能性增加,那几乎肯定是问题所在。
这可能有多种原因,从数据处理或输入管道错误开始,到不正确的网络布线结束。例如,我看到的一个特定错误与索引 0 相关,它对应于未知字符或填充,但实际上被 LSTM 视为有效字符。由于它们很多,网络只学习了这一点,因此它的概率上升了。
