我是深度学习和Pytorch领域的新人。
最近当我学习其中一个pytorch tutorial example for NER task ,我发现 nn.Embedding 的嵌入在训练过程中发生了变化。
所以我的问题是在网络训练期间是否应该改变嵌入?
如果我想将预训练的嵌入(例如,训练好的 word2vec 嵌入)加载到 PyTorch 嵌入层中,是否也应该在训练过程中更改预训练的嵌入?
或者我怎样才能阻止更新嵌入?
谢谢。
请您参考如下方法:
人们可以在任务期间学习嵌入,针对手头的任务对其进行微调,或者保持原样(前提是之前已经以某种方式学习过)。
在最后一种情况下,使用像 word2vec 这样的标准嵌入最终会微调(使用较小的学习率),但会使用提供的词汇和嵌入。对于像 BERT 这样的当前 SOTA,应该始终对数据进行微调,但要以无监督的方式(如最初训练的那样)。
使用它们的最简单方法是 torch.nn.Embedding.from_pretrained ( docs ) 的静态方法,并为 Tensor 提供预训练数据。
如果你希望层是可训练的,通过freeze=False,默认情况下它不是你想要的。
