Skip to main content
 首页 » 编程设计

python之Byte Embedding in MLSTM概念之争

2024年12月31日16lori

我正在尝试关注 OpenAI "Sentiment Neuron" experiment通过阅读 PyTorch code posted on Github用于从头开始训练模型。

我不明白的一件事是代码中使用的字节级嵌入。我知道 LSTM 输出下一个字节值的概率分布,我假设“嵌入”只是字节值的单热编码。

查看代码,我看到模型的输入在进入模型之前经过(可训练的)密集嵌入。令人困惑的是,损失的输出是在模型输出和即将到来的字节值之间计算的,未嵌入。

我的问题是:
1.交叉熵损失是如何计算的? nn.CrossEntropyLoss 是否采用其输入的 softmax 并将目标扩展为“引擎盖下”的单热向量?

2. 如果我们想从这个 LSTM 生成字节串,我们如何嵌入输出以反馈给下一步的模型?我们是嵌入最高似然值还是采用输出的 softmax 并使用某种加权嵌入?

我是 LSTM 的新手,我正在努力学习,但我就是不明白!感谢您的帮助!

请您参考如下方法:

即使输入和输出使用相同的符号,但两端使用不同的表示形式也是完全可以接受的。交叉熵是两个概率分布的函数。在这种情况下,这两个分布是模型给出的 softmax 分布,以及“正确”字节上的一个点质量。

对于问题 1,是的,这就是在输入和输出方面正在做的事情(尽管实现可能会被优化)。

要回答问题 2,最常见的做法是在每一步形成 softmax 分布,然后从中采样。