Skip to main content
 首页 » 编程设计

python之具有多对一设置的 RNN之使用哪个输出

2024年12月31日15soundcode

我正在浏览一系列使用 RNN 进行文档分类(多对一)的机器学习示例。在大多数教程中,使用最后一个时间步的 RNN 输出,即将其馈送到一个或多个密集层以将其映射到类的数量(例如,[1]、[2])。

但是,我也遇到了一些示例,其中使用了所有时间步长的输出平均值而不是最后一个输出(均值池化?,例如 [3] )。这个平均输出的维度当然与最后一个输出的维度相同。因此在计算上,这两种方法的工作原理相同。

我现在的问题是,这两种不同方法之间的直觉是什么。由于递归的性质,最后的输出也反射(reflect)了之前时间步的输出。那么为什么要在所有时间步长上平均 RNN 输出的想法。什么时候使用什么?

请您参考如下方法:

随时间池化 是一种用于从输入序列中提取特征的特定技术。来自 this question :

The reason to do this, instead of "down-sampling" the sentence like in a CNN, is that in NLP the sentences naturally have different length in a corpus. This makes the feature maps different for different sentences, but we'd like to reduce the tensor to a fixed size to apply softmax or regression head in the end. As stated in the paper, it allows to capture the most important feature, one with the highest value for each feature map.

这里需要注意的是,max-over-time(或 average-over-time)通常是一个中间层。特别是,可以有几个连续或并行(具有不同的窗口大小)。网络产生的最终结果仍然可以是多对一或多对多(至少在理论上)。

但是,在大多数情况下,RNN 有一个单个输出。如果输出必须是一个序列,这个输出通常被送入另一个 RNN。所以这一切都归结为如何准确地学习这个单一值:获取最后一个单元格输出或在整个序列中聚合或应用注意力机制等。