Skip to main content
 首页 » 编程设计

python之神经网络中的预训练 (Word2Vec) 嵌入

2024年12月31日7shanyou

如果我必须使用预训练词向量作为神经网络(例如 CNN)中的嵌入层,我该如何处理索引 0?

详细信息:

我们通常从创建一个零 numpy 二维数组开始。稍后我们从词汇表中填写单词索引。 问题是,0 已经是我们词汇表中另一个词的索引(比如,'i' 的索引为 0)。因此,我们基本上是用“i”而不是空词来初始化整个矩阵。那么,我们如何处理填充所有等长的句子呢?

一个简单的弹出窗口是我们可以使用另一个 digit=numberOfWordsInVocab+1 来填充。但这不会需要更大的尺寸吗? [帮帮我!]

请您参考如下方法:

One easy pop-up in mind is we can use the another digit=numberOfWordsInVocab+1 to pad. But wouldn't that take more size?

不!那是一样的大小。

a=np.full((5000,5000), 7) 
a.nbytes 
200000000 
 
b=np.zeros((5000,5000)) 
b.nbytes 
200000000 

编辑:打字错误