Skip to main content
 首页 » 编程设计

python之词嵌入解释

2024年12月31日7wuhuacong

在我问这个问题之前,让我先声明这个问题已经在很多文章中得到了回答,但我仍然很难理解词嵌入的基本格式。

让我们从“我喜欢狗”这句话开始。假设采用简单的散列方法,“我喜欢狗”可以用向量 [1, 4, 6] 表示,其中向量的元素对应于每个单词的散列(假设这些不是词汇表中唯一的单词) .据我所知,这个向量被送入一个嵌入层,该层将额外的嵌入维度添加到 RNN 的输入张量上(不一定是普通 RNN)。

对于批处理中的单个条目,嵌入张量(假设嵌入维度为 2)看起来像这样:

[[4.55, 6.78], -> 我

[3.12, 8.17], -> 喜欢

[1.87, 10.95]] -> 狗

这个张量的形状是 (1, 3, 2)。第二个轴的长度(在本例中为 3)是否始终等于输入向量的长度并因此代表序列中的每个单词,或者我是否对 tensorflow 嵌入的工作原理存在根本性的误解?

澄清一下:假设我有一个更长的句子,有 600 个单词,嵌入后的每个单词是否会按其原始顺序被记住,并由为嵌入维度选择的任何大小的向量表示(我们会说 15) , 从而使嵌入张量的形状 (batch_size, 600, 15)?

注意:这些只是随机数,并不代表任何特定内容。

请您参考如下方法:

是的,是的。所以,如果你有“I”[4.55, 6.78]、“like”[3.12, 8.17] 和“dogs”[1.87, 10.95],每个嵌入表示大致直接等同于每个单词,因此顺序不是嵌入完成后丢失。是的,对于 600 个单词的句子和嵌入维度 15 的批处理,形状将是 (batch_size, 600, 15)。我认为你间接问的问题类似于“每个单词是否直接与单个嵌入向量相关embedding_dimension 的长度?”又名“‘I’是否与 [4.55, 6.78] 直接相关,而与其他词/嵌入向量无关?”大多数情况下,答案是肯定的。

就其值(value)而言,将其视为语言很有用。做一个散列表示(排除重复值)或一个每个单词都有唯一值的分类列有点类似于古文,每个单词都有一个唯一的字符。而嵌入式表示更类似于英语,“单词”是字母( float )的固定数量(嵌入维度)。优势类似于我们如何在英语中获得优势。例如“狗”与“狗”有 3 个相似的字符,因为它们是非常相关的概念。同样,您可以通过将“dog”表示为 [1.23 4.56 7.89 1.12] 并将“dogs”表示为 [1.23 4.56 7.89 9.87] 或类似的东西来利用嵌入。

随机,但我希望这对您有所帮助。祝你好运~~ =)