Skip to main content
 首页 » 编程设计

python之澄清 word2vec `generate_batch()` 是如何工作的

2024年12月31日10rubylouvre

我一直在努力理解如何将它应用到我的测试和数据集(我发现 github 上的 tensorflow 代码太复杂而且不是很简单)。

我将使用 skip-gram 模型。这是我写的代码。我想要一个对正在发生的事情以及我需要做什么才能完成这项工作的非神秘解释。

def generate_batch(self): 
    inputs = [] 
    labels = [] 
    for i,phrase in enumerate(self.training_phrases): # training_phrases look like this: ['I like that cat', '...', ..] 
        array_list = utils.skip_gram_tokenize(phrase) # This transforms a sentence into an array of arrays of numbers representing the sentence, ex. [[181, 152], [152, 165], [165, 208], [208, 41]] 
        for array in array_list: 
            inputs.append(array) # I noticed that this is useless, I could just do inputs = array_list 
 
    return inputs, labels 

这就是我现在的位置。从tensorflow在github上提供的generate_batch()可以看出,它返回的是inputs, labels。

我假设输入是跳过克的数组,但什么是标签?我如何生成它们?

此外,我看到它实现了 batch_size,我该怎么做(我假设我必须将数据分成更小的部分,但它是如何工作的?我将数据放入一个数组中?)。

关于 batch_size,如果批量大小为 16,但数据仅提供 130 个输入,会发生什么情况?我是先做 8 个常规批处理,然后再做一个包含 2 个输入的小批量?

请您参考如下方法:

对于 skip-gram你需要喂 input-label配对为 current word及其 context word . context word对于每个 input word定义在一个窗口内的文本短语。

考虑以下文本短语:"Here's looking at you kid".对于 3 的窗口, 对于当前单词 at ,你有两个上下文词 looking和 you .所以 input label对是 {at, looking}, {at, you} ,您将它们转换为数字表示形式。

在上面的代码中,数组列表示例给出为:ex. [[181, 152], [152, 165], [165, 208], [208, 41]] ,这意味着当前词及其上下文是为下一个词定义的,而不是为前一个词定义的。

架构如下所示:

现在你已经生成了这些对,批量获取它们并训练它们。批处理大小不一是可以的,但要确保你的损失是average loss而不是 sum loss .