Skip to main content
 首页 » 编程设计

python之Word2vec 模型尺寸很小,无法识别单词

2024年12月31日8fff_TT

我使用 gensim 包在 6.4 GB 文本数据 上训练了我的 word2vec 模型,该数据使用以下代码片段进行了预处理:

def read_input(input_file): 
  with open(input_file, "r") as inp: 
    inp_str = inp.read() 
 
  inp_str = inp_str.strip('\n') 
  inp_str = re.sub(r'\n', ' ', inp_str) 
  lowercase = inp_str.lower() 
  punc = lowercase.translate(str.maketrans('', '', string.punctuation)) 
 
  return (punc.translate(str.maketrans('','','1234567890'))) 
 
def read_(input_file): 
  return( gensim.utils.simple_preprocess(input_file, deacc=True, min_len=3))           
 
doc = read_input('../train1.txt') 
documents = read_(doc) 
logging.info ("Done reading data file") 

但每次我训练模型时,它的大小都是 147 Kb,这似乎不对,当我尝试从训练模型生成向量时,它说:

KeyError: "word 'type' not in vocabulary" 

以下是我用来训练 word2vec 模型的代码:

old_model = Word2Vec.load('../word2vec_model') 
old_model.train(documents, total_examples=old_model.corpus_count, epochs=7) 
 
old_model.save('../word2vec_model1') 
 
logging.info ("Saved the new word2vec model") 

请帮我解决这个问题。

请您参考如下方法:

尺寸偏小,可能是因为您在设置模型的参数时,您可能为min_count参数使用了较大的值。 尝试减少 min_count 中的值并重新训练模型