Skip to main content
 首页 » 编程设计

python之在 scikit-learn 中使用预训练手套词嵌入

2024年11月24日11zfyouxi

我已经使用 keras 来使用预训练词嵌入,但我不太确定如何在 scikit-learn 模型上使用它。

我也需要在 sklearn 中执行此操作,因为我正在使用 vecstack 来集成 keras 顺序模型和 sklearn 模型。

这是我为 keras 模型所做的:

glove_dir = '/home/Documents/Glove' 
embeddings_index = {} 
f = open(os.path.join(glove_dir, 'glove.6B.200d.txt'), 'r', encoding='utf-8') 
for line in f: 
    values = line.split() 
    word = values[0] 
    coefs = np.asarray(values[1:], dtype='float32') 
    embeddings_index[word] = coefs 
f.close() 
 
embedding_dim = 200 
 
 
embedding_matrix = np.zeros((max_words, embedding_dim)) 
for word, i in word_index.items(): 
    if i < max_words: 
        embedding_vector = embeddings_index.get(word) 
        if embedding_vector is not None: 
            embedding_matrix[i] = embedding_vector 
 
model = Sequential() 
model.add(Embedding(max_words, embedding_dim, input_length=maxlen)) 
. 
. 
model.layers[0].set_weights([embedding_matrix]) 
model.layers[0].trainable = False 
model.compile(----) 
model.fit(-----) 

我是 scikit-learn 的新手,根据我所见,您可以在 sklearn 中制作模型:

lr = LogisticRegression() 
lr.fit(X_train, y_train) 
lr.predict(x_test) 

那么,我的问题是如何将预训练的 Glove 与该模型一起使用?我在哪里传递预训练手套 embedding_matrix

非常感谢,非常感谢您的帮助。

请您参考如下方法:

您可以简单地使用 Zeugma图书馆。

您可以使用 pip install zeugma 安装它,然后使用以下代码行创建和训练您的模型(假设 corpus_train 和 corpus_test是字符串列表):

from sklearn.linear_model import LogisticRegresion 
from zeugma.embeddings import EmbeddingTransformer 
 
glove = EmbeddingTransformer('glove') 
x_train = glove.transform(corpus_train) 
 
model = LogisticRegression() 
model.fit(x_train, y_train) 
 
x_test = glove.transform(corpus_test) 
model.predict(x_test) 

您还可以使用不同的预训练嵌入(完整列表 here)或训练您自己的嵌入(请参阅 Zeugma's documentation 了解如何执行此操作)。