Skip to main content
 首页 » 编程设计

python之tfidf vectorizer 给出错误的结果

2025年01月19日8JustinYoung

我有如下文件

1             NAME LASTNAME DOB CITY 
2                     NAME ADDRESS CITY 
3            NAME LASTNAME ADDRESS CITY 
4    NAME LASTNAME ADDRESS CITY PINCODE 
5                  NAME ADDRESS PINCODE 

和TfidfVectorizer给出了以下值

    address      city      dob  employername  lastname  mobile      name  \ 
0  0.000000  0.306476  0.68835           0.0  0.553393     0.0  0.354969    
1  0.573214  0.535492  0.00000           0.0  0.000000     0.0  0.620221    
2  0.412083  0.384964  0.00000           0.0  0.695116     0.0  0.445875    
3  0.357479  0.333954  0.00000           0.0  0.603009     0.0  0.386795    
4  0.493437  0.000000  0.00000           0.0  0.000000     0.0  0.533901    
 
   phone   pincode   
0    0.0  0.000000   
1    0.0  0.000000   
2    0.0  0.000000   
3    0.0  0.497447   
4    0.0  0.686637   

从上面看,文档 1 和 3 都有“名称”术语,也没有。两个文档中的术语相同,因此 tf(name) 在两种情况下都应该相同。 idf 也是一样的。但为什么“名称”特征在两个文档中具有不同的 tfidf 值?

请帮助我理解这一点。

我实际上有很多文件并在所有这些文件上应用了 tfidf,上面给出的是前 5 条数据记录。

请您参考如下方法:

那是因为 norm='l2' 是默认设置。这意味着它是 L2 归一化矩阵,使所有值都在 0 和 1 之间。

您可以使用 norm=None 将其关闭,您将获得与 Tfidf 相同的值 -

doc = ["NAME LASTNAME DOB CITY", "NAME ADDRESS CITY",  
       "NAME LASTNAME ADDRESS CITY",  
       "NAME LASTNAME ADDRESS CITY PINCODE", "NAME ADDRESS PINCODE"] 
 
from sklearn.feature_extraction.text import TfidfVectorizer 
 
vec = TfidfVectorizer(norm=None) 
tf_idf = vec.fit_transform(doc) 
 
print(vec.get_feature_names()) 
print(tf_idf.todense()) 

输出

['address', 'city', 'dob', 'lastname', 'name', 'pincode'] 
[[ 0.          1.18232156  2.09861229  1.40546511  1.          0.        ] 
 [ 1.18232156  1.18232156  0.          0.          1.          0.        ] 
 [ 1.18232156  1.18232156  0.          1.40546511  1.          0.        ] 
 [ 1.18232156  1.18232156  0.          1.40546511  1.          1.69314718] 
 [ 1.18232156  0.          0.          0.          1.          1.69314718]] 

P.S:规范化特征矩阵总是更好

更新 使用 L2 范数,每个数字除以行平方和的平方根。示例 - 对于第 1 行:第 4 列,1.40546511 将除以第 1 行平方和的平方根。这是显示此代码的代码 -

import math 
first_doc = tf_idf.todense()[0].tolist()[0] 
l2 = math.sqrt(sum([i*i for i in first_doc])) 
print(l2) 
print([i/l2 for i in first_doc]) 

输出

2.9626660243635254 
[0.0, 0.39907351927997176, 0.7083526362438907, 0.4743920160255332, 0.3375338265523302, 0.0] 

在这种情况下,我只是手动计算了 TfidfVectorizer 使用 norm='l2' 会做什么。请注意所有值如何介于 0 和 1 之间。这是规范化数据的技术之一。归一化有助于算法更快地收敛并具有更高的准确性。我希望这能解决问题。