Skip to main content
 首页 » 编程设计

python之如何将一列的不同行与 pandas 中的 Levenshtein 距离度量进行比较

2024年10月25日12zhujiabin

我有一个这样的表:

id name 
1 gfh 
2 bob 
3 boby 
4 hgf 

等等

我想知道如何使用 Levenshtein 指标来比较“姓名”列的不同行?

我已经知道我可以用它来比较列:

L.distance('Hello, Word!', 'Hallo, World!') 

但是行呢?

请您参考如下方法:

这里有一种使用 pandas 和 numpy 的方法:

from numpy import triu, ones 
t = """id name 
1 gfh 
2 bob 
3 boby 
4 hgf""" 
 
df = pd.read_csv(pd.core.common.StringIO(t), sep='\s{1,}').set_index('id') 
print df 
 
        name 
id       
1    gfh 
2    bob 
3   boby 
4    hgf 

使用字符串列表创建数据框以测量距离:

dfs = pd.DataFrame([df.name.tolist()] * df.shape[0], index=df.index, columns=df.index) 
dfs = dfs.applymap(lambda x: list([x])) 
print dfs 
 
    id      1      2       3      4 
id                              
1   [gfh]  [bob]  [boby]  [hgf] 
2   [gfh]  [bob]  [boby]  [hgf] 
3   [gfh]  [bob]  [boby]  [hgf] 
4   [gfh]  [bob]  [boby]  [hgf] 

混合列表以形成具有所有变化的矩阵并使右上角为NaN:

dfd = dfs + dfs.T 
dfd = dfd.mask(triu(ones(dfd.shape)).astype(bool)) 
print dfd 
 
id            1            2            3    4 
id                                             
1           NaN          NaN          NaN  NaN 
2    [gfh, bob]          NaN          NaN  NaN 
3   [gfh, boby]  [bob, boby]          NaN  NaN 
4    [gfh, hgf]   [bob, hgf]  [boby, hgf]  NaN 

测量L.distance:

dfd.applymap(lambda x: L.distance(x[0], x[1]))