我正在尝试在 python 中创建一个共现矩阵,但正在寻找一些有效的方法来做到这一点。
我的数据集如下所示:
total_labels = ['a','b','c','d']
occ = [['a','b'],['c','d'],['a','c'],['d'],['a','c','d']]
我期待这样的输出:
data_mat = [[0, 1 , 2, 1],
[1, 0, 0, 0],
[2, 0, 0, 2],
[1, 0, 2, 0]]
实际上是:
a b c d
data_mat = a [[0, 1 , 2, 1],
b [1, 0, 0, 0],
c [2, 0, 0, 2],
d [1, 0, 2, 0]]
我试过的是:
import numpy as np
m_matrix = np.zeros([4,4])
for m in range(len(total_labels)):
for j in range(len(total_labels)):
for k in occ:
if set((total_labels[m],total_labels[j])).issubset(set(k)):
m_matrix[m,j]+=1
这是给予:
array([[3., 1., 2., 1.],
[1., 1., 0., 0.],
[2., 0., 3., 2.],
[1., 0., 2., 3.]])
但如您所见,(a,a) 和 (b,b) 等(自循环)之间没有任何联系,但它在那里给出了值。
如何在不使用许多循环的情况下创建 data_mat?
请您参考如下方法:
自合并后跟crosstab
import pandas as pd
df = pd.DataFrame(occ).stack().rename('val').reset_index().drop(columns='level_1')
df = df.merge(df, on='level_0').query('val_x != val_y')
pd.crosstab(df.val_x, df.val_y)
输出:
val_y a b c d
val_x
a 0 1 2 1
b 1 0 0 0
c 2 0 0 2
d 1 0 2 0
如果只需要你提供的那些标签可以做:
(pd.crosstab(df.val_x, df.val_y)
.reindex(total_labels, axis=0).reindex(total_labels, axis=1))
或者在合并之前过滤(可能更聪明):
df = df.loc[df.val.isin(total_labels)]
