我有多个表格如下。
有 10 个 df 表,行数在 1000-25,000 行之间。
这些 df 表是在对它们进行聚类后生成的。因此,行数的差异。
df = pd.DataFrame({'id': [1,2,3,4,5], 'segments' : ["a,b,c", "c,a", "d,a,b", "e,g", "a,e,d"]})
ref = pd.DataFrame({'id': [1,4], 'segments' : ["a,b,c", "e,g"]})
| id | segments | +----+----+----------+ | 0 | 1 | a,b,c | | 1 | 2 | c,a | | 2 | 3 | d,a,b | | 3 | 4 | e,g | | 4 | 5 | a,e,d | +----+----+----------+ ....total 1500-25,000 rows (10 df tables) | id | segments | +----+----+----------+ | 0 | 1 | a,b,c | | 1 | 4 | e,g | +----+----+----------+.....total 1216 rows
我的目标是确定每个 df 表中是否存在 ref ID。
如果是,我需要检查每个 df 表的每一行并计算有多少段是相同的。
我的最终输出如下。
| id | segments |ref_1 | ref_2 +----+----+----------+-------+-----+ | 0 | 1 | a,b,c | 3 | 0 | | 1 | 2 | c,a | 2 | 0 | | 2 | 3 | d,a,b | 2 | 0 | | 3 | 4 | e,g | 0 | 2 | | 4 | 5 | a,e,d | 1 | 1 | +----+----+----------+-------+-----+
到目前为止,我已经确定了如何检查 ref ID 是否存在
# get the ref id present in df
for index, row in enumerate(df.id):
for index2, row2 in enumerate(ref.id):
if row == row2:
print("ref id present")
print(row,index)
else:
"no ref id"
我试过使用交集函数。但是我得到了输出 0。
len(set(df['segments']).intersection(set(ref['segments'])))
我进行了研究,但大多数解决方案都涉及使用合并解决的单列值。但是,我的 1 列中有多个值。
我在如何检查和计算公共(public)值并将其全部放在一个循环中以在 10 个 df 表上执行的问题上停留了 2 天。
请您参考如下方法:
我认为需要使用 split 创建集合,然后通过 set.intersection 进行比较:
segments = [set(x.split(',')) for x in df['segments']]
ref = [set(x.split(',')) for x in ref['segments']]
for i, x in enumerate(ref, 1):
df['ref_{}'.format(i)] = [len(y.intersection(x)) for y in segments]
print (df)
id segments ref_1 ref_2
0 1 a,b,c 3 0
1 2 c,a 2 0
2 3 d,a,b 2 0
3 4 e,g 0 2
4 5 a,e,d 1 1
如果性能很重要,另一种解决方案 (O(n)):
for i, x in enumerate(ref, 1):
df['ref_{}'.format(i)] = [len([val for val in x if val in y]) for y in segments]
