Skip to main content
 首页 » 编程设计

python之计算数据帧之间的公共(public)列值 (Python)

2024年12月31日12telwanggs

我有多个表格如下。
有 10 个 df 表,行数在 1000-25,000 行之间。
这些 df 表是在对它们进行聚类后生成的。因此,行数的差异。

  df = pd.DataFrame({'id': [1,2,3,4,5], 'segments' : ["a,b,c", "c,a", "d,a,b", "e,g", "a,e,d"]}) 
  ref = pd.DataFrame({'id': [1,4], 'segments' : ["a,b,c", "e,g"]}) 
     | id | segments | 
+----+----+----------+ 
| 0  | 1  | a,b,c    | 
| 1  | 2  | c,a      |  
| 2  | 3  | d,a,b    |  
| 3  | 4  | e,g      |  
| 4  | 5  | a,e,d    |  
+----+----+----------+  ....total 1500-25,000 rows (10 df tables) 
 
 
     | id | segments | 
+----+----+----------+ 
| 0  | 1  | a,b,c    | 
| 1  | 4  | e,g      |  
+----+----+----------+.....total 1216 rows 

我的目标是确定每个 df 表中是否存在 ref ID。
如果是,我需要检查每个 df 表的每一行并计算有多少段是相同的。
我的最终输出如下。

     | id | segments |ref_1  | ref_2 
+----+----+----------+-------+-----+ 
| 0  | 1  | a,b,c    | 3     |  0  | 
| 1  | 2  | c,a      | 2     |  0  | 
| 2  | 3  | d,a,b    | 2     |  0  | 
| 3  | 4  | e,g      | 0     |  2  | 
| 4  | 5  | a,e,d    | 1     |  1  | 
+----+----+----------+-------+-----+ 

到目前为止,我已经确定了如何检查 ref ID 是否存在

# get the ref id present in df 
for index, row in enumerate(df.id): 
    for index2, row2 in enumerate(ref.id): 
        if row == row2: 
            print("ref id present") 
            print(row,index) 
        else: 
            "no ref id" 

我试过使用交集函数。但是我得到了输出 0。

len(set(df['segments']).intersection(set(ref['segments']))) 

我进行了研究,但大多数解决方案都涉及使用合并解决的单列值。但是,我的 1 列中有多个值。
我在如何检查和计算公共(public)值并将其全部放在一个循环中以在 10 个 df 表上执行的问题上停留了 2 天。

请您参考如下方法:

我认为需要使用 split 创建集合,然后通过 set.intersection 进行比较:

segments = [set(x.split(',')) for x in df['segments']] 
ref = [set(x.split(',')) for x in ref['segments']] 
 
for i, x in enumerate(ref, 1): 
    df['ref_{}'.format(i)] = [len(y.intersection(x)) for y in segments] 
print (df) 
   id segments  ref_1  ref_2 
0   1    a,b,c      3      0 
1   2      c,a      2      0 
2   3    d,a,b      2      0 
3   4      e,g      0      2 
4   5    a,e,d      1      1 

如果性能很重要,另一种解决方案 (O(n)):

for i, x in enumerate(ref, 1): 
    df['ref_{}'.format(i)] = [len([val for val in x if val in y]) for y in segments]