Skip to main content
 首页 » 编程设计

python之在应用函数中优化 Pandas 过滤器

2024年10月25日12zhengyun_ustc

我有一个对列表——存储在 DataFrame 中——每个对都有一个“a”列和一个“b”列。对于每一对,我想返回具有相同“a”的“b”。例如,给定以下一组对:

     a    b 
0    c    d 
1    e    f 
2    c    g 
3    e    h  
4    i    j 
5    e    k 

我想结束:

     a    b    equivalents 
0    c    d    [g] 
1    e    f    [h, k]  
2    c    g    [d] 
3    e    h    [f, k] 
4    i    j    [] 
5    e    k    [h, e] 

我可以通过以下方式做到这一点:

def equivalents(x): 
    l = pairs[pairs["a"] == x["a"]]["b"].tolist() 
    return l[1:] if l else l 
 
pairs["equivalents"] = pairs.apply(equivalents, axis = 1) 

但在较大的数据集上(例如超过 100 万对),它的速度非常慢。有什么建议可以让我更快地做到这一点吗?

请您参考如下方法:

我认为这应该快一点。首先,将它们相加。

df['equiv'] = df.groupby('a')['b'].transform(sum) 
 
   a  b equiv 
0  c  d    dg 
1  e  f   fhk 
2  c  g    dg 
3  e  h   fhk 
4  i  j     j 
5  e  k   fhk 

现在转换为列表并删除 'b' 列中已有的字母。

df.apply( lambda x: [ y for y in list( x.equiv ) if y != x.b ], axis=1 ) 
 
0       [g] 
1    [h, k] 
2       [d] 
3    [f, k] 
4        [] 
5    [f, h]