Skip to main content
 首页 » 编程设计

python之对多个变量/列进行分组的最快方法

2024年11月24日7shihaiming

请耐心等待,我不确定我能否很好地解释这个问题。我有一个数据框 df。

df = pd.DataFrame({"var1":["A","B","B","A","B","C","A","C"],"var2":["foo","bar","bar","foo","foo","foo","bar","foo"], 
                   "var3":["apple","apple","peach","plum","pear","peach","plum","pear"],"actual":[13,2,14,6,8,4,12,9], 
                   "expected":[11,4,9,4,12,0,10,14]}) 
 
print(df) 
 
  var1 var2   var3  actual  expected 
0    A  foo  apple      13        11 
1    B  bar  apple       2         4 
2    B  bar  peach      14         9 
3    A  foo   plum       6         4 
4    B  foo   pear       8        12 
5    C  foo  peach       4         0 
6    A  bar   plum      12        10 
7    C  foo   pear       9        14 
 

我的总体目标是遍历变量(var1、var2、var3),按变量内的唯一类别对每个变量进行分组,然后对每个组的实际值和预期值求和。

例如,当我按 var1 分组时,我希望得到这样的结果

df1=pd.DataFrame({"var1":["A","B","C"],"actual":[31,24,13],"expected":[25,25,14]}) 
print(df1) 
 
  var1  actual  expected 
0    A      31        25 
1    B      24        25 
2    C      13        14 

var2 这个:

df2=pd.DataFrame({"var2":["foo","bar"],"actual":[40,28],"expected":[41,23]}) 
print(df2) 
 
  var2  actual  expected 
0  foo      40        41 
1  bar      28        23 

和var3这个:

df3=pd.DataFrame({"var3":["apple","peach","plum","pear"],"actual":[15,18,18,17],"expected":[15,9,14,26]}) 
print(df3) 
    var3  actual  expected 
0  apple      15        15 
1  peach      18         9 
2   plum      18        14 
3   pear      17        26 

创建后,我想对每个组的每个组的绝对偏差求和(然后求和)。

本质上是这样的。

print(abs(df1["actual"]-df1["expected"]).sum()) 
print(abs(df2["actual"]-df2["expected"]).sum()) 
print(abs(df3["actual"]-df3["expected"]).sum()) 
 
print(abs(df1["actual"]-df1["expected"]).sum()+abs(df2["actual"]-df2["expected"]).sum()+abs(df3["actual"]-df3["expected"]).sum()) 

分别给出 8、6、22、36。

我目前的做法是这样的:

variables = ["var1","var2","var3"] 
expecteds = [] 
actuals = [] 
for var in variables: 
    expecteds = np.append(expecteds, (df["expected"].groupby(df[var])).sum()) 
    actuals = np.append(actuals, (df["actual"].groupby(df[var])).sum()) 
 
print(np.sum(abs(expecteds-actuals))) 

给出 36.0。

答案是正确的,但我想知道是否有人看到更快的方法来做到这一点。我不需要中间步骤的输出,所以只要它输出 36 就可以完美地工作。

作为引用,此方法在我的计算机上运行: 每个循环 16.6 毫秒 ± 959 微秒(7 次运行的平均值 ± 标准偏差,每次 100 次循环)

直到现在,我还从来没有在大到需要注意运行时的数据帧上使用 Pandas。

请您参考如下方法:

这里有两种方法会比你现在做的更快,虽然你的方法没有任何问题,但它似乎工作正常。


set_index + concat + sum

u = df.set_index(['var1', 'var2', 'var3']) 
 
f = pd.concat([u.sum(level=n) for n in range(u.index.nlevels)], ignore_index=True) 
 
f['actual'].sub(f['expected']).abs().sum() 

36 

melt + groupby + sum

um = df.melt(['actual', 'expected']).groupby('value')[['actual', 'expected']].sum() 
 
um['actual'].sub(um['expected']).abs().sum() 

36