请耐心等待,我不确定我能否很好地解释这个问题。我有一个数据框 df。
df = pd.DataFrame({"var1":["A","B","B","A","B","C","A","C"],"var2":["foo","bar","bar","foo","foo","foo","bar","foo"],
"var3":["apple","apple","peach","plum","pear","peach","plum","pear"],"actual":[13,2,14,6,8,4,12,9],
"expected":[11,4,9,4,12,0,10,14]})
print(df)
var1 var2 var3 actual expected
0 A foo apple 13 11
1 B bar apple 2 4
2 B bar peach 14 9
3 A foo plum 6 4
4 B foo pear 8 12
5 C foo peach 4 0
6 A bar plum 12 10
7 C foo pear 9 14
我的总体目标是遍历变量(var1、var2、var3),按变量内的唯一类别对每个变量进行分组,然后对每个组的实际值和预期值求和。
例如,当我按 var1 分组时,我希望得到这样的结果
df1=pd.DataFrame({"var1":["A","B","C"],"actual":[31,24,13],"expected":[25,25,14]})
print(df1)
var1 actual expected
0 A 31 25
1 B 24 25
2 C 13 14
var2 这个:
df2=pd.DataFrame({"var2":["foo","bar"],"actual":[40,28],"expected":[41,23]})
print(df2)
var2 actual expected
0 foo 40 41
1 bar 28 23
和var3这个:
df3=pd.DataFrame({"var3":["apple","peach","plum","pear"],"actual":[15,18,18,17],"expected":[15,9,14,26]})
print(df3)
var3 actual expected
0 apple 15 15
1 peach 18 9
2 plum 18 14
3 pear 17 26
创建后,我想对每个组的每个组的绝对偏差求和(然后求和)。
本质上是这样的。
print(abs(df1["actual"]-df1["expected"]).sum())
print(abs(df2["actual"]-df2["expected"]).sum())
print(abs(df3["actual"]-df3["expected"]).sum())
print(abs(df1["actual"]-df1["expected"]).sum()+abs(df2["actual"]-df2["expected"]).sum()+abs(df3["actual"]-df3["expected"]).sum())
分别给出 8、6、22、36。
我目前的做法是这样的:
variables = ["var1","var2","var3"]
expecteds = []
actuals = []
for var in variables:
expecteds = np.append(expecteds, (df["expected"].groupby(df[var])).sum())
actuals = np.append(actuals, (df["actual"].groupby(df[var])).sum())
print(np.sum(abs(expecteds-actuals)))
给出 36.0。
答案是正确的,但我想知道是否有人看到更快的方法来做到这一点。我不需要中间步骤的输出,所以只要它输出 36 就可以完美地工作。
作为引用,此方法在我的计算机上运行: 每个循环 16.6 毫秒 ± 959 微秒(7 次运行的平均值 ± 标准偏差,每次 100 次循环)
直到现在,我还从来没有在大到需要注意运行时的数据帧上使用 Pandas。
请您参考如下方法:
这里有两种方法会比你现在做的更快,虽然你的方法没有任何问题,但它似乎工作正常。
set_index + concat + sum
u = df.set_index(['var1', 'var2', 'var3'])
f = pd.concat([u.sum(level=n) for n in range(u.index.nlevels)], ignore_index=True)
f['actual'].sub(f['expected']).abs().sum()
36
melt + groupby + sum
um = df.melt(['actual', 'expected']).groupby('value')[['actual', 'expected']].sum()
um['actual'].sub(um['expected']).abs().sum()
36
