您好,我有一个数据框,我想在其中一个列的累计总和等于阈值时找到索引。然后它将重置并再次启动 cumsum。
例如:
d = np.random.randn(10, 1) * 2
df = pd.DataFrame(d.astype(int), columns=['data'])
pd.concat([df,df.cumsum()],axis=1)
输出:
输出[34]:
data data1
0 1 1
1 2 3
2 3 6
3 2 8
4 0 8
5 1 9
6 0 9
7 -1 8
8 1 9
9 2 11
所以在上面的示例数据中,data1 是第 1 列的总和。如果我设置 thres=5 这意味着只要第 1 列的运行总和更大大于或等于 5,我保存索引。发生这种情况后,运行总和将重置并重新开始,直到达到下一次运行总和大于或等于5。
现在我正在做一个循环并不断跟踪运行总和并手动重置。我想知道 pandas 中是否有一种快速矢量化的方法来做到这一点,因为我的数据框有数百万行长。
谢谢
请您参考如下方法:
我不熟悉 pandas,但我的理解是它基于 numpy。使用 numpy,您可以定义可与 accumulate 一起使用的自定义函数。
这是我认为最接近您要找的内容的一个:
import numpy as np
def capsum(array,cap):
capAdd = np.frompyfunc(lambda a,b:a+b if a < cap else b,2,1)
return capAdd.accumulate(values, dtype=np.object)
values = np.random.rand(1000000) * 3 // 1
result = capsum(values,5) # --> produces the result in 0.17 sec.
我相信(或者我希望)您可以在数据帧上使用 numpy 函数。
