Skip to main content
 首页 » 编程设计

python之Pandas 滚动应用于选定的行

2024年11月24日6shihaiming

如何将 pandas rolling + apply 仅应用于选定的行?

df = pd.DataFrame({'A':range(10)}) 
 
# We want the rolling mean values at rows [4,8] 
rows_to_select = [4,8] 
 
# We can calculate rolling values of all rows first, then do the selections 
roll_mean = df.A.rolling(3).mean() 
result = roll_mean[rows_to_select] 

但是当处理非常大的数据集时,这不是一个选项,只需要滚动值的一个子集。是否可以进行某种rolling + selection + apply?

请您参考如下方法:

使用滑动窗口 View

我们可以创建滑动窗口作为输入系列的 View ,为我们自己提供一个 2D 数组,然后简单地用选定的行对其进行索引,并沿此 2D 的第二个轴计算平均值 数组。这就是所需的输出,并且全部采用矢量化方式。

要获得这些滑动窗口,skimage 中有一个简单的内置函数.我们将利用它。

实现将是 -

from skimage.util.shape import view_as_windows 
 
W = 3 # window length 
 
# Get sliding windows 
w = view_as_windows(df['A'].to_numpy(copy=False),W) 
 
# Get selected rows of slding windows. Get mean value. 
out_ar = w[np.asarray(rows_to_select)-W+1].mean(1) 
 
# Output as series if we need in that format 
out_s = pd.Series(out_ar,index=df.index[rows_to_select]) 

view_as_windows 的替代方案,目的是将其保留在 NumPy 中,将是 strided_app -

w = strided_app(df['A'].to_numpy(copy=False),L=W,S=1) 

扩展到所有归约操作

所有支持归约操作的 NumPy ufunc 都可以扩展为使用此方法,就像这样 -

def rolling_selected_rows(s, rows, W, func): 
    # Get sliding windows 
    w = view_as_windows(s.to_numpy(copy=False),W) 
     
    # Get selected rows of slding windows. Get mean value. 
    out_ar = func(w[np.asarray(rows)-W+1],axis=1) 
     
    # Output as series if we need in that format 
    out_s = pd.Series(out_ar,index=s.index[rows]) 
    return out_s 

因此,要为给定样本的选定行获取滚动 min 值,它将是 -

In [91]: rolling_selected_rows(df['A'], rows_to_select, W=3, func=np.min) 
Out[91]:  
4    2 
8    6 
dtype: int64