如何将 pandas rolling + apply 仅应用于选定的行?
df = pd.DataFrame({'A':range(10)})
# We want the rolling mean values at rows [4,8]
rows_to_select = [4,8]
# We can calculate rolling values of all rows first, then do the selections
roll_mean = df.A.rolling(3).mean()
result = roll_mean[rows_to_select]
但是当处理非常大的数据集时,这不是一个选项,只需要滚动值的一个子集。是否可以进行某种rolling + selection + apply?
请您参考如下方法:
使用滑动窗口 View
我们可以创建滑动窗口作为输入系列的 View ,为我们自己提供一个 2D 数组,然后简单地用选定的行对其进行索引,并沿此 2D 的第二个轴计算平均值 数组。这就是所需的输出,并且全部采用矢量化方式。
要获得这些滑动窗口,skimage 中有一个简单的内置函数.我们将利用它。
实现将是 -
from skimage.util.shape import view_as_windows
W = 3 # window length
# Get sliding windows
w = view_as_windows(df['A'].to_numpy(copy=False),W)
# Get selected rows of slding windows. Get mean value.
out_ar = w[np.asarray(rows_to_select)-W+1].mean(1)
# Output as series if we need in that format
out_s = pd.Series(out_ar,index=df.index[rows_to_select])
view_as_windows 的替代方案,目的是将其保留在 NumPy 中,将是 strided_app -
w = strided_app(df['A'].to_numpy(copy=False),L=W,S=1)
扩展到所有归约操作
所有支持归约操作的 NumPy ufunc 都可以扩展为使用此方法,就像这样 -
def rolling_selected_rows(s, rows, W, func):
# Get sliding windows
w = view_as_windows(s.to_numpy(copy=False),W)
# Get selected rows of slding windows. Get mean value.
out_ar = func(w[np.asarray(rows)-W+1],axis=1)
# Output as series if we need in that format
out_s = pd.Series(out_ar,index=s.index[rows])
return out_s
因此,要为给定样本的选定行获取滚动 min 值,它将是 -
In [91]: rolling_selected_rows(df['A'], rows_to_select, W=3, func=np.min)
Out[91]:
4 2
8 6
dtype: int64
