Skip to main content
 首页 » 编程设计

Python之Pandas、Rolling Mean 和困难的 Groupby 通用 ID 以及一些选择参数

2024年10月24日17qq号

您好,我无法通过 python 中的滚动均值和 groupby 函数创建所需的输出。下面是我的数据框的快照....

    var_x = range(0, 12) 
    var_y = range(20, 44, 2) 
    var_z = range(0, 60, 5)  
    ID = ['a', 'a', 'a', 'a', 'b', 'b', 'b', 'b', 'b', 'c', 'c', 'c'] 
    df = DataFrame(zip(ID, var_x, var_y, var_z), columns = ['id', 'var_x', 'var_y', 'var_z']) 
 
    df 
    id   var_x   var_y   var_z 
    a   0  20   0 
    a   1  22   5 
    a   2  24  10 
    a   3  26  15 
    b   4  28  20 
    b   5  30  25 
    b   6  32  30 
    b   7  34  35 
    b   8  36  40 
    c   9  38  45 
    c  10  40  50 
    c  11  42  55 

利用这些数据,我试图完成三件事: - 首先,我想使用 groupby 为“id”字段计算滚动平均值。我可以为单个列执行此操作,但不能为每个数字字段(var_y、var_z)执行此操作,使用以下代码。

    df.groupby('id')['var_x'].apply(pd.rolling_mean, 3)  
  • 其次,我希望将前 3 个 ID 的平均值填充到当前 ID,而不将当前 ID 的值包含在当前滚动平均迭代中(可能使用 shift?)。例如,看起来像这样的输出...

    0    NaN    NaN    NaN 
    1    NaN    NaN    NaN 
    2    NaN    NaN    NaN 
    3      1    22     5 
    4    NaN    NaN    NaN 
    5    NaN    NaN    NaN 
    6    NaN    NaN    NaN  
    7      5    30     25 
    8      6    32     30 
    9     NaN   NaN    NaN 
    10    NaN   NaN    NaN 
    11    NaN   NaN    NaN 
    

请注意第 4 个“a”是前 3 个 a 的平均值。第 4 个和第 5 个 b 也是如此(取前 3 个平均值的值,同时排除它自己的值)。

  • 第三,对于以“NaN”结尾的 ID(每个新 ID 的前三个),我想迭代地将窗口从 3 减少到 1(如果可能),这样唯一的值NaN 将是每个 ID 的第一个实例。所需的输出将是...

    0    NaN    NaN    NaN 
    1      0    20     0 
    2    0.5    21     2.5 
    3      1    22     5 
    4    NaN    NaN    NaN 
    5      4    28     20 
    6    4.5    29     22.5  
    7      5    30     25 
    8      6    32     30 
    9     NaN   NaN    NaN 
    10    9     38     45 
    11    9.5   39     47.5        
    

请注意第 3 个 a 是前 2 个 a 的平均值。第二个 a 是第一个等的值...

如有任何帮助,我们将不胜感激。

请您参考如下方法:

让我通过将“id”作为索引来对示例数据进行轻微更改。这主要是通过保存一列来简化数据,同时也有解决问题1的副作用。

df = pd.DataFrame({'var_x':range(12), 'var_y':range(20,44,2), 'var_z':range(0,60,5)},  
                   index=list('aaaabbbbbccc')) 
 
   var_x  var_y  var_z 
a      0     20      0 
a      1     22      5 
a      2     24     10 
a      3     26     15 
b      4     28     20 
b      5     30     25 
b      6     32     30 
b      7     34     35 
b      8     36     40 
c      9     38     45 
c     10     40     50 
c     11     42     55 

由于数据发生变化,您还将 groupby 语法更改为 level=0。老实说,我不太确定为什么这会解决您的第一个问题,但我确信有一种方法可以在不将索引设置为“id”变量的情况下做到这一点。无论如何...

df2 = df.groupby(level=0).apply(pd.rolling_mean, 3) 
 
   var_x  var_y  var_z 
a    NaN    NaN    NaN 
a    NaN    NaN    NaN 
a      1     22      5 
a      2     24     10 
b    NaN    NaN    NaN 
b    NaN    NaN    NaN 
b      5     30     25 
b      6     32     30 
b      7     34     35 
c    NaN    NaN    NaN 
c    NaN    NaN    NaN 
c     10     40     50 

第二部分很简单,只是另一个 groupby,但这次有 shift。

df_win3 = df2.groupby(level=0).shift() 
 
   var_x  var_y  var_z 
a    NaN    NaN    NaN 
a    NaN    NaN    NaN 
a    NaN    NaN    NaN 
a      1     22      5 
b    NaN    NaN    NaN 
b    NaN    NaN    NaN 
b    NaN    NaN    NaN 
b      5     30     25 
b      6     32     30 
c    NaN    NaN    NaN 
c    NaN    NaN    NaN 
c    NaN    NaN    NaN 

第三部分只是用不同的窗口重复前两个步骤。

df_win2 = df.groupby(level=0).apply(pd.rolling_mean, 2).groupby(level=0).shift() 
df_win1 = df.groupby(level=0).apply(pd.rolling_mean, 1).groupby(level=0).shift() 

然后使用 combine_first 合并最左侧数据帧中的值(如果可用)。

df_win3.combine_first(df_win2).combine_first(df_win1) 
 
   var_x  var_y  var_z 
a    NaN    NaN    NaN 
a    0.0     20    0.0 
a    0.5     21    2.5 
a    1.0     22    5.0 
b    NaN    NaN    NaN 
b    4.0     28   20.0 
b    4.5     29   22.5 
b    5.0     30   25.0 
b    6.0     32   30.0 
c    NaN    NaN    NaN 
c    9.0     38   45.0 
c    9.5     39   47.5