Skip to main content
 首页 » 编程设计

python之用 pandas 数据框中的平均值替换大小 > 1 的组

2024年12月31日8傻小

所以我想对某些列进行分组,对于大小大于 1 的每个组,在其余列中取平均值(如果所有值都是 nan,那么这应该是 nan,如果不是,我希望 nans 下降到平均值计算,这是默认行为)。然后我希望删除额外的行。下面的代码就是这样做的:

import pandas as pd 
import numpy as np 
 
df = pd.DataFrame( 
    [[1, np.nan, 100, 63], [2, np.nan, 101, 63], [2, 12, 102, 63], 
     [2, 14, 102, 63], [2, 14, 102, 64], [1, np.nan, 200, 63]], 
    columns=['group', 'value', 'value2', 'dummy']) 
print(df) 
df = df.set_index(['group', 'dummy']) 
groupby = df.groupby(['group', 'dummy']) 
idx = groupby.size() > 1 
df_groups_to_process = df.loc[idx] 
# the code below would calculate the mean for all groups, huge performance hit 
# df.loc[idx, ['value', 'value2']] = \ 
#     groupby[['value', 'value2']].transform('mean')[idx].values 
df.loc[idx, ['value', 'value2']] = \ 
    df_groups_to_process.groupby(['group', 'dummy'])[ 
        ['value', 'value2']].transform('mean').values 
print(df) 
df = df.groupby(['group', 'dummy']).first() 
print(df) 

打印:

   group  value  value2  dummy 
0      1    NaN     100     63 
1      2    NaN     101     63 
2      2   12.0     102     63 
3      2   14.0     102     63 
4      2   14.0     102     64 
5      1    NaN     200     63 
sys:1: PerformanceWarning: indexing past lexsort depth may impact performance. 
             value      value2 
group dummy                    
1     63       NaN  150.000000 
2     63      13.0  101.666667 
      63      13.0  101.666667 
      63      13.0  101.666667 
      64      14.0  102.000000 
1     63       NaN  150.000000 
             value      value2 
group dummy                    
1     63       NaN  150.000000 
2     63      13.0  101.666667 
      64      14.0  102.000000 
 
Process finished with exit code 0 

但是,有一些事情可以改进:

  • df_groups_to_process = df.loc[idx] 不确定这是否会创建一个副本,但由于我的真实数据很大,所以我想完全避免这种情况并将其合并到 df 中。 loc[idx, ['value', 'value2']] = ... 行
  • 我在最后重复 groupby 操作以先调用 - 我该如何避免这种情况?
  • 奖励:sys:1: PerformanceWarning: indexing past lexsort depth may impact performance. - 不确定这是关于什么的(我实际上没有在服务器上看到它)。我该如何纠正?

请您参考如下方法:

一个值的平均值就是该值本身,因此除非我遗漏了什么,否则无需按组大小进行区分。

考虑

>>> df 
   group  value  value2  dummy 
0      1    NaN     100     63 
1      2    NaN     101     63 
2      2   12.0     102     63 
3      2   14.0     102     63 
4      2   14.0     102     64 
5      1    NaN     200     63 
>>>  
>>> df.groupby(['group', 'dummy']).mean() 
             value      value2 
group dummy                    
1     63       NaN  150.000000 
2     63      13.0  101.666667 
      64      14.0  102.000000 

这看起来像您预期的输出。如果这解决了您可能正在考虑的所有输入数据帧的问题,请发表评论。