所以我想对某些列进行分组,对于大小大于 1 的每个组,在其余列中取平均值(如果所有值都是 nan,那么这应该是 nan,如果不是,我希望 nans 下降到平均值计算,这是默认行为)。然后我希望删除额外的行。下面的代码就是这样做的:
import pandas as pd
import numpy as np
df = pd.DataFrame(
[[1, np.nan, 100, 63], [2, np.nan, 101, 63], [2, 12, 102, 63],
[2, 14, 102, 63], [2, 14, 102, 64], [1, np.nan, 200, 63]],
columns=['group', 'value', 'value2', 'dummy'])
print(df)
df = df.set_index(['group', 'dummy'])
groupby = df.groupby(['group', 'dummy'])
idx = groupby.size() > 1
df_groups_to_process = df.loc[idx]
# the code below would calculate the mean for all groups, huge performance hit
# df.loc[idx, ['value', 'value2']] = \
# groupby[['value', 'value2']].transform('mean')[idx].values
df.loc[idx, ['value', 'value2']] = \
df_groups_to_process.groupby(['group', 'dummy'])[
['value', 'value2']].transform('mean').values
print(df)
df = df.groupby(['group', 'dummy']).first()
print(df)
打印:
group value value2 dummy
0 1 NaN 100 63
1 2 NaN 101 63
2 2 12.0 102 63
3 2 14.0 102 63
4 2 14.0 102 64
5 1 NaN 200 63
sys:1: PerformanceWarning: indexing past lexsort depth may impact performance.
value value2
group dummy
1 63 NaN 150.000000
2 63 13.0 101.666667
63 13.0 101.666667
63 13.0 101.666667
64 14.0 102.000000
1 63 NaN 150.000000
value value2
group dummy
1 63 NaN 150.000000
2 63 13.0 101.666667
64 14.0 102.000000
Process finished with exit code 0
但是,有一些事情可以改进:
df_groups_to_process = df.loc[idx]不确定这是否会创建一个副本,但由于我的真实数据很大,所以我想完全避免这种情况并将其合并到df 中。 loc[idx, ['value', 'value2']] = ...行- 我在最后重复 groupby 操作以先调用 - 我该如何避免这种情况?
- 奖励:
sys:1: PerformanceWarning: indexing past lexsort depth may impact performance.- 不确定这是关于什么的(我实际上没有在服务器上看到它)。我该如何纠正?
请您参考如下方法:
一个值的平均值就是该值本身,因此除非我遗漏了什么,否则无需按组大小进行区分。
考虑
>>> df
group value value2 dummy
0 1 NaN 100 63
1 2 NaN 101 63
2 2 12.0 102 63
3 2 14.0 102 63
4 2 14.0 102 64
5 1 NaN 200 63
>>>
>>> df.groupby(['group', 'dummy']).mean()
value value2
group dummy
1 63 NaN 150.000000
2 63 13.0 101.666667
64 14.0 102.000000
这看起来像您预期的输出。如果这解决了您可能正在考虑的所有输入数据帧的问题,请发表评论。
