Skip to main content
 首页 » 编程设计

python之如何使用自定义 pandas groupby 聚合函数组合数据框中的行

2025年02月15日13小虾米

我有一个包含 name 列和 department 列的数据框。 name 列中有重复项,它们具有不同的 department 值,但所有其他列值都相同。我想将这些重复展平到一行中,并将不同的(唯一的)部门值组合到一个列表中。因此,取每个组的第一行,并将 department 值更改为该组中唯一的 department 值的列表。因此,生成的数据框应具有完全相同的列,但 name 列中没有重复,并且 department 列现在包含至少一个元素的列表。

我想使用 groupby 和传递给 agg() 的自定义聚合函数,但下面的操作完全失败了。我的想法是,我的聚合函数会将每个组作为一个数据框,如果我为每个数据框组返回一个系列,那么 groupby.agg(flatten_departments) 的输出将是一个数据框。

def flatten_departments(name_group): 
    #I thought name_group would be a df of that group  
 
    #this group is length 1 so this name doesn't actually repeat so just return same row 
    if len(name_group) == 1: 
        return name_group.squeeze() #turn length-1 df into a series to return, don't worry that department is a string and not a list for now 
    else: 
        #treat name_group like a df and get the unique departments 
        departments = list(name_group['department'].unique()) 
        name_ser = name_group.iloc[0,:] #take first "row" of this group 
        name_ser['department'] = departments #replace department value with list of unique values from group 
 
        return name_ser 
 
my_df = my_df.groupby(['name']).agg(flatten_departments) 

这是一场灾难,name_group 不是一个 df,而是一个系列,其索引是来自原始 df 的索引,name 是原始 df 中其他列的名称,并为该值赋值对于那个专栏。

我知道我可以按如下方式对 groupby 对象执行 for 循环

list_of_ser = [] 
for name, gp in my_df.groupby(['name']): 
    if len(gp) == 1: 
        list_of_ser.append(gp.squeeze()) 
    else: 
        new_ser = gp.iloc[0,:] 
        new_ser['department'] = list(gp['department'].unique()) 
        list_of_ser.append(new_ser) 
 
new_df = pd.DataFrame(list_of_ser, columns=my_df.columns) 

但我认为这就是 agg 的意义所在!

关于如何使用 agg 实现我的目标的任何想法,或者 for 循环是否确实是正确的方法。如果 for 循环是正确的方式,agg 的意义何在?

谢谢!

请您参考如下方法:

df = pd.DataFrame( 
    dict( 
        name=list('ABCDEFGACEF'), 
        dept=list('xyxyzxyzyxz') 
    ) 
) 
 
df.groupby('name').dept.apply(list).reset_index() 


agg 可以这样使用

df.groupby('name').dept.agg(dict(dept=lambda x: list(x))).reset_index() 

如果您需要保留所有其他列

df = pd.DataFrame( 
    dict( 
        name=list('ABCDEFGACEF'), 
        dept=list('xyxyzxyzyxz') 
    ) 
) 
 
g = df.groupby('name') 
pd.concat([g.dept.apply(list), g.first().drop('dept', 1)], axis=1).reset_index()