Skip to main content
 首页 » 编程设计

python之在 pandas 中向 groupby 添加额外行的最快方法

2025年05月04日12xiaohuochai

我试图通过复制最后一行然后修改一些值来为数据框中的每个组创建一个新行。我的方法如下,连接步骤似乎是瓶颈(我也试过追加)。有什么建议吗?

def genNewObs(df): 
    lastRowIndex = df.obsNumber.idxmax() 
    row = pd.DataFrame(df.ix[lastRowIndex].copy()) 
    # changes some other values in row here 
    df = pd.concat([df,row], ignore_index=True) 
    return df 
 
df = df.groupby(GROUP).apply(genNewObs) 

编辑 1:基本上我有一堆数据,其中包含不同日期的最后一次观察。我想在当前日期为所有组创建最终观察结果。

Group   Date       Days Since last Observation 
  A    1/1/2014               0 
  A    1/10/2014              9 
  B    1/5/2014               0 
  B    1/25/2014              20 
  B    1/27/2014              2 

如果我们假装当前日期是 2014 年 1 月 31 日,这将变为:

Group   Date       Days Since last Observation 
  A    1/1/2014               0 
  A    1/10/2014              9 
  A    1/31/2014              21 
  B    1/5/2014               0 
  B    1/25/2014              20 
  B    1/27/2014              2 
  B    1/31/2014              4 

我试过放大设置,这是所有技术中最慢的。有什么想法吗?

请您参考如下方法:

感谢 user1827356,通过将操作从应用程序中移除,我将速度提高了 100 倍。出于某种原因,首先是按组列删除,所以我改用 idxmax。

def genNewObs(df): 
    lastRowIndex = df.groupby(Group).Date.idxmax() 
    rows = df.ix[lastRowIndex] 
    df = pd.concat([df,rows], ignore_index=True) 
    df = df.sort([Group, Date], ascending=True) 
    return df