Skip to main content
 首页 » 编程设计

python之合并数据框中不确定数量的行

2025年04月02日15softidea

我有一个看起来像这样的 CSV 文件:

tid ||  instr_count || fnname 
============================= 
22  ||      892806  || main 
22  ||          18  || randlc 
22  ||         120  || makea 

我想根据 fnname 是否出现在给定列表中,将 instr_count 的值合并在一起。例如,如果我的列表是 ['main', 'makea'],则最终表应如下所示:

tid ||  instr_count || fnname 
============================= 
22  ||      892806  || main 
22  ||         138  || makea 

我事先不知道给定列表中的 2 个值之间会有多少条目 - 所以它可能更类似于此:

tid ||  instr_count || fnname 
============================= 
22  ||      892806  || main 
22  ||          18  || randlc 
22  ||           7  || randlc 
22  ||          35  || randlc 
22  ||          20  || randlc 
22  ||         120  || makea 

应该压缩为:

tid ||  instr_count || fnname 
============================= 
22  ||      892806  || main 
22  ||         200  || makea 

我已经使用 pandas 0.17.1 和 python 2.7.6 将这些值加载到 Dataframe 中。这是我到目前为止所拥有的:

def compressDataframes(df): 
 
    new_df = pd.DataFrame(columns=df.columns) 
    instr_count = 0 
    i = 0 
    for row in df.itertuples(): 
        instr_count += row[2] 
        if any(f in row[3] for f in FUNCS): #FUNCS is my "given list" 
            new_df.loc[i] = [row[1], instr_count, row[3]] 
            i += 1 
            instr_count = 0 
 
    return new_df 

这行得通,但我怀疑必须有一种方法可以更快地完成它(我正在处理一些非常大(> 10 GB)的数据集)。有人有什么建议吗?

请您参考如下方法:

我想你可以使用 isin与 boolean indexing用于创建新列 grouped,它首先包含 NaN,其中不是数据,然后是 fillna填充有效观察以填充间隙(backfill)。最后是 groupby骨料sum instr_count 列:

li = ['main','makea'] 
 
df['grouped'] = df.loc[df['fnname'].isin(li), 'fnname'] 
 
df['grouped'] = df['grouped'].fillna(method='bfill') 
 
print df 
   tid  instr_count  fnname grouped 
0   22       892806    main    main 
1   22           18  randlc   makea 
2   22          120   makea   makea 
 
print df.groupby(['tid','grouped'])['instr_count'].sum().reset_index() 
   tid grouped  instr_count 
0   22    main       892806 
1   22   makea          138 

或用agg :

print df.groupby('grouped').agg({'tid':'first', 'instr_count': sum}).reset_index() 
 
  grouped  tid  instr_count 
0    main   22       892806 
1   makea   22          138 

第二个样本:

li = ['main','makea'] 
df['grouped'] = df.loc[df['fnname'].isin(li), 'fnname'] 
df['grouped'] = df['grouped'].fillna(method='bfill') 
 
print df 
   tid  instr_count  fnname grouped 
0   22       892806    main    main 
1   22           18  randlc   makea 
2   22            7  randlc   makea 
3   22           35  randlc   makea 
4   22           20  randlc   makea 
5   22          120   makea   makea 
 
print df.groupby(['tid','grouped'])['instr_count'].sum().reset_index() 
  grouped  tid  instr_count 
0    main   22       892806 
1   makea   22          200 
 
print df.groupby('grouped').agg({'tid':'first', 'instr_count': sum}).reset_index() 
   tid grouped  instr_count 
0   22    main       892806 
1   22   makea          200