我有一个看起来像这样的 CSV 文件:
tid || instr_count || fnname
=============================
22 || 892806 || main
22 || 18 || randlc
22 || 120 || makea
我想根据 fnname 是否出现在给定列表中,将 instr_count 的值合并在一起。例如,如果我的列表是 ['main', 'makea'],则最终表应如下所示:
tid || instr_count || fnname
=============================
22 || 892806 || main
22 || 138 || makea
我事先不知道给定列表中的 2 个值之间会有多少条目 - 所以它可能更类似于此:
tid || instr_count || fnname
=============================
22 || 892806 || main
22 || 18 || randlc
22 || 7 || randlc
22 || 35 || randlc
22 || 20 || randlc
22 || 120 || makea
应该压缩为:
tid || instr_count || fnname
=============================
22 || 892806 || main
22 || 200 || makea
我已经使用 pandas 0.17.1 和 python 2.7.6 将这些值加载到 Dataframe 中。这是我到目前为止所拥有的:
def compressDataframes(df):
new_df = pd.DataFrame(columns=df.columns)
instr_count = 0
i = 0
for row in df.itertuples():
instr_count += row[2]
if any(f in row[3] for f in FUNCS): #FUNCS is my "given list"
new_df.loc[i] = [row[1], instr_count, row[3]]
i += 1
instr_count = 0
return new_df
这行得通,但我怀疑必须有一种方法可以更快地完成它(我正在处理一些非常大(> 10 GB)的数据集)。有人有什么建议吗?
请您参考如下方法:
我想你可以使用 isin与 boolean indexing用于创建新列 grouped,它首先包含 NaN,其中不是数据,然后是 fillna填充有效观察以填充间隙(backfill)。最后是 groupby骨料sum instr_count 列:
li = ['main','makea']
df['grouped'] = df.loc[df['fnname'].isin(li), 'fnname']
df['grouped'] = df['grouped'].fillna(method='bfill')
print df
tid instr_count fnname grouped
0 22 892806 main main
1 22 18 randlc makea
2 22 120 makea makea
print df.groupby(['tid','grouped'])['instr_count'].sum().reset_index()
tid grouped instr_count
0 22 main 892806
1 22 makea 138
或用agg :
print df.groupby('grouped').agg({'tid':'first', 'instr_count': sum}).reset_index()
grouped tid instr_count
0 main 22 892806
1 makea 22 138
第二个样本:
li = ['main','makea']
df['grouped'] = df.loc[df['fnname'].isin(li), 'fnname']
df['grouped'] = df['grouped'].fillna(method='bfill')
print df
tid instr_count fnname grouped
0 22 892806 main main
1 22 18 randlc makea
2 22 7 randlc makea
3 22 35 randlc makea
4 22 20 randlc makea
5 22 120 makea makea
print df.groupby(['tid','grouped'])['instr_count'].sum().reset_index()
grouped tid instr_count
0 main 22 892806
1 makea 22 200
print df.groupby('grouped').agg({'tid':'first', 'instr_count': sum}).reset_index()
tid grouped instr_count
0 22 main 892806
1 22 makea 200
