我有一个 pandas 数据框 (df),其中某些行存在重复行。这些重复行中的某些列具有 NaN 值,而重复行中的相似列具有值。我想合并重复行,以便将缺失值替换为重复行中的值,然后删除重复行。例如,以下是重复的行:
id col1 col2 col3
0 01 abc 123
9 01 xy
结果应该是这样的:
id col1 col2 col3
0 01 abc xy 123
我通过使用 df.iloc[0:1,].combine_first(df.iloc[9:10,]) 尝试了 .combine_first 但没有成功。有人可以帮我吗?谢谢!
请您参考如下方法:
我想你需要groupby向前和向后填充 NaN,然后是 drop_duplicates :
print (df)
id col1 col2 col3
0 1 abc NaN 123.0
9 1 NaN xy NaN
0 2 abc NaN 17.0
9 2 NaN xr NaN
9 2 NaN xu NaN
df = df.groupby('id').apply(lambda x: x.ffill().bfill()).drop_duplicates()
print (df)
id col1 col2 col3
0 1 abc xy 123.0
0 2 abc xr 17.0
9 2 abc xu 17.0
