我有 2 个这样的数据框:
import pandas as pd
data1 = {'Col1':['A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J'],
'Col2':[3.409836, 2.930693, 2.75, 3.140845, 2.971429, 2.592593, 2.6, 3.1875, 2.857143, 0.714286]}
df1 = pd.DataFrame(data1, columns=['Col1', 'Col2'])
data2 = {'Col1':['B', 'F', 'I'],
'Col2':[23.45, 32.57, 19.85]}
df2 = pd.DataFrame(data2, columns=['Col1', 'Col2'])
我想用 df2 中的值修改 df1 中 Col2 的值。这是我的代码:
for i in range(len(df2)):
for j in range(len(df1)):
if df2['Col1'][i]==df1['Col1'][j]:
df1['Col2'][j]=df2['Col2'][i]
代码有效:
但问题是,此代码对于大型数据帧来说会很慢,因为它具有复杂性 O(len(df1)*len(df2))。如何以更快、更高效的方式合并 2 个数据帧?
我尝试使用外部连接合并数据帧,但它没有产生正确的结果 - 它保留了两个值:
pd.merge(df1, df2, how='outer')
内部连接生成一个空白数据帧,左连接生成与 df1 相同的数据帧,右连接生成与 df2 相同的数据帧。
请您参考如下方法:
如果只使用一列,请使用 map :
df1['Col2'] = df1['Col1'].map(df2.set_index('Col1')['Col2']).fillna(df1['Col2'])
print (df1)
Col1 Col2
0 A 3.409836
1 B 23.450000
2 C 2.750000
3 D 3.140845
4 E 2.971429
5 F 32.570000
6 G 2.600000
7 H 3.187500
8 I 19.850000
9 J 0.714286
如果多列是可能的,请使用 merge 和左连接并指定列 Col1:
cols = df1.columns.difference(['Col1'])
orig_cols = [f'{x}_' for x in cols]
df = pd.merge(df1, df2, how='left', on='Col1', suffixes=('_',''))
print (df)
Col1 Col2_ Col2
0 A 3.409836 NaN
1 B 2.930693 23.45
2 C 2.750000 NaN
3 D 3.140845 NaN
4 E 2.971429 NaN
5 F 2.592593 32.57
6 G 2.600000 NaN
7 H 3.187500 NaN
8 I 2.857143 19.85
9 J 0.714286 NaN
然后用原始列替换添加列的缺失值,最后删除它们:
df[cols] = df[cols].fillna(df[orig_cols].rename(columns=lambda x: x.strip('_')))
df = df.drop(orig_cols, axis=1)
print (df)
Col1 Col2
0 A 3.409836
1 B 23.450000
2 C 2.750000
3 D 3.140845
4 E 2.971429
5 F 32.570000
6 G 2.600000
7 H 3.187500
8 I 19.850000
9 J 0.714286
