Skip to main content
 首页 » 编程设计

python之如何以有效的方式基于另一个数据框中的值修改数据框中的值

2024年12月31日10over140

我有 2 个这样的数据框:

import pandas as pd 
data1 = {'Col1':['A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J'], 
        'Col2':[3.409836, 2.930693, 2.75, 3.140845, 2.971429, 2.592593, 2.6, 3.1875, 2.857143, 0.714286]} 
df1 = pd.DataFrame(data1, columns=['Col1', 'Col2']) 
 
data2 = {'Col1':['B', 'F', 'I'], 
         'Col2':[23.45, 32.57, 19.85]} 
df2 = pd.DataFrame(data2, columns=['Col1', 'Col2']) 

我想用 df2 中的值修改 df1 中 Col2 的值。这是我的代码:

for i in range(len(df2)): 
    for j in range(len(df1)): 
        if df2['Col1'][i]==df1['Col1'][j]: 
            df1['Col2'][j]=df2['Col2'][i] 

代码有效:

但问题是,此代码对于大型数据帧来说会很慢,因为它具有复杂性 O(len(df1)*len(df2))。如何以更快、更高效的方式合并 2 个数据帧?

我尝试使用外部连接合并数据帧,但它没有产生正确的结果 - 它保留了两个值:

pd.merge(df1, df2, how='outer') 

内部连接生成一个空白数据帧,左连接生成与 df1 相同的数据帧,右连接生成与 df2 相同的数据帧。

请您参考如下方法:

如果只使用一列,请使用 map :

df1['Col2'] = df1['Col1'].map(df2.set_index('Col1')['Col2']).fillna(df1['Col2']) 
print (df1) 
  Col1       Col2 
0    A   3.409836 
1    B  23.450000 
2    C   2.750000 
3    D   3.140845 
4    E   2.971429 
5    F  32.570000 
6    G   2.600000 
7    H   3.187500 
8    I  19.850000 
9    J   0.714286 

如果多列是可能的,请使用 merge 和左连接并指定列 Col1:

cols = df1.columns.difference(['Col1']) 
orig_cols = [f'{x}_' for x in cols] 
 
df = pd.merge(df1, df2, how='left', on='Col1', suffixes=('_','')) 
print (df) 
  Col1     Col2_   Col2 
0    A  3.409836    NaN 
1    B  2.930693  23.45 
2    C  2.750000    NaN 
3    D  3.140845    NaN 
4    E  2.971429    NaN 
5    F  2.592593  32.57 
6    G  2.600000    NaN 
7    H  3.187500    NaN 
8    I  2.857143  19.85 
9    J  0.714286    NaN 

然后用原始列替换添加列的缺失值,最后删除它们:

df[cols] = df[cols].fillna(df[orig_cols].rename(columns=lambda x: x.strip('_'))) 
df = df.drop(orig_cols, axis=1) 
 
print (df) 
  Col1       Col2 
0    A   3.409836 
1    B  23.450000 
2    C   2.750000 
3    D   3.140845 
4    E   2.971429 
5    F  32.570000 
6    G   2.600000 
7    H   3.187500 
8    I  19.850000 
9    J   0.714286