Skip to main content
 首页 » 编程设计

python之有什么方法可以替换 pandas pd.merge 吗

2025年04月02日8lyj

我有两个数据框

>>df1.info() 
>><class 'pandas.core.frame.DataFrame'> 
  Int64Index: 2598374 entries, 3975 to 3054366 
  Data columns (total 14 columns): ...... 
>>df2.info() 
>><class 'pandas.core.frame.DataFrame'> 
  Int64Index: 2520405 entries, 2066 to 2519507 
  Data columns (total 5 columns): ...... 

我想内心加入他们。我尝试了 pd.merge,但出现了内存错误。因此,我尝试在没有 pd.merge 的情况下做同样的事情。

原始方法的示例数据框(失败:内存错误)

df1 = pd.DataFrame({'A': ['1', '2', '3', '4','5'], 
              'B': ['1', '1', '1', '1','1'], 
              'C': ['c', 'A1', 'a', 'c3','a'], 
              'D': ['B1', 'B1', 'B2', 'B3','B4'], 
              'E': ['3', '3', '3', '3','3'], 
              'F': ['3', '4', '5', '6','7'], 
              'G': ['2', '2', '2', '2','2']}) 
 
df2 = pd.DataFrame({'A': ['1', '2',  '8','4'], 
              'B': ['1', '2',  '5','1'], 
              'x': ['3', '3', '2','2'], 
              'y': ['3', '4', '6','7'], 
              'z': ['2', '2', '2','2']}) 
>>   df1 
         A  B   C   D  E  F  G 
      0  1  1   c  B1  3  3  2 
      1  2  1  A1  B1  3  4  2 
      2  3  1   a  B2  3  5  2 
      3  4  1  c3  B3  3  6  2 
      4  5  1   a  B4  3  7  2 
 
     df2 
         A  B  x  y  z 
      0  1  1  3  3  2 
      1  2  2  3  4  2 
      2  8  5  2  6  2 
      3  4  1  2  7  2 
 
df1 = pd.merge(df1,df2,how='inner',on=['A','B'])  
 
>>   df1     
         A  B   C   D  E  F  G  x  y  z 
      0  1  1   c  B1  3  3  2  3  3  2 
      1  4  1  c3  B3  3  6  2  2  7  2 

新方法的例子
(1) 我试图通过列['A']['B']删除df1中不在df2中的行。
(2) 将 x,y,z 列连接到 df1

df1 = pd.DataFrame({'A': ['1', '2', '3', '4','5'], 
              'B': ['1', '1', '1', '1','1'], 
              'C': ['c', 'A1', 'a', 'c3','a'], 
              'D': ['B1', 'B1', 'B2', 'B3','B4'], 
              'E': ['3', '3', '3', '3','3'], 
              'F': ['3', '4', '5', '6','7'], 
              'G': ['2', '2', '2', '2','2']}) 
 
df2 = pd.DataFrame({'A': ['1', '2',  '8','4'], 
              'B': ['1', '2',  '5','1'], 
              'x': ['3', '3', '2','2'], 
              'y': ['3', '4', '6','7'], 
              'z': ['2', '2', '2','2']}) 
>>   df1 
         A  B   C   D  E  F  G 
      0  1  1   c  B1  3  3  2 
      1  2  1  A1  B1  3  4  2 
      2  3  1   a  B2  3  5  2 
      3  4  1  c3  B3  3  6  2 
      4  5  1   a  B4  3  7  2 
 
     df2 
         A  B  x  y  z 
      0  1  1  3  3  2 
      1  2  2  3  4  2 
      2  8  5  2  6  2 
      3  4  1  2  7  2 
 
df1 = df1.loc[((df1['A'].isin(df2.A)) & (df1['B'].isin(df2.B)) ) ] 
 
>>   df1     
         A  B   C   D  E  F  G   
      0  1  1   c  B1  3  3  2   
      1  2  1  A1  B1  3  4  2 
      3  4  1  c3  B3  3  6  2   

然而,我得到了一个逻辑错误,我不知道如何解决这个问题。 谁能帮忙?

请您参考如下方法:

你可以试试concat与 set_index :

df1 = pd.concat([df1.set_index(['A','B']), 
                 df2.set_index(['A','B'])], axis=1, join='inner') 
print (df1)               
      C   D  E  F  G  x  y  z 
A B                           
1 1   c  B1  3  3  2  3  3  2 
4 1  c3  B3  3  6  2  2  7  2 

或结合boolean indexing :

df1 = df1[((df1['A'].isin(df2.A)) & (df1['B'].isin(df2.B)) ) ] 
print (df1) 
   A  B   C   D  E  F  G 
0  1  1   c  B1  3  3  2 
1  2  1  A1  B1  3  4  2 
3  4  1  c3  B3  3  6  2 
 
df2 = df2[((df2['A'].isin(df1.A)) & (df2['B'].isin(df1.B)) ) ] 
print (df2) 
   A  B  x  y  z 
0  1  1  3  3  2 
3  4  1  2  7  2 
 
df3 = pd.concat([df1.set_index(['A','B']), 
                 df2.set_index(['A','B'])], axis=1, join='inner') 
print (df3)               
      C   D  E  F  G  x  y  z 
A B                           
1 1   c  B1  3  3  2  3  3  2 
4 1  c3  B3  3  6  2  2  7  2 

如果过滤后的df1不大,就用merge :

df1 = df1[((df1['A'].isin(df2.A)) & (df1['B'].isin(df2.B)) ) ] 
print (df1) 
   A  B   C   D  E  F  G 
0  1  1   c  B1  3  3  2 
1  2  1  A1  B1  3  4  2 
3  4  1  c3  B3  3  6  2 
 
df2 = df2[((df2['A'].isin(df1.A)) & (df2['B'].isin(df1.B)) ) ] 
print (df2) 
   A  B  x  y  z 
0  1  1  3  3  2 
3  4  1  2  7  2 
 
df3 = pd.merge(df1,df2, on=['A','B'])  
print (df3)               
   A  B   C   D  E  F  G  x  y  z 
0  1  1   c  B1  3  3  2  3  3  2 
1  4  1  c3  B3  3  6  2  2  7  2