我有两个数据框
>>df1.info()
>><class 'pandas.core.frame.DataFrame'>
Int64Index: 2598374 entries, 3975 to 3054366
Data columns (total 14 columns): ......
>>df2.info()
>><class 'pandas.core.frame.DataFrame'>
Int64Index: 2520405 entries, 2066 to 2519507
Data columns (total 5 columns): ......
我想内心加入他们。我尝试了 pd.merge,但出现了内存错误。因此,我尝试在没有 pd.merge 的情况下做同样的事情。
原始方法的示例数据框(失败:内存错误)
df1 = pd.DataFrame({'A': ['1', '2', '3', '4','5'],
'B': ['1', '1', '1', '1','1'],
'C': ['c', 'A1', 'a', 'c3','a'],
'D': ['B1', 'B1', 'B2', 'B3','B4'],
'E': ['3', '3', '3', '3','3'],
'F': ['3', '4', '5', '6','7'],
'G': ['2', '2', '2', '2','2']})
df2 = pd.DataFrame({'A': ['1', '2', '8','4'],
'B': ['1', '2', '5','1'],
'x': ['3', '3', '2','2'],
'y': ['3', '4', '6','7'],
'z': ['2', '2', '2','2']})
>> df1
A B C D E F G
0 1 1 c B1 3 3 2
1 2 1 A1 B1 3 4 2
2 3 1 a B2 3 5 2
3 4 1 c3 B3 3 6 2
4 5 1 a B4 3 7 2
df2
A B x y z
0 1 1 3 3 2
1 2 2 3 4 2
2 8 5 2 6 2
3 4 1 2 7 2
df1 = pd.merge(df1,df2,how='inner',on=['A','B'])
>> df1
A B C D E F G x y z
0 1 1 c B1 3 3 2 3 3 2
1 4 1 c3 B3 3 6 2 2 7 2
新方法的例子
(1) 我试图通过列['A']['B']删除df1中不在df2中的行。
(2) 将 x,y,z 列连接到 df1
df1 = pd.DataFrame({'A': ['1', '2', '3', '4','5'],
'B': ['1', '1', '1', '1','1'],
'C': ['c', 'A1', 'a', 'c3','a'],
'D': ['B1', 'B1', 'B2', 'B3','B4'],
'E': ['3', '3', '3', '3','3'],
'F': ['3', '4', '5', '6','7'],
'G': ['2', '2', '2', '2','2']})
df2 = pd.DataFrame({'A': ['1', '2', '8','4'],
'B': ['1', '2', '5','1'],
'x': ['3', '3', '2','2'],
'y': ['3', '4', '6','7'],
'z': ['2', '2', '2','2']})
>> df1
A B C D E F G
0 1 1 c B1 3 3 2
1 2 1 A1 B1 3 4 2
2 3 1 a B2 3 5 2
3 4 1 c3 B3 3 6 2
4 5 1 a B4 3 7 2
df2
A B x y z
0 1 1 3 3 2
1 2 2 3 4 2
2 8 5 2 6 2
3 4 1 2 7 2
df1 = df1.loc[((df1['A'].isin(df2.A)) & (df1['B'].isin(df2.B)) ) ]
>> df1
A B C D E F G
0 1 1 c B1 3 3 2
1 2 1 A1 B1 3 4 2
3 4 1 c3 B3 3 6 2
然而,我得到了一个逻辑错误,我不知道如何解决这个问题。 谁能帮忙?
请您参考如下方法:
df1 = pd.concat([df1.set_index(['A','B']),
df2.set_index(['A','B'])], axis=1, join='inner')
print (df1)
C D E F G x y z
A B
1 1 c B1 3 3 2 3 3 2
4 1 c3 B3 3 6 2 2 7 2
或结合boolean indexing :
df1 = df1[((df1['A'].isin(df2.A)) & (df1['B'].isin(df2.B)) ) ]
print (df1)
A B C D E F G
0 1 1 c B1 3 3 2
1 2 1 A1 B1 3 4 2
3 4 1 c3 B3 3 6 2
df2 = df2[((df2['A'].isin(df1.A)) & (df2['B'].isin(df1.B)) ) ]
print (df2)
A B x y z
0 1 1 3 3 2
3 4 1 2 7 2
df3 = pd.concat([df1.set_index(['A','B']),
df2.set_index(['A','B'])], axis=1, join='inner')
print (df3)
C D E F G x y z
A B
1 1 c B1 3 3 2 3 3 2
4 1 c3 B3 3 6 2 2 7 2
如果过滤后的df1不大,就用merge :
df1 = df1[((df1['A'].isin(df2.A)) & (df1['B'].isin(df2.B)) ) ]
print (df1)
A B C D E F G
0 1 1 c B1 3 3 2
1 2 1 A1 B1 3 4 2
3 4 1 c3 B3 3 6 2
df2 = df2[((df2['A'].isin(df1.A)) & (df2['B'].isin(df1.B)) ) ]
print (df2)
A B x y z
0 1 1 3 3 2
3 4 1 2 7 2
df3 = pd.merge(df1,df2, on=['A','B'])
print (df3)
A B C D E F G x y z
0 1 1 c B1 3 3 2 3 3 2
1 4 1 c3 B3 3 6 2 2 7 2
