Skip to main content
 首页 » 编程设计

python之根据部分匹配组合两个 pandas df

2024年12月31日9zhujiabin

抱歉标题模糊,很难解释。

我有两个包含相关信息的 pandas df's。一个包含显示事件应该发生时间的时间戳的数据,另一个包含显示该事件实际发生时间的数据。

我想确定这些时间戳之间的差异。问题是代表每个事件的值略有不同。它们相似但不完全相同。因此很难合并或连接相同的值。

第一个 df 是事件应该发生的时间:

例子 df:

Sched = pd.DataFrame({ 
        'E' : ['Home','Shops','Away','Shops','Home'],      
        'F' : ['10:00:00','11:00:00','12:00:00','13:00:00','14:00:00'],         
        'G' : ['No: 10', 'No: 2', 'No: 1','No: 3','No: 11'],                                  
        }) 

所以事件发生的地方被标记在Column E中。例如家,商店,外出。

此 df 在事件实际发生时显示:

Meet = pd.DataFrame({ 
        'A' : ['10:00:05','11:00:05','12:00:05','13:00:05','14:00:05'], 
        'B' : ['HOME LOCK','AWAY HR','SHOPS JK','HOME LOCK','SHOPS JK'], 
        'C' : ['No:','No:','No:','No:','No:'],          
        'D' : ['10', '1', '2','11','3'],                                
        }) 

Column B 中的数据属于同一次 session (Home、Away、Shops),但存在一些差异。全部都是大写字母,还有一些额外的字符串。

我考虑过尝试在使用中映射适当的代码:

Code = pd.DataFrame({ 
        'H' : ['HOME LOCK','AWAY HR','SHOPS JK'], 
        'I' : ['Home','Away','Shops'],                                         
        }) 
 
Meet['B'] = Meet['B'].map(Code.set_index('H')['I']) 

这样我就可以将输出与 sched df 合并。问题是有数百个代码,而且它们每天都在不断变化。

有没有办法对值进行部分匹配?比如,可以合并基本相同的值吗?

请您参考如下方法:

我相信可以使用 title与 split如果第一个单词匹配:

Meet['E'] = Meet.B.str.title().str.split().str[0] 
print (Meet) 
          A          B    C   D      E 
0  10:00:05  HOME LOCK  No:  10   Home 
1  11:00:05    AWAY HR  No:   1   Away 
2  12:00:05   SHOPS JK  No:   2  Shops 
3  13:00:05  HOME LOCK  No:  11   Home 
4  14:00:05   SHOPS JK  No:   3  Shops 

另一个更通用的解决方案是使用 extract通过由 | 加入的可能的单词用于正则表达式或:

Meet['E'] = Meet.B.str.title().str.extract('(Home|Away|Shops)') 
print (Meet) 
          A          B    C   D      E 
0  10:00:05  HOME LOCK  No:  10   Home 
1  11:00:05    AWAY HR  No:   1   Away 
2  12:00:05   SHOPS JK  No:   2  Shops 
3  13:00:05  HOME LOCK  No:  11   Home 
4  14:00:05   SHOPS JK  No:   3  Shops 

如果通过 Sched 的 E 列的唯一值创建模式,并使用 \b 作为单词边界,那么应该更动态:

pat = '|'.join(r"\b{}\b".format(x) for x in Sched.E.unique()) 
print (pat) 
\bHome\b|\bShops\b|\bAway\b 
 
Meet['E'] = Meet.B.str.title().str.extract('(' + pat + ')') 
print (Meet) 
          A          B    C   D      E 
0  10:00:05  HOME LOCK  No:  10   Home 
1  11:00:05    AWAY HR  No:   1   Away 
2  12:00:05   SHOPS JK  No:   2  Shops 
3  13:00:05  HOME LOCK  No:  11   Home 
4  14:00:05   SHOPS JK  No:   3  Shops