Skip to main content
 首页 » 编程设计

python之根据最接近的日期时间合并两个数据框

2024年12月31日7mfrbuaa

我有两个数据集,一个包含空气质量数据,一个包含天气数据,每个数据集都有一个名为“dt”的列,用于表示日期和时间。然而,这些时间并不完全匹配。我想加入这些表,以便保留空气质量数据,并匹配和合并最近的天气数据时间。

df_aq:

                  dt   Latitude  Longitude  ...   Speed_kmh  PM2.5  PM10 
0    11/20/2018 12:16  33.213922 -97.151055  ...        0.35   16.0  86.1 
1    11/20/2018 12:16  33.213928 -97.151007  ...        5.01   16.0  86.1 
2    11/20/2018 12:16  33.213907 -97.150953  ...        5.27   16.0  86.1 
3    11/20/2018 12:16  33.213872 -97.150883  ...        5.03   16.0  86.1 
... 
364  11/20/2018 12:46  33.209462 -97.148623  ...        0.00    2.8   6.3 
365  11/20/2018 12:46  33.209462 -97.148623  ...        0.00    2.8   6.3 
366  11/20/2018 12:46  33.209462 -97.148623  ...        0.00    2.8   6.3] 

df_weather:

     USAF  WBAN               dt  DIR SPD ... PCP01  PCP06  PCP24  PCPXX 
0  722589  3991  11/20/2018 0:53  360   6 ...     0  *****  *****  ***** 
1  722589  3991  11/20/2018 1:53  350   6 ...     0  *****  *****  ***** 
2  722589  3991  11/20/2018 2:53  310   3 ...     0  *****  *****  ***** 
3  722589  3991  11/20/2018 3:53  330   5 ...     0  *****  *****  ***** 
4  722589  3991  11/20/2018 4:53  310   6 ...     0  *****  *****  ***** 

df_aq 的范围是 12:16-12:46,df_weather 每小时都有 53 分钟标记的数据。因此,最接近的时间是 11:53 和 12:53,所以我希望这两个时间和随后的天气数据能够与 df_aq 上的所有数据适当合并

我已经尝试使用 iloc 和 Index.get_loc 进行试验,因为这似乎是最好的方法,但我一直收到错误。

我试过:

ctr = df_aq['dt'].count() - 1  
startTime = df_aq['dt'][0] 
endTime = df_aq['dt'][ctr] 
print df_weather.iloc[df_weather.index.get_loc(startTime,method='nearest') or df_weather.index.get_loc(endTime,method='nearest')] 

但是我得到一个错误:

TypeError: unsupported operand type(s) for -: 'long' and 'str' 

我不确定这个错误是什么意思

有比 iloc 更好的方法吗?如果不是,我这段代码做错了什么?

非常感谢您提供的任何帮助。

请您参考如下方法:

我冒昧地举了一个我在学习过程中使用过的例子:-),希望这将有助于实现你正在寻找的东西。

如评论部分所述,您可以尝试使用特殊函数 merge_asof() 来合并时间序列数据帧

DataFrame 优先:

>>> df1 
                     time ticker   price  quantity 
0 2016-05-25 13:30:00.023   MSFT   51.95        75 
1 2016-05-25 13:30:00.038   MSFT   51.95       155 
2 2016-05-25 13:30:00.048   GOOG  720.77       100 
3 2016-05-25 13:30:00.048   GOOG  720.92       100 
4 2016-05-25 13:30:00.048   AAPL   98.00       100 

第二个数据框:

>>> df2 
                     time ticker     bid     ask 
0 2016-05-25 13:30:00.023   GOOG  720.50  720.93 
1 2016-05-25 13:30:00.023   MSFT   51.95   51.96 
2 2016-05-25 13:30:00.030   MSFT   51.97   51.98 
3 2016-05-25 13:30:00.041   MSFT   51.99   52.00 
4 2016-05-25 13:30:00.048   GOOG  720.50  720.93 
5 2016-05-25 13:30:00.049   AAPL   97.99   98.01 
6 2016-05-25 13:30:00.072   GOOG  720.50  720.88 
7 2016-05-25 13:30:00.075   MSFT   52.01   52.03 
 
 
>>> new_df = pd.merge_asof(df1, df2, on='time', by='ticker') 
 
>>> new_df 
                     time ticker   price  quantity     bid     ask 
0 2016-05-25 13:30:00.023   MSFT   51.95        75   51.95   51.96 
1 2016-05-25 13:30:00.038   MSFT   51.95       155   51.97   51.98 
2 2016-05-25 13:30:00.048   GOOG  720.77       100  720.50  720.93 
3 2016-05-25 13:30:00.048   GOOG  720.92       100  720.50  720.93 
4 2016-05-25 13:30:00.048   AAPL   98.00       100     NaN     NaN 

查看文档 Doc merge_asof