Skip to main content
 首页 » 编程设计

python之在 numpy (pandas) 中合并时间上彼此接近的事件

2025年04月02日1098°冷暖

我想简化开始和停止时间的列表。当一个停止和另一个开始之间的时间时,我想合并(行)。以下是我的数据的简化以及我希望作为输出的内容:

import numpy as np 
import pandas as pd 
start_time = [  1,  7, 20, 22, 27, 35] 
stop_time  = [  5,  9, 22, 26, 30, 40] 
events = pd.DataFrame({'start_time': start_time, 'stop_time': stop_time}) 
allowable_gap = 2.0 
 
desired_start_time = [  1, 20, 35] 
desired_stop_time  = [  9, 30, 40] 
desired_events = pd.DataFrame({'start_time':desired_start_time, 'stop_time':desired_stop_time}) 

我没有要求必须使用 Pandas。但是,我至少需要使用 numpy。事件个数在1e6的数量级。

感谢任何实现或指导。我知道我的部分问题是我没有“理解”Pandas。

我的用法可能与解决方案无关。作为背景,我正在收集大量事件,然后使用 matplotlib.pyplot 绘制它们。由于输出很复杂,我发现最好的格式是 .svg。 IE 通常可以很好地渲染,但需要很长时间才能完成,我希望减少它必须绘制的线条数。我很想以更好的方式查看时间序列,但这超出了这个问题的范围。

请您参考如下方法:

更有效的方法:

In [106]: (events.groupby((events.start_time - events.stop_time.shift() > allowable_gap).cumsum()) 
   .....:        .agg({'start_time':'min', 'stop_time':'max'})[['start_time','stop_time']]) 
Out[106]: 
   start_time  stop_time 
0           1          9 
1          20         30 
2          35         40 

针对 60K 行 DF 的计时:

In [129]: events = pd.concat([events] * 10**4, ignore_index=True) 
 
In [130]: events.shape 
Out[130]: (60000, 2) 
 
In [131]: %paste 
def f(): 
    desired_start_time = [] 
    desired_stop_time  = [] 
 
    start = None 
    end = None 
    for index, row in events.iterrows(): 
        if start == None and end == None: 
            start = row['start_time'] 
            end = row['stop_time'] 
        else: 
            if end + allowable_gap >= row['start_time']: 
                end = row['stop_time'] 
            else: 
                desired_start_time.append(start) 
                desired_stop_time.append(end) 
                start = row['start_time'] 
                end = row['stop_time'] 
    desired_start_time.append(start) 
    desired_stop_time.append(end) 
## -- End pasted text -- 
 
In [132]: %timeit f() 
1 loop, best of 3: 16.1 s per loop 
 
In [133]: %%timeit 
   .....: (events.groupby((events.start_time - events.stop_time.shift() > allowable_gap).cumsum()) 
   .....:        .agg({'start_time':'min', 'stop_time':'max'})[['start_time','stop_time']]) 
   .....: 
100 loops, best of 3: 16.9 ms per loop 

结论:“循环”解决方案大约是。慢 1000 倍

6M 行 DF 的另一个时序:

In [153]: events = pd.concat([events] * 10**6, ignore_index=True) 
 
In [154]: events.shape 
Out[154]: (6000000, 2) 
 
In [155]: %%timeit 
   .....: (events.groupby((events.start_time - events.stop_time.shift() > allowable_gap).cumsum()) 
   .....:        .agg({'start_time':'min', 'stop_time':'max'})[['start_time','stop_time']]) 
   .....: 
1 loop, best of 3: 1.49 s per loop 

给定和期望的 DF:

In [98]: events 
Out[98]: 
   start_time  stop_time 
0           1          5 
1           7          9 
2          20         22 
3          22         26 
4          27         30 
5          35         40 
 
In [99]: desired_events 
Out[99]: 
   start_time  stop_time 
0           1          9 
1          20         30 
2          35         40 

解释:

In [107]: events.start_time - events.stop_time.shift() 
Out[107]: 
0     NaN 
1     2.0 
2    11.0 
3     0.0 
4     1.0 
5     5.0 
dtype: float64 
 
In [108]: (events.start_time - events.stop_time.shift() > allowable_gap) 
Out[108]: 
0    False 
1    False 
2     True 
3    False 
4    False 
5     True 
dtype: bool 
 
In [109]: (events.start_time - events.stop_time.shift() > allowable_gap).cumsum() 
Out[109]: 
0    0 
1    0 
2    1 
3    1 
4    1 
5    2 
dtype: int32