Skip to main content
 首页 » 编程设计

python之折叠具有重叠日期的行

2025年02月15日8youxin

我正在尝试将以下数据框折叠成包含 id 连续时间段的行。连续意味着,在相同的 id 中,start_date 小于、等于或最多比前一个 end_date 大一天行(数据已经按 id、start_date 和 end_date 排序)。所有连续的行都应作为单行输出,start_date 是最小的 start_date(即连续集中第一行的 start_date),end_date 是连续行集中的最大 end_date。
请在底部查看所需的输出。
我能想到的解决这个问题的唯一方法是逐行解析数据帧,但我想知道是否有更 pythonic 和优雅的方法来做到这一点。

id  start_date  end_date 
1   2017-01-01  2017-01-15 
1   2017-01-12  2017-01-24 
1   2017-01-25  2017-02-03 
1   2017-02-05  2017-02-14 
1   2017-02-16  2017-02-28 
2   2017-01-01  2017-01-19 
2   2017-01-24  2017-02-07 
2   2017-02-07  2017-02-20 

这是生成输入数据框的代码:

import numpy as np 
import pandas as pd 
 
start_date = ['2017-01-01','2017-01-12','2017-01-25','2017-02-05','2017-02-16', 
              '2017-01-01','2017-01-24','2017-02-07'] 
end_date = ['2017-01-15','2017-01-24','2017-02-03','2017-02-14','2017-02-28', 
            '2017-01-19','2017-02-07','2017-02-20'] 
 
df = pd.DataFrame({'id': [1,1,1,1,1,2,2,2], 
                  'start_date': pd.to_datetime(start_date, format='%Y-%m-%d'),      
                  'end_date': pd.to_datetime(end_date, format='%Y-%m-%d')}) 

期望的输出:

id  start_date  end_date 
1   2017-01-01  2017-02-03 
1   2017-02-05  2017-02-14 
1   2017-02-16  2017-02-28 
2   2017-01-01  2017-01-19 
2   2017-01-24  2017-02-20 

请您参考如下方法:

def f(grp): 
    #define a list to collect valid start and end ranges 
    d=[] 
    ( 
        #append a new row if the start date is at least 2 days greater than the last date from previous row, 
        #otherwise update last rows's end date with current row's end date. 
        grp.reset_index(drop=True) 
           .apply(lambda x: d.append({x.start_date:x.end_date})  
                            if x.name==0 or (x.start_date-pd.DateOffset(1))>grp.iloc[x.name-1].end_date  
                            else d[-1].update({list(d[-1].keys())[0]:x.end_date}), 
                  axis=1) 
    ) 
    #reconstruct a df using only valid start and end dates pairs. 
    return pd.DataFrame([[list(e.keys())[0],list(e.values())[0]] for e in d], 
                        columns=['start_date','end_date']) 
 
df.groupby('id').apply(f).reset_index().drop('level_1',1) 
Out[467]:  
   id start_date   end_date 
0   1 2017-01-01 2017-02-03 
1   1 2017-02-05 2017-02-14 
2   1 2017-02-16 2017-02-28 
3   2 2017-01-01 2017-01-19 
4   2 2017-01-24 2017-02-20