Skip to main content
 首页 » 编程设计

python之使用 Pandas 聚合具有开始和结束时间的事件

2024年10月25日9sharpest

我有许多事件的数据,开始时间和结束时间如下:

df = pd.DataFrame({'start': ['2015-01-05', '2015-01-10', '2015-01-11'], 'end': ['2015-01-07', '2015-01-15', '2015-01-13'], 'value': [3, 4, 5]}) 
df['end'] = pd.to_datetime(df['end']) 
df['start'] = pd.to_datetime(df['start']) 

输出:

         end      start  value 
0 2015-01-07 2015-01-05      3 
1 2015-01-15 2015-01-10      4 
2 2015-01-13 2015-01-11      5 

现在我需要计算同时激活的事件数,例如。它们的值的总和。所以结果应该是这样的:

      date  count   sum 
2015-01-05      1     3 
2015-01-06      1     3 
2015-01-07      1     3 
2015-01-08      0     0 
2015-01-09      0     0 
2015-01-10      1     4 
2015-01-11      2     9 
2015-01-12      2     9 
2015-01-13      2     9 
2015-01-14      1     4 
2015-01-15      1     4 

关于如何做到这一点有什么想法吗?我正在考虑为 groupby 使用自定义 Grouper,但据我所知,Grouper 只能将一行分配给单个组,因此看起来没有用。

编辑:经过一些测试后,我发现这种获得所需结果的方式相当丑陋:

df['count'] = 1 
dates = pd.date_range('2015-01-05', '2015-01-15', freq='1D') 
 
start = df[['start', 'value', 'count']].set_index('start').reindex(dates) 
end = df[['end', 'value', 'count']].set_index('end').reindex(dates).shift(1) 
 
rstart = pd.rolling_sum(start, len(start), min_periods=1) 
rend = pd.rolling_sum(end, len(end), min_periods=1) 
 
rstart.subtract(rend, fill_value=0).fillna(0) 

但是,这只适用于求和,我看不出有什么明显的方法可以让它与其他函数一起使用。例如,有没有办法让它使用中位数而不是总和?

请您参考如下方法:

如果我使用 SQL,我会通过将一个全日期表连接到事件表,然后按日期分组来实现。 Pandas 并没有使这种方法变得特别简单,因为无法在条件下进行左连接,但我们可以使用虚拟列和重新索引来伪造它:

df = pd.DataFrame({'start': ['2015-01-05', '2015-01-10', '2015-01-11'], 'end': ['2015-01-07', '2015-01-15', '2015-01-13'], 'value': [3, 4, 5]}) 
df['end'] = pd.to_datetime(df['end']) 
df['start'] = pd.to_datetime(df['start']) 
df['dummy'] = 1 

然后:

date_series = pd.date_range('2015-01-05', '2015-01-15', freq='1D') 
date_df = pd.DataFrame(dict(date=date_series, dummy=1)) 
 
cross_join = date_df.merge(df, on='dummy') 
cond_join = cross_join[(cross_join.start <= cross_join.date) & (cross_join.date <= cross_join.end)] 
grp_join = cond_join.groupby(['date']) 
final = ( 
    pd.DataFrame(dict( 
        val_count=grp_join.size(), 
        val_sum=grp_join.value.sum(), 
        val_median=grp_join.value.median() 
    ), index=date_series) 
    .fillna(0) 
    .reset_index() 
) 

fillna(0) 并不完美,因为它使 val_median 列中的空值变为 0,而实际上它们应该保持为空值。

或者,使用 pandas-ply我们可以将其编码为:

date_series = pd.date_range('2015-01-05', '2015-01-15', freq='1D') 
date_df = pd.DataFrame(dict(date=date_series, dummy=1)) 
 
final = ( 
    date_df 
    .merge(df, on='dummy') 
    .ply_where(X.start <= X.date, X.date <= X.end) 
    .groupby('date') 
    .ply_select(val_count=X.size(), val_sum=X.value.sum(), median=X.value.median()) 
    .reindex(date_series) 
    .ply_select('*', val_count=X.val_count.fillna(0), val_sum=X.val_sum.fillna(0)) 
    .reset_index() 
) 

它可以更好地处理空值。