让我们考虑一个 DataFrame,它包含 2010 年 1 月的每一天的 1 行 2 个值:
date_range = pd.date_range(dt(2010,1,1), dt(2010,1,31), freq='1D')
df = pd.DataFrame(data = np.random.rand(len(date_range),2), index = date_range)
我将该 DataFrame 拆分为 5 个 DataFrame 的列表,每个 DataFrame 包含来自原始数据的 1 周的数据:df_weeks = [g for n, g in df.groupby(pd.TimeGrouper('W' ))]
如果我输入 df.groupby(pd.TimeGrouper('W')).groups 我可以看到解释组如何拆分的字典:
{Timestamp('2010-01-03 00:00:00', freq='W-SUN'): 3,
Timestamp('2010-01-10 00:00:00', freq='W-SUN'): 10,
Timestamp('2010-01-17 00:00:00', freq='W-SUN'): 17,
Timestamp('2010-01-24 00:00:00', freq='W-SUN'): 24,
Timestamp('2010-01-31 00:00:00', freq='W-SUN'): 31}
让我们考虑另一个具有稀疏数据但与第一个重叠的 TimeSerie:
observations = pd.DataFrame(data =np.random.rand(5,2), index = (dt(2010,1,12), dt(2010,1,18), dt(2010,1,20), dt(2010,1,22), dt(2010,1,28)))
如果我运行相同的代码obs_weeks = [g for n, g in observations.groupby(pd.TimeGrouper('W'))],显然它会在列表中返回更少的数据帧,因为数据涵盖的跨度较小。 observations.groupby(pd.TimeGrouper('W')).groups 返回:
{Timestamp('2010-01-17 00:00:00', freq='W-SUN'): 1,
Timestamp('2010-01-24 00:00:00', freq='W-SUN'): 4,
Timestamp('2010-01-31 00:00:00', freq='W-SUN'): 5}
但是否有办法重用第一个 DataFrame.GroupBy 的组 以将其应用于第二个?也就是说,在那种特定情况下,这将意味着以变量 obs_weeks 结束,其中包含 5 个与 df_weeks 跨越相同时间范围的 DataFrame,其中 2 个为空?
请您参考如下方法:
解决您的问题的一个简单方法是确保观察数据框包含 df 数据框包含的所有日期。您可以使用 reindex 方法执行此操作。然后您将拥有完全相同的组。您还可以使用 resample('W') 而不是 groupby(pd.Timegrouper('W'))
obs2 = observations.reindex(df.index)
obs2.resample('W').groups
{Timestamp('2010-01-03 00:00:00', freq='W-SUN'): 3,
Timestamp('2010-01-10 00:00:00', freq='W-SUN'): 10,
Timestamp('2010-01-17 00:00:00', freq='W-SUN'): 17,
Timestamp('2010-01-24 00:00:00', freq='W-SUN'): 24,
Timestamp('2010-01-31 00:00:00', freq='W-SUN'): 31}
如果我们做一个像 sum 这样的简单聚合,我们可以看到两个帧的结果
df.resample('W').sum()
0 1
2010-01-03 1.990558 2.555191
2010-01-10 2.707777 3.771756
2010-01-17 2.799897 3.353363
2010-01-24 3.165479 2.778870
2010-01-31 4.946577 3.394211
现在 obs2 有 2 个缺失组
obs2.resample('W').sum()
0 1
2010-01-03 NaN NaN
2010-01-10 NaN NaN
2010-01-17 0.172341 0.137136
2010-01-24 1.752472 2.375306
2010-01-31 0.711525 0.124271
