我按某种频率对数据进行分组,但 TimeGrouper 似乎在右侧为一些“剩余”数据创建了最后一个组。
df.groupby([pd.TimeGrouper("2AS", label='left')]).sum()['shopping'].plot()
我预计数据会随着时间的推移相当稳定,但 2013 的最后一个数据点下降了近一半。我预计会发生这种情况,因为在每半年一次的分组中,下半年 (2014) 缺失。
rolling_mean 允许 center=True,这将把 NaN/drop 余数放在左边和右边。 Grouper 有类似的功能吗? I couldn't find any on the manual ,但也许有解决方法?
请您参考如下方法:
我认为这里的问题并不真正涉及 TimeGrouper 可用的选项,而是您希望如何处理不均匀数据。我能想到的基本上有 4 个选项:
1) 放弃足够多的观察(在开始或结束时),这样您就有了 2 年观察值的倍数。
2) 推断您的开始(或结束)时期,使其与具有完整数据的时期具有可比性。
3) 根据小于 2 年的基础时间段将您的数据标准化为 2 年总和。这种方法可以与其他两种方法结合使用。
4) 不采用 groupby 类方法,只需执行 rolling_sum。
示例数据框:
rng = pd.date_range('1/1/2010', periods=60, freq='1m')
df = pd.DataFrame({ 'shopping' : np.random.choice(12,60) }, index=rng )
我刚刚用从 1 月 1 日开始的 5 年数据制作了示例数据集,所以如果你每年都这样做,你就完成了。
df.groupby([pd.TimeGrouper("AS", label='left')]).sum()['shopping']
Out[206]:
2010-01-01 78
2011-01-01 60
2012-01-01 76
2013-01-01 51
2014-01-01 60
Freq: AS-JAN, Name: shopping, dtype: int64
这是您的表格形式的问题,前两组基于 2 年的数据,而第三组仅基于 1 年的数据。
df.groupby([pd.TimeGrouper("2AS", label='left')]).sum()['shopping']
Out[205]:
2010-01-01 138
2012-01-01 127
2014-01-01 60
Freq: 2AS-JAN, Name: shopping, dtype: int64
如果你采用上面的方法 (1),你只需要放弃一些观察。很容易放弃后来的观察并重新键入相同的命令。放弃较早的观察有点棘手,因为这样您的第一次观察就不会在偶数年的 1 月 1 日开始,并且您会失去自动标记等。这是一种方法,它会删除第一年并保留最后 4 年,但您会丢失漂亮的标签(您可以与上面的年度数据进行比较以验证这是正确的):
In [202]: df2 = df[12:]
In [203]: df2['group24'] = (np.arange( len(df2) ) / 24 ).astype(int)
In [204]: df2.groupby('group24').sum()['shopping']
Out[204]:
group24
0 136
1 111
或者,让我们尝试方法 (2),外推。为此,只需将 sum() 替换为 mean() 并乘以 24。对于最后一个时期,这仅意味着我们假设 2014 年的 60 将等于2015 年再增加 60。这是否合理将需要您做出判断,您可能想要用星号标记并将其称为估计值。
df.groupby([pd.TimeGrouper("2AS")]).mean()['shopping']*24
Out[208]:
2010-01-01 138
2012-01-01 127
2014-01-01 120
Freq: 2AS-JAN, Name: shopping, dtype: float64
另请记住,这只是您可以在期末进行推断的一种简单(可能过于简单)的方法。这是否是最好的方法(或者推断是否有意义)需要您根据情况做出判断。
接下来,您可以采用方法 (3) 并进行某种规范化。我不确定你到底想要什么,所以我只是勾勒出这些想法。如果你想显示两年的总和,你可以使用前面的例子,将“2AS”替换为“AS”,然后乘以 2。这基本上会使表格看起来不对,但这是制作图表的一种非常简单的方法看起来不错。
最后,只需使用滚动总和:
pd.rolling_sum(df.shopping,window=24)
表格不好,但情节不错。
