我有以下以秒为单位记录的数据:http://pastebin.com/wBSJWYn2
我想以 1 分钟的间隔捕获各种夏季统计数据,如均值、方差等。所以我在 sensor_data.rolling(window=1,freq="1MIN") 上运行这些函数。在大多数情况下,它工作正常,但对于某些类型的功能,我无法克服两种类型的违规行为。具体来说,要么:
- 没有不完整分钟的输出 -- 它不会为不完整的 60 秒的分钟提供输出。
mean()、quantile()、sum() 就是这种情况
- 根本没有输出。对于
var()、std()、kurt()、skew()等某些函数,我根本得不到任何值。我真的不明白为什么会这样,因为它能够计算平均值...
其他函数似乎没有问题:max()、median()、min()
我真的很关心第二个问题,但如果能找到第一个问题的解决方法也是一种奖励......
sensor_data.head()
x_acceleration y_acceleration z_acceleration heart_rate electrodermal_activity temperature
index
2016-05-16 06:58:44 -33.25000 -43.03125 33.09375 NaN 0.297099 33.33
2016-05-16 06:58:45 -28.15625 -52.90625 24.12500 NaN 0.219612 33.33
2016-05-16 06:58:46 -25.87500 -55.96875 21.18750 NaN 0.222648 33.33
2016-05-16 06:58:47 -24.00000 -57.46875 19.40625 NaN 0.217335 33.33
2016-05-16 06:58:48 -22.84375 -56.25000 23.40625 NaN 0.214300 33.33
第一种情况的示例输出——不完整的分钟没有输出:
sensor_data.rolling(window=1,freq="1MIN").mean().head()
x_acceleration y_acceleration z_acceleration heart_rate electrodermal_activity temperature
index
2016-05-16 06:58:00 NaN NaN NaN NaN NaN NaN
2016-05-16 06:59:00 -24.84375 -59.46875 9.03125 68.57 0.208988 33.75
2016-05-16 07:00:00 6.31250 -62.78125 6.46875 79.40 0.224924 33.84
2016-05-16 07:01:00 -21.18750 -57.00000 22.50000 92.00 0.224165 34.13
2016-05-16 07:02:00 -17.46875 -58.87500 21.84375 81.10 0.224165 34.25
第二种情况的示例输出——无输出:
sensor_data.rolling(window=1,freq="1MIN").var().head()
x_acceleration y_acceleration z_acceleration heart_rate electrodermal_activity temperature
index
2016-05-16 06:58:00 NaN NaN NaN NaN NaN NaN
2016-05-16 06:59:00 NaN NaN NaN NaN NaN NaN
2016-05-16 07:00:00 NaN NaN NaN NaN NaN NaN
2016-05-16 07:01:00 NaN NaN NaN NaN NaN NaN
2016-05-16 07:02:00 NaN NaN NaN NaN NaN NaN
请您参考如下方法:
对于初学者来说,这会让你开始。
sensor_data.groupby(pd.Grouper(level=0, freq='Min')).describe()
您可以构建自定义函数:
def stats(df):
kurt = pd.DataFrame(df.kurt(), columns=['kurt']).T
skew = pd.DataFrame(df.skew(), columns=['skew']).T
var = pd.DataFrame(df.var(), columns=['var']).T
return pd.concat([df.describe(), var, skew, kurt])
然后:
sensor_data.groupby(pd.Grouper(level=0, freq='Min')).apply(stats)
编辑:
合并了@Jeff 的评论:
funcs = {
'Count': 'count',
'Var': np.var,
'Std': np.std,
'Mean': np.mean,
'Min': np.min,
'25%': lambda x: x.quantile(.25),
'50%': np.median,
'75%': lambda x: x.quantile(.75),
'Max': np.max,
'Skew': 'skew',
'Kurt': lambda x: x.kurt(),
}
cols = sensor_data.columns
这是一个完整的函数列表。
sensor_data.groupby(pd.Grouper(level=0, freq='Min')).agg({c: funcs for c in cols}).stack()
看起来像:
时机
%%timeit
sensor_data.groupby(pd.Grouper(level=0, freq='Min')).agg({c: funcs for c in cols}).stack()
10 loops, best of 3: 121 ms per loop
%%timeit
sensor_data.groupby(pd.Grouper(level=0, freq='Min')).apply(stats).dropna()
1 loop, best of 3: 221 ms per loop
看起来 agg 的速度大约是原来的两倍。
