我有一个由“project_id”和“date”索引的 Pandas 数据框。将其视为每个项目的时间序列数据。对于每个项目,我想创建一个新的时间序列,其中包含及时的先前值序列的模式。我能够很容易地做到这一点,就像这样:
df = pd.DataFrame({'project_id':[1,1,2,3,3,3],
'date': [0,1,0,0,1,2],
'value': [5,6,7,8,9,12]})
df.set_index('project_id','date',inplace=True)
just_mean = df.groupby(level="project_id",sort=False)['value'].transform(pd.expanding_mean)
mean_df = df.copy()
mean_df['value'] = just_mean
但是,Pandas 似乎没有模式的等效函数(或者人们可能想在时变序列上考虑的许多其他函数)。有没有一种有效的方法使用 numpy 来定义一个函数来做到这一点?现在我有以下内容,它依赖于 Python for 循环并且效率低下:
def func(x):
new_series = x.copy()
sorted_counts = np.ones(len(x.unique()),dtype=[('x',int),('y',int)])
sorted_counts['x'] *= -1
sorted_counts['y'] *= -1
for i,val in enumerate(new_series.values.astype(int)):
valIdx = np.argwhere(sorted_counts['x'] == val)
if valIdx:
sorted_counts['y'][valIdx] += 1
else:
sorted_counts[0] = (val,1)
sorted_counts.sort(order='y')
new_series.iloc[i] = sorted_counts['x'][-1]
return new_series
mode = self.df.groupby(level='project_id',sort=False)['value'].transform(func)
mode_df = self.df.copy()
mode_df['value']=mode
请您参考如下方法:
这是一行(在从 scipy 导入 mode 之后):
from scipy.stats.mstats import mode
df.groupby(level='project_id').apply(
lambda x: pd.expanding_apply( x, lambda y: mode(y)[0][0] ) )
date value
project_id
1 0 5
1 0 5
2 0 7
3 0 8
3 0 8
3 0 8
这里有一个更渐进的解释。首先,请注意,您可以像这样编写扩展均值。
df.groupby(level='project_id').apply( pd.expanding_mean )
但你也可以这样做。
df.groupby(level='project_id').apply( lambda x: pd.expanding_apply(x,np.mean) )
这几乎让我们找到了答案,但是模式比平均值稍微有点棘手,因为它返回数组的元组而不是像平均值那样的普通旧数字。所以你在上面看到的额外代码( lambda 和 [0][0] )只是为了将它转换为 expanding_apply 所要求的普通数字。 .
