Skip to main content
 首页 » 编程设计

python之"Expanding Mode"类似于 Pandas "expanding_mean"

2024年10月24日18birdshome

我有一个由“project_id”和“date”索引的 Pandas 数据框。将其视为每个项目的时间序列数据。对于每个项目,我想创建一个新的时间序列,其中包含及时的先前值序列的模式。我能够很容易地做到这一点,就像这样:

df = pd.DataFrame({'project_id':[1,1,2,3,3,3], 
              'date':      [0,1,0,0,1,2], 
              'value':     [5,6,7,8,9,12]}) 
df.set_index('project_id','date',inplace=True) 
just_mean = df.groupby(level="project_id",sort=False)['value'].transform(pd.expanding_mean) 
mean_df = df.copy() 
mean_df['value'] = just_mean 

但是,Pandas 似乎没有模式的等效函数(或者人们可能想在时变序列上考虑的许多其他函数)。有没有一种有效的方法使用 numpy 来定义一个函数来做到这一点?现在我有以下内容,它依赖于 Python for 循环并且效率低下:

def func(x): 
    new_series = x.copy() 
    sorted_counts = np.ones(len(x.unique()),dtype=[('x',int),('y',int)]) 
    sorted_counts['x'] *= -1 
    sorted_counts['y'] *= -1 
    for i,val in enumerate(new_series.values.astype(int)): 
        valIdx = np.argwhere(sorted_counts['x'] == val) 
        if valIdx: 
            sorted_counts['y'][valIdx] += 1 
        else: 
            sorted_counts[0] = (val,1) 
        sorted_counts.sort(order='y') 
        new_series.iloc[i] = sorted_counts['x'][-1] 
    return new_series 
 
mode = self.df.groupby(level='project_id',sort=False)['value'].transform(func) 
mode_df = self.df.copy() 
mode_df['value']=mode 

请您参考如下方法:

这是一行(在从 scipy 导入 mode 之后):

from scipy.stats.mstats import mode 
 
df.groupby(level='project_id').apply( 
           lambda x: pd.expanding_apply( x, lambda y: mode(y)[0][0] ) ) 
 
            date  value 
project_id              
1              0      5 
1              0      5 
2              0      7 
3              0      8 
3              0      8 
3              0      8 

这里有一个更渐进的解释。首先,请注意,您可以像这样编写扩展均值。

df.groupby(level='project_id').apply( pd.expanding_mean ) 

但你也可以这样做。

df.groupby(level='project_id').apply( lambda x: pd.expanding_apply(x,np.mean) ) 

这几乎让我们找到了答案,但是模式比平均值稍微有点棘手,因为它返回数组的元组而不是像平均值那样的普通旧数字。所以你在上面看到的额外代码( lambda 和 [0][0] )只是为了将它转换为 expanding_apply 所要求的普通数字。 .