Skip to main content
 首页 » 编程设计

python之Pandas 中具有特定总长度的动态索引

2024年12月31日17langtianya

我有以下数据框:

    V1 
1   100000 
2   50000 
3   20000 
4   30000 
5   150000 
6   30000 
7   20000 
8   200000 

而且我需要获取每次 V1 的总和正好达到 50k 时的索引。因此,当值 V1 大于 50k 的限制时,索引将重复达到限制的次数,或者如果值 V1 低于 50k 的限制,则对行进行分组,直到达到或超过 50k 的限制。结果将是这样的:

    V1 
1   100000 
1   100000 
2   50000 
4   30000 
5   150000 
5   150000 
5   150000 
7   20000 
8   200000 
8   200000 
8   200000 
8   200000 

我已经设法用循环解决了它,但我想知道是否可以将分组与 pandas 函数一起使用。

请您参考如下方法:

在你给出的例子中

df = pd.DataFrame({'V1':[100000,50000, 20000, 30000,  
                         150000, 30000, 20000, 200000]}, 
                   index=range(1,9)) 

根据我对“每次 V1 的总和恰好达到 50k 时获取索引”的理解,您可以通过创建一个列来实现,该列的数量恰好是总和中的 50k直到每一行:

ser_50k = (df.V1.cumsum()/50000).astype(int) 
df['nb_50'] = (ser_50k - ser_50k.shift()).fillna(ser_50k).astype(int) 

现在,当 50k 达到多次时,您可以使用 stack 创建具有相同索引的行:

df_join = (df['nb_50'].apply(lambda x: pd.Series(range(x))) 
                      .stack().reset_index(level=1).drop('level_1',1)) 
df = df.join(df_join).dropna().drop(['nb_50',0],1) 

然后您将通过输入示例获得预期的输出。

问题是,当你有

df= pd.DataFrame({'V1':[180000, 20000, 30000, 50000]})  

我的方法给你:

       V1 
0  180000 
0  180000 
0  180000 
1   20000 
3   50000 

稍后可能会发生一些错误,而当您说“当值 V1 大于 50k 的限制时,索引将重复达到限制的次数,或者如果值 V1 低于50k 的限制,对行进行分组,直到达到或超过 50k 的限制”,我知道您会期望:

       V1 
0  180000 
0  180000 
0  180000 
2   30000 
3   50000 

在这种情况下,如果你不想使用循环,当数字超过50K时,你可以这样做(与之前的想法大致相同):

df = df.join(df['V1'].apply(lambda x: pd.Series(range(x/50000))) 
                       .stack().reset_index(level=1).drop('level_1',1)).drop(0,1) 

但是我想不出一种简单的方法来处理数字低于 50k 的情况,因此您的循环 for 可能就足够了。否则,我是这样想的:

def nb_group_under(v1): 
    global nb_group 
    if v1 < 50000: 
        return nb_group 
    else: 
        nb_group += 1 
nb_group = 1 
df['under_50'] = df['V1'].apply(nb_group_under) 

然后你尝试在创建的组中找到传递 50k 的位置:

df['sum_under50'] = (df.groupby('under_50').V1.cumsum()/50000).astype(int) 
df['sum_under50'] = df.sum_under50 - (df.groupby('under_50').sum_under50 
                                        .shift().fillna(df.sum_under50)) 
df = (df[(df['sum_under50']>0) | (df['V1'] >= 50000)] 
              .drop(['under_50', 'sum_under50'],1)) 

我对 50 岁以下案例的方法不是特别满意,但想不出别的办法。

希望它对您有所帮助,或者给您一些关于如何在没有循环的情况下解决问题的想法

编辑:对于更通用的解决方案,您可以创建一个函数返回 50k 在值 v1 中的次数,或者在超过 50k 时执行部分求和返回 1,您仍然需要一个全局变量:

def nb_lim_reached (v1, lim_v1): 
    global partial_sum 
    if v1 >= lim_v1: 
        partial_sum = 0 
        return pd.np.floor(v1/lim_v1) 
    else: 
        partial_sum += v1 
        if partial_sum >= lim_v1: 
            partial_sum -= lim_v1 
            return 1 
        else: 
            return 0 

现在您可以使用此功能创建另一个列:

v1_lim = 50000 
partial_sum = 0 
df['nb_lim'] = df['V1'].apply(nb_lim_reached, args=( v1_lim,)).astype(int) 

现在你使用与我的 reviosu 解决方案相同的想法,包括 pd.Series 和 stack:

df = (df.join(df['nb_lim'].apply(lambda nb: pd.Series(range(nb))) 
          .stack().reset_index(level=1).drop('level_1',1)) 
            .dropna().drop(['nb_lim',0],1))