Skip to main content
 首页 » 编程设计

python之如何检查 DataSeries 的连续性

2024年11月01日2052php

我有一个名为 df 的 Pandas DataFrame,其列名为“step”,它只是一个增量计数器(1、2、3、4 等):

step col1 col2 
1    2    3 
2    3    5 
3    1    0 
4    8    9 
5    2    3 

我正在从 df 中选择一些感兴趣的行:

    work_df = df[df[col1] < df[col2]] 
 
step col1 col2 
1    2    3 
2    3    5 
4    8    9 
5    2    3 
 

现在我应该通过“step”的连续性将 work_df 拆分为一些 sub_df(即如果 work_df['step'] == [1,2,3,7,8,9 ] 然后 [1,2,3] 属于 sub_df_1 而 [7,8,9] 属于 sub_df_2 等),目前我是这样做的:

        for idx, row in work_df.iterrows(): 
            if row['step'] > prev_step + 1: 
                if step_count > 1: #don't want to have df with only 1 row 
                    interval_list.append({'step_count': step_count ... }) 
                step_count = 0 
            else: 
                step_count += 1 
            prev_step = row['step'] 

我正在根据 interval_list 中的信息构建新的 sub_df。但我不确定这是实现我真正需要的最好方法:

sub_df1= 
step col1 col2 
1    2    3 
2    3    5 
 
sub_df2= 
step col1 col2 
4    8    9 
5    2    3 

是否有更好的方法根据列的连续性拆分 DataFrame?

请您参考如下方法:

您可以在这里按 (df[col] != df[col].shift(1)+1).cumsum() 分组,或 @MarkWang says df['数据'].diff().ne(1).cumsum()。实际上,如果我们使用您的样本数据:

>>> df 
   data 
0     1 
1     2 
2     3 
3     7 
4     8 
5     9 

那么这个表达式将产生:

>>> df['data'].diff().ne(1).cumsum() 
0    1 
1    1 
2    1 
3    2 
4    2 
5    2 
Name: data, dtype: int64 

所以我们可以在这里对这些值执行groupby:

>>> list(df.groupby(df['data'].diff().ne(1).cumsum())) 
[(1,    data 
0     1 
1     2 
2     3), (2,    data 
3     7 
4     8 
5     9)] 

因此,我们这里有两个组:[1,2,3] 和 [7,8,9]。因此,您可以在这里获得您的两个组:

>>> (__, sub_df_1), (__, sub_df_2) = df.groupby(df['data'].diff().ne(1).cumsum()) 
>>> sub_df_1 
   data 
0     1 
1     2 
2     3 
>>> sub_df_2 
   data 
3     7 
4     8 
5     9 

或者对于您提供的第二个示例数据片段:

>>> (__, sub_df1), (__, sub_df2) = df2.groupby(df2['data'].diff().ne(1).cumsum()) 
>>> sub_df1 
   step  col1  col2 
0     1     2     3 
1     2     3     5 
>>> sub_df2 
   step  col1  col2 
2     4     8     9 
3     5     2     3 

例如,您可以在此处使用列表理解或 itemgetter 来获取相应的组。例如:

>>> [g[1] for g in df2.groupby(df2['step'].diff().ne(1).cumsum())] 
[   step  col1  col2 
0     1     2     3 
1     2     3     5,    step  col1  col2 
2     4     8     9 
3     5     2     3] 

您也可以使用 1 删除长度组:

>>> [g[1] for g in df2.groupby(df2['step'].diff().ne(1).cumsum()) if len(g[1]) > 1] 
[   step  col1  col2 
0     1     2     3 
1     2     3     5,    step  col1  col2 
2     4     8     9 
3     5     2     3] 

因此,此列表包含两个子组。我强烈建议不要按名称分配。是的,它是 strictly speaking possible .但它是一种反模式,通常弊大于利。