Skip to main content
 首页 » 编程设计

python之根据列中的值获取第一行和最后一行数据框组

2024年11月24日16虾米姐

我有一个看起来像这样的数据框

df = pd.DataFrame({'c1': ['a','a','a', 'b','b','a','a'], 
                    'c2':[1,3,5,7,9,11,13], 
                    'c3':[2,4,6,8,10,12,14]}) 
 
 
 
  c1  c2  c3 
0  a   1   2 
1  a   3   4 
2  a   5   6 
3  b   7   8 
4  b   9  10 
5  a  11  12 
6  a  13  14 

每次 c1 列中的值发生变化时,我都想获取第一行和最后一行。

在示例中,输出将是

  c1  c2  c3 
0  a   1   2 
2  a   5   6 
3  b   7   8 
4  b   9  10 
5  a  11  12 
6  a  13  14 

我可以用

idx = np.where(df.c1.ne(df.c1.shift()) != 0)[0] 

像这样获取第一行

df.iloc[idx,:] 
 
  c1  c2  c3 
0  a   1   2 
3  b   7   8 
5  a  11  12 

但我无法获取最后一行

  c1  c2  c3 
2  a   5   6 
4  b   9  10 
6  a  13  14 

获取这些行的最佳方式是什么?

请您参考如下方法:

您可以通过 bool 掩码过滤来简化您的解决方案:

df1 = df[df.c1.ne(df.c1.shift())] 
print (df1) 
  c1  c2  c3 
0  a   1   2 
3  b   7   8 
5  a  11  12 
 
df2 = df[df.c1.ne(df.c1.shift(-1))] 
print (df2) 
  c1  c2  c3 
2  a   5   6 
4  b   9  10 
6  a  13  14 

对于 | 的所有行链条件,按位或:

df3 = df[df.c1.ne(df.c1.shift()) | df.c1.ne(df.c1.shift(-1))] 
print (df3) 
  c1  c2  c3 
0  a   1   2 
2  a   5   6 
3  b   7   8 
4  b   9  10 
5  a  11  12 
6  a  13  14 

性能:

显然不是 groupby 解决方案更快,但最好在真实数据中测试:

#7k rows 
df = pd.concat([df] * 1000, ignore_index=True) 
 
In [53]: %timeit df.groupby(df.c1.ne(df.c1.shift()).cumsum(), as_index=False).nth([0, -1]) 
3.57 ms ± 283 µs per loop (mean ± std. dev. of 7 runs, 100 loops each) 
 
In [54]: %timeit df[df.c1.ne(df.c1.shift()) | df.c1.ne(df.c1.shift(-1))] 
1.53 ms ± 6.79 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)