Skip to main content
 首页 » 编程设计

python之检查 Pandas 数据框中的下一个索引列值和相同值的连续长度

2024年11月24日12lautakyan007

我想检查下一个索引列是否与前一个索引列具有相同的值,并获得连续相同的值长度。

比如下面有一个dataframe,我想获取连续值为0的长度。

    1 2 3 4 5 6  
a   1 0 0 1 1 1 
b   0 0 0 1 0 0 
c   1 0 1 0 1 0 
d   1 1 1 1 1 1 

结果:

  • a行有两个连续的0值所以长度为2
  • 行b有三个连续的0值所以长度是3
  • c行没有连续的0值所以长度为1
  • 第d行没有值0所以长度为0


此外,如果第一个索引从 0 开始,则在值 1 出现之前不要计数,然后从下一个 0 开始计算长度。

  • 应用此条件,b 行的结果应为 2。

实际数据超过1000000行,for循环会耗时太长,所以我想知道是否有办法在pandas或其他方式中做到这一点。

请您参考如下方法:

想法是为 0 连续计数创建 df1 并为 new1 获取 maximum 值。对于第二个,它更复杂 - 获取第一个最大值的索引(这里是最大值 1,因此获取第一个 1 的索引)并为集合 0 创建掩码 掩码值,因此下一个 sum 仅省略第一个 0 组。

此外,如果只有 0 行,它会返回错误的输出,因此需要使用多个 for ~a.all(axis=1).values[:, None] 更改条件为了防止它:

a = df == 0 
b = a.cumsum(axis=1) 
df1 = (b-b.where(~a, axis=1).ffill(axis=1).fillna(0).astype(int)) 
 
cols = np.arange(len(df.columns)) 
n = np.argmax(df.values, axis=1)[:, None] 
 
mask = (cols > n) * ~a.all(axis=1).values[:, None] 
 
df['new1'] = df1.max(axis=1) 
df['new2'] = df1.where(mask, 0).max(axis=1) 
print (df) 
   1  2  3  4  5  6  new1  new2 
a  1  0  0  1  1  1     2     2 
b  0  0  0  1  0  0     3     2 
c  1  0  1  0  1  0     1     1 
d  1  1  1  1  1  1     0     0 

详细信息:

print (df1) 
   1  2  3  4  5  6 
a  0  1  2  0  0  0 
b  1  2  3  0  1  2 
c  0  1  0  1  0  1 
d  0  0  0  0  0  0 
 
print (df1.where(mask, 0)) 
   1  2  3  4  5  6 
a  0  1  2  0  0  0 
b  0  0  0  0  1  2 
c  0  1  0  1  0  1 
d  0  0  0  0  0  0 

验证只有 0 行的解决方案:

print (df) 
   1  2  3  4  5  6 
a  1  0  0  1  1  1 
b  0  0  0  0  0  0 <- only 0 row 
c  1  0  1  0  1  0 
d  1  1  1  1  1  1 
 
a = df == 0 
b = a.cumsum(axis=1) 
df1 = (b-b.where(~a, axis=1).ffill(axis=1).fillna(0).astype(int)) 
 
cols = np.arange(len(df.columns)) 
n = np.argmax(df.values, axis=1)[:, None] 
 
print (df1) 
   1  2  3  4  5  6 
a  0  1  2  0  0  0 
b  1  2  3  4  5  6 <- count all 0 
c  0  1  0  1  0  1 
d  0  0  0  0  0  0 
 
print (df1.where(mask, 0)) 
   1  2  3  4  5  6 
a  0  1  2  0  0  0 
b  0  0  0  0  0  0 <- correct not count this row 
c  0  1  0  1  0  1 
d  0  0  0  0  0  0