我想检查下一个索引列是否与前一个索引列具有相同的值,并获得连续相同的值长度。
比如下面有一个dataframe,我想获取连续值为0的长度。
1 2 3 4 5 6
a 1 0 0 1 1 1
b 0 0 0 1 0 0
c 1 0 1 0 1 0
d 1 1 1 1 1 1
结果:
- a行有两个连续的0值所以长度为2
- 行b有三个连续的0值所以长度是3
- c行没有连续的0值所以长度为1
- 第d行没有值0所以长度为0
此外,如果第一个索引从 0 开始,则在值 1 出现之前不要计数,然后从下一个 0 开始计算长度。
- 应用此条件,b 行的结果应为 2。
实际数据超过1000000行,for循环会耗时太长,所以我想知道是否有办法在pandas或其他方式中做到这一点。
请您参考如下方法:
想法是为 0 连续计数创建 df1 并为 new1 获取 maximum 值。对于第二个,它更复杂 - 获取第一个最大值的索引(这里是最大值 1,因此获取第一个 1 的索引)并为集合 0 创建掩码 掩码值,因此下一个 sum 仅省略第一个 0 组。
此外,如果只有 0 行,它会返回错误的输出,因此需要使用多个 for ~a.all(axis=1).values[:, None] 更改条件为了防止它:
a = df == 0
b = a.cumsum(axis=1)
df1 = (b-b.where(~a, axis=1).ffill(axis=1).fillna(0).astype(int))
cols = np.arange(len(df.columns))
n = np.argmax(df.values, axis=1)[:, None]
mask = (cols > n) * ~a.all(axis=1).values[:, None]
df['new1'] = df1.max(axis=1)
df['new2'] = df1.where(mask, 0).max(axis=1)
print (df)
1 2 3 4 5 6 new1 new2
a 1 0 0 1 1 1 2 2
b 0 0 0 1 0 0 3 2
c 1 0 1 0 1 0 1 1
d 1 1 1 1 1 1 0 0
详细信息:
print (df1)
1 2 3 4 5 6
a 0 1 2 0 0 0
b 1 2 3 0 1 2
c 0 1 0 1 0 1
d 0 0 0 0 0 0
print (df1.where(mask, 0))
1 2 3 4 5 6
a 0 1 2 0 0 0
b 0 0 0 0 1 2
c 0 1 0 1 0 1
d 0 0 0 0 0 0
验证只有 0 行的解决方案:
print (df)
1 2 3 4 5 6
a 1 0 0 1 1 1
b 0 0 0 0 0 0 <- only 0 row
c 1 0 1 0 1 0
d 1 1 1 1 1 1
a = df == 0
b = a.cumsum(axis=1)
df1 = (b-b.where(~a, axis=1).ffill(axis=1).fillna(0).astype(int))
cols = np.arange(len(df.columns))
n = np.argmax(df.values, axis=1)[:, None]
print (df1)
1 2 3 4 5 6
a 0 1 2 0 0 0
b 1 2 3 4 5 6 <- count all 0
c 0 1 0 1 0 1
d 0 0 0 0 0 0
print (df1.where(mask, 0))
1 2 3 4 5 6
a 0 1 2 0 0 0
b 0 0 0 0 0 0 <- correct not count this row
c 0 1 0 1 0 1
d 0 0 0 0 0 0
