如下所示,my 包含一些相同的连续值,即 1、2 和 3。
Date Value
0 2017-07-18 07:40:00 1
1 2017-07-18 07:45:00 1
2 2017-07-18 07:50:00 1
3 2017-07-18 07:55:00 2414
4 2017-07-18 08:00:00 2
5 2017-07-18 08:05:00 2
6 2017-07-18 08:10:00 4416
7 2017-07-18 08:15:00 4416
8 2017-07-18 08:20:00 3
9 2017-07-18 08:25:00 3
10 2017-07-18 08:30:00 3
11 2017-07-18 08:35:00 6998
我的目标是在它们停留在至少 3 行时检测这些“死值”,并用 NaN 更改它们,因为我想消除它们。
这是我的尝试:
df['Value'] = df['Value'].loc[df['Value'].shift() != df['Value']]
但是它给出了:
Date Value
0 2017-07-18 07:40:00 1.0
1 2017-07-18 07:45:00 NaN
2 2017-07-18 07:50:00 NaN
3 2017-07-18 07:55:00 2414.0
4 2017-07-18 08:00:00 2.0
5 2017-07-18 08:05:00 NaN
6 2017-07-18 08:10:00 4416.0
7 2017-07-18 08:15:00 NaN
8 2017-07-18 08:20:00 3.0
9 2017-07-18 08:25:00 NaN
10 2017-07-18 08:30:00 NaN
11 2017-07-18 08:35:00 6998.0
我希望将所有 1 和 3 都更改为 NaN,如下所示,因为它们在三个连续行中具有相似的值。
Date Value
0 2017-07-18 07:40:00 NaN
1 2017-07-18 07:45:00 NaN
2 2017-07-18 07:50:00 NaN
3 2017-07-18 07:55:00 2414.0
4 2017-07-18 08:00:00 2.0
5 2017-07-18 08:05:00 2.0
6 2017-07-18 08:10:00 4416.0
7 2017-07-18 08:15:00 4416.0
8 2017-07-18 08:20:00 NaN
9 2017-07-18 08:25:00 NaN
10 2017-07-18 08:30:00 NaN
11 2017-07-18 08:35:00 6998.0
我想使用导数。即如果连续3行的差值<0.0001,则用NaN代替。
请您参考如下方法:
您可以使用自定义分组方案 GroupBy 连续值,检查哪些组的大小大于或等于 3 并使用结果索引数据框并设置NaN 感兴趣的行:
g = df.Value.diff().fillna(0).ne(0).cumsum()
m = df.groupby(g).Value.transform('size').ge(3)
df.loc[m,'Value'] = np.nan
Date Value
0 2017-07-18-07:40:00 NaN
1 2017-07-18-07:45:00 NaN
2 2017-07-18-07:50:00 NaN
3 2017-07-18-07:55:00 2414.0
4 2017-07-18-08:00:00 2.0
5 2017-07-18-08:05:00 2.0
6 2017-07-18-08:10:00 4416.0
7 2017-07-18-08:15:00 4416.0
8 2017-07-18-08:20:00 NaN
9 2017-07-18-08:25:00 NaN
10 2017-07-18-08:30:00 NaN
11 2017-07-18-08:35:00 6998.0
地点:
df.assign(grouper=g, mask=m, result=df_.Value)
Date Value grouper mask result
0 2017-07-18-07:40:00 1 0 True NaN
1 2017-07-18-07:45:00 1 0 True NaN
2 2017-07-18-07:50:00 1 0 True NaN
3 2017-07-18-07:55:00 2414 1 False 2414.0
4 2017-07-18-08:00:00 2 2 False 2.0
5 2017-07-18-08:05:00 2 2 False 2.0
6 2017-07-18-08:10:00 4416 3 False 4416.0
7 2017-07-18-08:15:00 4416 3 False 4416.0
8 2017-07-18-08:20:00 3 4 True NaN
9 2017-07-18-08:25:00 3 4 True NaN
10 2017-07-18-08:30:00 3 4 True NaN
11 2017-07-18-08:35:00 6998 5 False 6998.0
