Skip to main content
 首页 » 编程设计

python之如果值随着时间的推移使用 Python 停留在单个值,则使用 NaN 进行更改

2024年11月24日11小虾米

如下所示,my 包含一些相同的连续值,即 1、2 和 3。

    Date    Value 
0   2017-07-18 07:40:00 1 
1   2017-07-18 07:45:00 1 
2   2017-07-18 07:50:00 1 
3   2017-07-18 07:55:00 2414 
4   2017-07-18 08:00:00 2 
5   2017-07-18 08:05:00 2 
6   2017-07-18 08:10:00 4416 
7   2017-07-18 08:15:00 4416 
8   2017-07-18 08:20:00 3 
9   2017-07-18 08:25:00 3 
10  2017-07-18 08:30:00 3 
11  2017-07-18 08:35:00 6998 

我的目标是在它们停留在至少 3 行时检测这些“死值”,并用 NaN 更改它们,因为我想消除它们。

这是我的尝试:

df['Value'] = df['Value'].loc[df['Value'].shift() != df['Value']]   

但是它给出了:

Date    Value 
0   2017-07-18 07:40:00 1.0 
1   2017-07-18 07:45:00 NaN 
2   2017-07-18 07:50:00 NaN 
3   2017-07-18 07:55:00 2414.0 
4   2017-07-18 08:00:00 2.0 
5   2017-07-18 08:05:00 NaN 
6   2017-07-18 08:10:00 4416.0 
7   2017-07-18 08:15:00 NaN 
8   2017-07-18 08:20:00 3.0 
9   2017-07-18 08:25:00 NaN 
10  2017-07-18 08:30:00 NaN 
11  2017-07-18 08:35:00 6998.0 

我希望将所有 1 和 3 都更改为 NaN,如下所示,因为它们在三个连续行中具有相似的值。

Date    Value 
0   2017-07-18 07:40:00 NaN 
1   2017-07-18 07:45:00 NaN 
2   2017-07-18 07:50:00 NaN 
3   2017-07-18 07:55:00 2414.0 
4   2017-07-18 08:00:00 2.0 
5   2017-07-18 08:05:00 2.0 
6   2017-07-18 08:10:00 4416.0 
7   2017-07-18 08:15:00 4416.0 
8   2017-07-18 08:20:00 NaN 
9   2017-07-18 08:25:00 NaN 
10  2017-07-18 08:30:00 NaN 
11  2017-07-18 08:35:00 6998.0 

我想使用导数。即如果连续3行的差值<0.0001,则用NaN代替。

请您参考如下方法:

您可以使用自定义分组方案 GroupBy 连续值,检查哪些组的大小大于或等于 3 并使用结果索引数据框并设置NaN 感兴趣的行:

g = df.Value.diff().fillna(0).ne(0).cumsum() 
m = df.groupby(g).Value.transform('size').ge(3) 
df.loc[m,'Value'] = np.nan 
 
    Date   Value 
0   2017-07-18-07:40:00     NaN 
1   2017-07-18-07:45:00     NaN 
2   2017-07-18-07:50:00     NaN 
3   2017-07-18-07:55:00  2414.0 
4   2017-07-18-08:00:00     2.0 
5   2017-07-18-08:05:00     2.0 
6   2017-07-18-08:10:00  4416.0 
7   2017-07-18-08:15:00  4416.0 
8   2017-07-18-08:20:00     NaN 
9   2017-07-18-08:25:00     NaN 
10  2017-07-18-08:30:00     NaN 
11  2017-07-18-08:35:00  6998.0 

地点:

df.assign(grouper=g, mask=m, result=df_.Value) 
 
           Date           Value   grouper mask  result 
0   2017-07-18-07:40:00      1        0   True     NaN 
1   2017-07-18-07:45:00      1        0   True     NaN 
2   2017-07-18-07:50:00      1        0   True     NaN 
3   2017-07-18-07:55:00   2414        1  False  2414.0 
4   2017-07-18-08:00:00      2        2  False     2.0 
5   2017-07-18-08:05:00      2        2  False     2.0 
6   2017-07-18-08:10:00   4416        3  False  4416.0 
7   2017-07-18-08:15:00   4416        3  False  4416.0 
8   2017-07-18-08:20:00      3        4   True     NaN 
9   2017-07-18-08:25:00      3        4   True     NaN 
10  2017-07-18-08:30:00      3        4   True     NaN 
11  2017-07-18-08:35:00   6998        5  False  6998.0