Skip to main content
 首页 » 编程设计

python之pandas isin() 返回与 eq() 不同的结果之float dtype 依赖问题

2025年02月15日8小虾米

Pandas 的 isin方法似乎具有 dtype 依赖性(使用 Python 3.5 和 pandas 0.19.2)。我只是在相关的 topic 中偶然发现了这个我们无法解释 isin 的非工作行为。这是示例:

df = pd.DataFrame([[1.2, 0.3, 1.5, 1.4, 1.7, 4.2]]) 
print(df) 
 
    0       1       2       3       4       5 
0   1.2     0.3     1.5     1.4     1.7     4.2 
 
print(df.dtypes) 
0    float64 
1    float64 
2    float64 
3    float64 
4    float64 
5    float64 
dtype: object 
 
# everything works as expected until here 
print(df.isin([1.2, 1.4])) 
 
      0      1      2     3      4      5 
0  True  False  False  True  False  False 

但是,当 dtype 转换为 float32 时,isin 开始失败:

df = df.apply(lambda x: x.astype("float32")) 
print(df.dtypes) 
 
0    float32 
1    float32 
2    float32 
3    float32 
4    float32 
5    float32 
dtype: object 
 
print(df.isin([1.2, 1.4])) 
       0      1      2      3      4      5 
0  False  False  False  False  False  False 

这是一个类似的post在 SO 上。

编辑

我了解浮点复杂化。然而,从用户的角度来看,他想使用 isin 作为 col1 == 1 | 的便利函数。列 1 == 3 | col1 == 5(简单写成col1.isin([1, 3, 5])),当dtypes不同时可能会出现无法识别的错误,并且不会给出有关dtype的警告偏差。

此外,与 df.eq 相比,isin 返回不同的结果:

print(df.isin([1.2])) 
 
       0      1      2      3      4      5 
0  False  False  False  False  False  False 
 
print(df.eq(1.2)) 
 
      0      1      2      3      4      5 
0  True  False  False  False  False  False 

这绝对是一种不受欢迎的行为。作为JohnE指出,似乎 df.eq 使用 np.isclose 而 df.isin 没有。

请您参考如下方法:

也许这样会更清楚:

>>> '%20.18f' % df[0].astype(np.float64) 
'1.199999999999999956' 
 
>>> '%20.18f' % df[0].astype(np.float32) 
'1.200000047683715820' 

通常您不希望看到小数点后 18 位,因此 pandas 会合理选择要显示的小数位数——但差异仍然存在,尽管是无形的。因此,您需要确保将 float64 与 float64 进行比较,将 float32 与 float32 进行比较。那就是我们为自己选择的浮点生活……

或者,如果您一次比较一个值,您可以使用 np.isclose(在 import numpy as np 之后)来确定近似相等:

>>> np.isclose( df.astype(np.float64), 1.2 ) 
array([[ True, False, False, False, False, False]], dtype=bool) 
 
>>> np.isclose( df.astype(np.float32), 1.2 ) 
array([[ True, False, False, False, False, False]], dtype=bool) 

(你不需要astype(),当然,这只是为了证明你对float32和float64都会得到相同的答案。)

我不知道是否有办法让 isin 以类似的方式工作,所以你可能需要做类似的事情:

>>> np.isclose( df, 1.2 ) | np.isclose( df, 1.4 ) 
array([[ True, False, False,  True, False, False]], dtype=bool)