Pandas 的 isin方法似乎具有 dtype 依赖性(使用 Python 3.5 和 pandas 0.19.2)。我只是在相关的 topic 中偶然发现了这个我们无法解释 isin 的非工作行为。这是示例:
df = pd.DataFrame([[1.2, 0.3, 1.5, 1.4, 1.7, 4.2]])
print(df)
0 1 2 3 4 5
0 1.2 0.3 1.5 1.4 1.7 4.2
print(df.dtypes)
0 float64
1 float64
2 float64
3 float64
4 float64
5 float64
dtype: object
# everything works as expected until here
print(df.isin([1.2, 1.4]))
0 1 2 3 4 5
0 True False False True False False
但是,当 dtype 转换为 float32 时,isin 开始失败:
df = df.apply(lambda x: x.astype("float32"))
print(df.dtypes)
0 float32
1 float32
2 float32
3 float32
4 float32
5 float32
dtype: object
print(df.isin([1.2, 1.4]))
0 1 2 3 4 5
0 False False False False False False
这是一个类似的post在 SO 上。
编辑
我了解浮点复杂化。然而,从用户的角度来看,他想使用 isin 作为 col1 == 1 | 的便利函数。列 1 == 3 | col1 == 5(简单写成col1.isin([1, 3, 5])),当dtypes不同时可能会出现无法识别的错误,并且不会给出有关dtype的警告偏差。
此外,与 df.eq 相比,isin 返回不同的结果:
print(df.isin([1.2]))
0 1 2 3 4 5
0 False False False False False False
print(df.eq(1.2))
0 1 2 3 4 5
0 True False False False False False
这绝对是一种不受欢迎的行为。作为JohnE指出,似乎 df.eq 使用 np.isclose 而 df.isin 没有。
请您参考如下方法:
也许这样会更清楚:
>>> '%20.18f' % df[0].astype(np.float64)
'1.199999999999999956'
>>> '%20.18f' % df[0].astype(np.float32)
'1.200000047683715820'
通常您不希望看到小数点后 18 位,因此 pandas 会合理选择要显示的小数位数——但差异仍然存在,尽管是无形的。因此,您需要确保将 float64 与 float64 进行比较,将 float32 与 float32 进行比较。那就是我们为自己选择的浮点生活……
或者,如果您一次比较一个值,您可以使用 np.isclose(在 import numpy as np 之后)来确定近似相等:
>>> np.isclose( df.astype(np.float64), 1.2 )
array([[ True, False, False, False, False, False]], dtype=bool)
>>> np.isclose( df.astype(np.float32), 1.2 )
array([[ True, False, False, False, False, False]], dtype=bool)
(你不需要astype(),当然,这只是为了证明你对float32和float64都会得到相同的答案。)
我不知道是否有办法让 isin 以类似的方式工作,所以你可能需要做类似的事情:
>>> np.isclose( df, 1.2 ) | np.isclose( df, 1.4 )
array([[ True, False, False, True, False, False]], dtype=bool)
