前言
我先说两件事:
- 我是 python/pandas 的新手,我不想重新发明轮子
- 我已阅读 pandas.to_numeric 的文档
- 我读过 Why Are Floating Point Numbers Inaccurate?和 Why can't decimal numbers be represented exactly in binary? .我理解我们在这里使用的概念,并且正在尝试找出一个“好的”解决方案来获得一点点精度
- 我知道确保用户只输入数字会更容易,但我无法控制源数据;该程序是一个大规模数据验证工具,无论提供什么,它都必须接受用户的一切
背景
我正在努力将一个项目从 R 移植到 python,并且正在努力寻找一种转换文本到 float 转换过程的好方法。具体来说,我是:
- 从 SQL 数据库中读取 pandas 数据框 (pandas.read_sql)
- 使用 pd_to_numeric 将存储为文本的列转换回数字
- 使用
error='coerce'选项强制从文本强制转换为 float - 检查之前/之后以查看输入是否/在哪里被强制为 NaN
- 使用
问题
如何让 pandas 将浮点值的文本表示干净利落地转换为相应的 float ?
我遇到的问题是数值精度。例如:
In[1]: pd.to_numeric('3.785', errors='coerce')
Out[2]: 3.7850000000000001
我明白为什么会这样(即 3.785 的表示方式不容易在底层二进制表示中表示)。我想弄清楚的是,是否有一种方法可以解决它高效发生的原因。
例如,在 R 中,幕后发生了很多事情,但在 as.numeric API 中,您得到的数字表面上由文本值表示:
> as.numeric('3.785')
[1] 3.785
这是我想要的行为。这可能使用 Pandas / python 吗?我愿意合并其他软件包,或者被告知“那是不可能的”。
请您参考如下方法:
我不确定您是在问更多关于精度还是精度显示(格式)的问题,但希望这个答案能解决这两个问题。
在幕后,r 和 pandas 可能在做完全相同的事情,但默认显示让它看起来不同。例如,如果您想更好地了解 r 如何存储数字,您可以这样做:
> sprintf( "%.20f", as.numeric('3.785') )
[1] "3.78500000000000014211"
当然,一旦您超过了小数点后第 14 位左右,您就超出了 double float 中可以存储的内容,这些数字实际上没有意义。尽管如此,这至少应该足以表明 r 并没有真正将其存储为完全 3.785。
诚然,有比某处更严格的答案,但实际上“忽略小数点后第 13 位或第 14 位的任何内容”对于标准数据工作几乎总是足够的(而且你几乎肯定最好花钱你的时间在别处,而不是担心小数点后第 14 位)。
我不能确切地说出为什么你使用的 pandas 函数显示 3.7850000000000001 而不是 3.785 但一般来说你可以在不同的部分获得不同级别的默认显示精度numpy 和 Pandas 。例如,如果您只是将 [ 和 ] 放在您的数字周围(以传递列表而不是标量),pd.to_numeric 将具有输出一个 numpy 数组,并显示更少的小数位:
In [61]: pd.to_numeric(['3.785'], errors='coerce')
Out[61]: array([ 3.785])
如果您传递的是系列而不是列表,您也会得到类似的显示输出。如果您想要特定级别的显示精度,只需明确指定即可:
In [62]: pd.to_numeric(pd.Series(['3.785']), errors='coerce').map('{:,.20f}'.format)
Out[62]:
0 3.78500000000000014211
因此,当您明确显示 20 位小数时,您会在 r 和 pandas/numpy 中看到相同的数字表示。
也许值得一提的是 python 确实提供了一个 Decimal type它具有精确的小数点(不同于单精度或 double float ),但很少将其用于数据科学或数值应用,因为它不是原生的 pandas 类型,而且性能通常会很差。我相信它主要用于会计应用程序。
