当从 csv、Excel、sql 等(例如 pandas.io.parsers 中的方法)导入数据时,Pandas 会自动将某些值转换为 NaN。
我的问题是,这些默认值是什么?
我注意到字符串 "NA" 会自动转换。作为others have noted ,可以通过在调用导入数据的函数(例如 pandas.io.parsers.read_csv)时传递 keep_default_na=False 来禁用此自动转换。
也就是说,我不知道 "NA" 以外的哪些值会自动转换。在 the docs ,我所能找到的是 keep_default_na 参数的以下描述:
keep_default_na : bool, default True If na_values are specified and keep_default_na is False the default NaN values are overridden, otherwise they’re appended to
我想知道的是,上述“默认 NaN 值”是什么?
请您参考如下方法:
Jeff 大约一年前提供了一个链接,但由于点击链接很麻烦,所以我将信息移至此处。
['-1.#IND', '1.#QNAN', '1.#IND', '-1.#QNAN', '#N/A','N/A', 'NA', '#NA', 'NULL', 'NaN', '-NaN', 'nan', '-nan']
来源:http://pandas.pydata.org/pandas-docs/stable/io.html#na-values
然而
此列表不完整。
import pandas as pd
from StringIO import StringIO
sio = StringIO()
sio.write('"foo","bar"\n"1",""\n"NA","4"')
sio.seek(0)
pd.read_csv(sio, sep=",", quotechar='"')
foo bar
0 1 NaN
1 NaN 4
请注意为什么空字符串不是列表的一部分,但默认情况下它仍被解析为 NaN?
pd.read_csv(sio, sep=",", quotechar='"',
keep_default_na=False,
na_values=['-1.#IND', '1.#QNAN', '1.#IND',
'-1.#QNAN', '#N/A','N/A', '#NA', 'NA'
'NULL', 'NaN', '-NaN', 'nan', '-nan'])
foo bar
0 1
1 NaN 4
如果此列表是默认列表,则这两个命令应该产生完全相同的结果。
他们没有。
如果您想重现 pandas.read_csv 的默认行为,这是您需要的列表:
['', '-1.#IND', '1.#QNAN', '1.#IND', '-1.#QNAN', '#N/A','N/A', 'NA', '#NA', 'NULL', 'NaN', '-NaN', 'nan', '-nan']
供引用的 Pandas 版本:
pd.__version__
'0.15.2'
带有 pandas 的错误票:
https://github.com/pydata/pandas/issues/10700
更新
这在 pandas 0.17 中已修复
