Skip to main content
 首页 » 编程设计

python之pandas 中可能的 bug 排序为 NaN 值

2024年11月01日11落叶无声

如果我制作如下数据框:

In [128]: test = pd.DataFrame({'a':[1,4,2,7,3,6], 'b':[2,2,2,1,1,1], 'c':[2,6,np.NaN, np.NaN, 1, np.NaN]}) 
In [129]: test 
Out[129]: 
   a  b   c 
0  1  2   2 
1  4  2   6 
2  2  2 NaN 
3  7  1 NaN 
4  3  1   1 
5  6  1 NaN 

基本排序按预期执行。对 c 列进行排序会适本地分离 nan 值。对列 a 和 b 进行多级排序,按预期对它们进行排序:

In [133]: test.sort(columns='c', ascending=False) 
Out[133]: 
   a  b   c 
5  6  1 NaN 
3  7  1 NaN 
2  2  2 NaN 
1  4  2   6 
0  1  2   2 
4  3  1   1 
 
In [134]: test.sort(columns=['b', 'a'], ascending=False) 
Out[134]: 
   a  b   c 
1  4  2   6 
2  2  2 NaN 
0  1  2   2 
3  7  1 NaN 
5  6  1 NaN 
4  3  1   1 

但是对 b 列和 c 列进行多级排序并没有给出预期的结果:

In [135]: test.sort(columns=['b', 'c'], ascending=False) 
Out[135]: 
   a  b   c 
1  4  2   6 
0  1  2   2 
2  2  2 NaN 
3  7  1 NaN 
4  3  1   1 
5  6  1 NaN 

事实上,即使仅在 c 列上排序但使用多级排序命名法也会失败:

In [136]: test.sort(columns=['c'], ascending=False) 
Out[136]: 
   a  b   c 
1  4  2   6 
0  1  2   2 
2  2  2 NaN 
3  7  1 NaN 
4  3  1   1 
5  6  1 NaN 

我认为这应该给出与上面第 133 行完全相同的结果。这是 Pandas 错误还是我没有得到什么? (仅供引用,pandas v0.11.0、numpy v1.7.1、python 2.7.2.5 32 位 Windows 7)

请您参考如下方法:

这是一个有趣的极端案例。请注意,即使是 vanilla python 也不会得到这个“正确”:

>>> nan = float('nan') 
>>> a = [ 6, 2, nan, nan, 1, nan] 
>>> sorted(a) 
[2, 6, nan, nan, 1, nan] 

这里的原因是因为 NaN 既不大于也不小于其他元素——所以没有定义严格的顺序。正因为如此,python 让它们单独存在。

>>> nan > 6 
False 
>>> nan < 6 
False 

Pandas 必须在单列情况下进行显式检查——可能使用 np.argsort 或 np.sort 从 numpy 1.4 开始,np. sort 将 NaN 值放在末尾。