Skip to main content
 首页 » 编程设计

python之使用方法 ='linear' 和 'nearest' 的 Pandas.DataFrame interpolate() 返回尾随 NaN 的不一致结果

2024年11月24日8落叶

我正在使用不同的方法探索 pandas.DataFrame.interpolate(),linear 与 nearest,我发现了不同的输出尾部缺失数据时的两种方法。

例如:

import pandas as pd # version: '0.16.2' or '0.20.3' 
>>> a = pd.DataFrame({'col1': [np.nan, 1, np.nan, 3, np.nan, 5, np.nan]}) 
Out[1]:  
   col1 
0   NaN 
1   1.0 
2   NaN 
3   3.0 
4   NaN 
5   5.0 
6   NaN 
 
>>> a.interpolate(method='linear') 
Out[2]:  
   col1 
0   NaN 
1   1.0 
2   2.0 
3   3.0 
4   4.0 
5   5.0 
6   5.0 
 
>>> a.interpolate(method='nearest') 
Out[3]:  
   col1 
0   NaN 
1   1.0 
2   1.0 
3   3.0 
4   3.0 
5   5.0 
6   NaN 
 

似乎 linear 方法将对尾随的 NaN 进行外推,而“最近”方法不会,除非您指定 fill_value = 'extrapolate':

>>> a.interpolate(method='nearest', fill_value='extrapolate') 
Out[4]:  
   col1 
0   NaN 
1   1.0 
2   1.0 
3   3.0 
4   3.0 
5   5.0 
6   5.0 

所以我的问题是为什么这两种方法在处理尾随 NaN 时表现不同?它应该是什么还是一个错误?

在两个版本的 pandas“0.16.2”和“0.20.3”中发现了相同的结果。

pandas.Series.interpolate() 也显示了同样的问题。

有一个thread和一个 github issue谈论类似的问题,但目的不同。我正在寻找这个问题的解释或结论。

编辑:

更正:linear 方法的行为方式并不完全是extrapolation,因为您可以看到最后一行的填充值是 5 而不是 6。它看起来更像是现在是一个错误,是吗?

请您参考如下方法:

@D.Weis 这是一个很好的问题,让我深入解释一下,没有线程和 github 问题。让我一步一步解释。

>>> a = pd.DataFrame({'col1': [np.nan, 1, np.nan, 3, np.nan, 5, np.nan]}) 
Out[1]:  
   col1 
0   NaN 
1   1.0 
2   NaN 
3   3.0 
4   NaN 
5   5.0 
6   NaN 

1.)'线性'插值

在“线性”插值中,缺失值由两个最近的位置值填充。虽然在“最近”插值中,它会用最近的周围值填充缺失值,但是,在“最近”中,缺失值将与附近的位置值具有相同的值。我在第 (2) 节中更深入地解释了“最近”插值。

用于“线性”插值的 Emaple:

    1   1.0    1. 1.0  
    2   NaN    2. 2.0 
    3   3.0    3. 3.0 
    4   NaN    4. 4.0 

这里,第二个位置是空的。因此,要填充它的值,它将采用位置 1st 和 3rd 的值,分别为 1.0 和 3.0。再次记住,在“线性”插值中,它只需要 2 个周围值来填充缺失值。

(1.0+3.0/2) =2.0 = Answer for  2nd position. Similarly it will be for other values. 

2.) 按“最近”插值

>>> a.interpolate(method='nearest') 
Out[3]:  
   col1 
0   NaN 
1   1.0 
2   1.0 
3   3.0 
4   3.0 
5   5.0 
6   NaN 

基本上,在“最近”插值中,它会用与最近值相同的值来填充缺失值。例如,

1   1.0    1. 1.0  
2   NaN    2. 1.0 
3   3.0    3. 3.0 
4   NaN    4. 3.0 

因此,在上面的示例中,您可以很容易地看到位置 2nd 与位置 1st 具有相同的值,因为它是距离 1st 位置最近的值。总之,请记住,在“最近”插值中,缺失值会在最近周围值的帮助下由相同的值填充。

在 method='nearest', fill_value='extrapolate' 中,您可以在示例中看到它将使用与第 5 个位置相同的值填充最后一个值。如上所述,该概念与填充缺失值的概念相同。

注意: 此外,还有其他插值方法,如'双线性'、'双三次'等。这都是关于填补缺失值的准确性。

我的建议是,如果您想从“最近”和“线性”插值中进行选择。我会说使用“线性”插值,因为它会比“最近”插值更准确地填充值。

希望这对您有所帮助。祝你好运!