Skip to main content
 首页 » 编程设计

python之Pandas 跨列插值日期

2025年02月15日9lautakyan007

我有以下 pd 数据框。

import pandas as pd 
 
df = pd.DataFrame([pd.datetime(2016,1,1), pd.datetime(2016,2,1)], columns = ['d1']) 
df['d2'] = [pd.datetime(2016,1,5), pd.datetime(2016,2,10)] 
df['d3'] = [pd.datetime(2016,1,10), pd.datetime(2016,2,20)] 
df['v1'], df['v2'], df['v3'] = [1,10], [5, 100], [5, 100] 
df['x1'] = [pd.datetime(2016,1,2), pd.datetime(2016,2,13)] 
 
 
          d1         d2         d3  v1   v2   v3         x1 
0 2016-01-01 2016-01-05 2016-01-10   1    5    5 2016-01-02 
1 2016-02-01 2016-02-10 2016-02-20  10  100  100 2016-02-13 

我想通过插值来计算列 x2

x: x1 
independent = [d1, d2, d3] 
dependent = [v1, v2, v3] 

在上面的示例中,第 0 行的 x2 应为 2,第 1 行的 x2 应为 100。

我可以考虑使用 df.iterrows()、切片 [d1-d3] 和 [v1-v3],然后使用 np.interp,但即使那样也会变得有点复杂,因为我必须将日期转换为 float 。 (np.interp 只接受 float 列表)。

Pandas 中应该有一种更简洁的矢量化方法吗?

请您参考如下方法:

我不知道 Pandas 是否可以使用特定列作为 IV 和 DV 进行插值。但是,如果您将时间戳视为单个系列,则可以获得您想要的。

稍微改组一下,我们可以重新格式化 interpolate(method='time') 的数据框, 然后将其恢复为原始格式。从您的示例数据框开始,添加一个空的 x2:

import numpy as np 
df['x2'] = np.nan  
 
df 
          d1         d2         d3  v1   v2   v3         x1  x2 
0 2016-01-01 2016-01-05 2016-01-10   1    5    5 2016-01-02 NaN 
1 2016-02-01 2016-02-10 2016-02-20  10  100  100 2016-02-13 NaN 

现在从宽变长,压缩成两列,d 和 v(x 获得 d 和 v 俱乐部)。将实际的列名保存为索引:

pairs = [('d1','v1'), ('d2','v2'), ('d3','v3'), ('x1','x2')] 
df2 = pd.concat( 
    (df[[d, v]].rename(index=lambda i: d, 
                       columns=lambda x: 'd' if (x[0]=='d') | (x=='x1') else 'v') for d, v in pairs)) 
 
df2 
 
            d      v 
d1 2016-01-01    1.0 
d1 2016-02-01   10.0 
d2 2016-01-05    5.0 
d2 2016-02-10  100.0 
d3 2016-01-10    5.0 
d3 2016-02-20  100.0 
x1 2016-01-02    NaN 
x1 2016-02-13    NaN 

我们想根据时间进行插值,所以我们会将时间戳移动到索引中,按日期排序,然后执行插值:

df3 = (df2.reset_index() 
          .set_index(pd.to_datetime(df2.d)) 
          .drop('d', 1) 
          .sort_index() 
          .interpolate(method="time") 
          .sort_values('index') 
      ) 
 
df3 
           index      v 
d                       
2016-01-01    d1    1.0 
2016-02-01    d1   10.0 
2016-01-05    d2    5.0 
2016-02-10    d2  100.0 
2016-01-10    d3    5.0 
2016-02-20    d3  100.0 
2016-01-02    x1    2.0 
2016-02-13    x1  100.0 

根据 OP 预期输出,插值是正确的。现在我们只需要将数据框恢复到原来的形状。为此,我们根据奇数/偶数行号将索引设置回 0/1,然后使用 pivot():

df4 = df3.reset_index().rename(index=lambda x: int(x%2)).pivot(columns='index') 
df4.columns = df4.columns.droplevel(0) 
iv, dv = zip(*pairs) 
df4.columns = iv + dv 
 
df4 
          d1         d2         d3         x1    v1     v2     v3     x2 
0 2016-01-01 2016-01-05 2016-01-10 2016-01-02   1.0    5.0    5.0    2.0 
1 2016-02-01 2016-02-10 2016-02-20 2016-02-13  10.0  100.0  100.0  100.0 

可能有一种更隐秘的方法来 reshape 中间的东西,但这里的关键直觉是,如果给定正确的格式,Pandas 将使用时间作为引用来插入缺失值。

更新(根据评论)
如果必须对每行进行插值,我们可以使用与上面类似的方法,使用 apply():

def custom_interp(row, pairs): 
    data = pd.concat( 
        (pd.DataFrame(row[[d, v]]).rename(index=lambda x: 'd' if (x[0] == 'd') | (x == 'x1') else 'v', 
                                          columns=lambda x: d) for d, v in pairs),  
        axis=1).T.reset_index() 
    data = (data.set_index(pd.to_datetime(data.d)) 
                .drop('d', 1) 
                .sort_index() 
           ) 
    data.v = data.v.astype(float) 
    data = data.interpolate(method='time').reset_index() 
    data.index = np.repeat(row.name, len(data.index)) 
    data = data.pivot(columns='index') 
    data.columns = data.columns.droplevel(0) 
    return data.values[0] 
 
df.apply(custom_interp, args=(pairs,), axis=1) 
 
          d1         d2         d3         v1    v2     v3     x1     x2 
0 2016-01-01 2016-01-05 2016-01-10 2016-01-02   1.0    5.0    5.0    2.0 
1 2016-02-01 2016-02-10 2016-02-20 2016-02-13  10.0  100.0  100.0  100.0