Skip to main content
 首页 » 编程设计

python之以多列定义的频率填写分组中的缺失日期

2024年12月31日7Leo_wl

假设我有一个如下所示的数据框:

ID      DATE         VALUE_1   Value_2 ... 
1    31-01-2006        5         "USD"   
1    31-01-2007        5         "USD" 
1    31-01-2008        10        "USD" 
1    31-01-2011        11        "USD" 
2    31-12-2006        5         "USD" 
2    31-12-2007        5         "USD" 
2    31-12-2008        5         "USD" 
2    31-12-2009        5         "USD" 

还有 X 列。

如您所见,这是面板数据,其中包含同一日期不同 ID 的多个条目。我想要做的是为每个 ID 填写缺失的日期。您可以看到对于 ID“1”,第二个和第三个条目之间的月份有跳跃。

我想要一个如下所示的数据框 - 请记住,我正在寻找一种适用于具有许多值列 +30 和许多 ID (1000+) 的数据框的解决方案,并且仍然有效。即不应该为已经“完整”的 ID 填充任何数据,这意味着它们已经具有数据指定的频率。在这种情况下,每年的频率。但请记住,尽管它们有每年一次的频率,但它们并不总是遵循日历年。

ID      DATE         VALUE_1   Value_2 ... 
1    31-01-2006        5         "USD"   
1    31-01-2007        5         "USD" 
1    31-01-2008        10        "USD" 
1    31-01-2009        NA          NA 
1    31-01-2010        NA          NA 
1    31-01-2011        11        "USD" 
2    31-12-2006        5         "USD" 
2    31-12-2007        5         "USD" 
2    31-12-2008        5         "USD" 
2    31-12-2009        5         "USD" 

请您参考如下方法:

这是一个完全灵活的解决方案:

def resample_custom_freq(data): 
    """ Resample datetime using different time offsets """ 
 
    # Compute the offsets 
    month = data['Month'][0] - 1 
    day = data['Day'][0] - 1 
 
    # Modify data 
    data = data.resample('AS').last().drop('ID', axis=1).reset_index().reset_index() 
    data.loc[:, 'DATE'] += pd.offsets.MonthOffset(month) 
    data.loc[:, 'DATE'] += pd.offsets.DateOffset(day) 
    return data 
 
df['DATE'] =  pd.to_datetime(df['DATE']) 
df['Month'] = df['DATE'].dt.month 
df['Day'] = df['DATE'].dt.day 
df.set_index('DATE', inplace=True, drop=True) 
df_1 = df.groupby('ID').apply(resample_custom_freq).reset_index().drop(['level_1', 'index', 'Month', 'Day'], axis=1) 
 
df_1 
Out[264]:  
   ID       DATE  VALUE_1 Value_2 
0   1 2006-01-31      5.0   "USD" 
1   1 2007-01-31      5.0   "USD" 
2   1 2008-01-31     10.0   "USD" 
3   1 2009-01-31      NaN     NaN 
4   1 2010-01-31      NaN     NaN 
5   1 2011-01-31     11.0   "USD" 
6   2 2006-12-31      5.0   "USD" 
7   2 2007-12-31      5.0   "USD" 
8   2 2008-12-31      5.0   "USD" 
9   2 2009-12-31      5.0    "USD