假设我有一个如下所示的数据框:
ID DATE VALUE_1 Value_2 ...
1 31-01-2006 5 "USD"
1 31-01-2007 5 "USD"
1 31-01-2008 10 "USD"
1 31-01-2011 11 "USD"
2 31-12-2006 5 "USD"
2 31-12-2007 5 "USD"
2 31-12-2008 5 "USD"
2 31-12-2009 5 "USD"
还有 X 列。
如您所见,这是面板数据,其中包含同一日期不同 ID 的多个条目。我想要做的是为每个 ID 填写缺失的日期。您可以看到对于 ID“1”,第二个和第三个条目之间的月份有跳跃。
我想要一个如下所示的数据框 - 请记住,我正在寻找一种适用于具有许多值列 +30 和许多 ID (1000+) 的数据框的解决方案,并且仍然有效。即不应该为已经“完整”的 ID 填充任何数据,这意味着它们已经具有数据指定的频率。在这种情况下,每年的频率。但请记住,尽管它们有每年一次的频率,但它们并不总是遵循日历年。
ID DATE VALUE_1 Value_2 ...
1 31-01-2006 5 "USD"
1 31-01-2007 5 "USD"
1 31-01-2008 10 "USD"
1 31-01-2009 NA NA
1 31-01-2010 NA NA
1 31-01-2011 11 "USD"
2 31-12-2006 5 "USD"
2 31-12-2007 5 "USD"
2 31-12-2008 5 "USD"
2 31-12-2009 5 "USD"
请您参考如下方法:
这是一个完全灵活的解决方案:
def resample_custom_freq(data):
""" Resample datetime using different time offsets """
# Compute the offsets
month = data['Month'][0] - 1
day = data['Day'][0] - 1
# Modify data
data = data.resample('AS').last().drop('ID', axis=1).reset_index().reset_index()
data.loc[:, 'DATE'] += pd.offsets.MonthOffset(month)
data.loc[:, 'DATE'] += pd.offsets.DateOffset(day)
return data
df['DATE'] = pd.to_datetime(df['DATE'])
df['Month'] = df['DATE'].dt.month
df['Day'] = df['DATE'].dt.day
df.set_index('DATE', inplace=True, drop=True)
df_1 = df.groupby('ID').apply(resample_custom_freq).reset_index().drop(['level_1', 'index', 'Month', 'Day'], axis=1)
df_1
Out[264]:
ID DATE VALUE_1 Value_2
0 1 2006-01-31 5.0 "USD"
1 1 2007-01-31 5.0 "USD"
2 1 2008-01-31 10.0 "USD"
3 1 2009-01-31 NaN NaN
4 1 2010-01-31 NaN NaN
5 1 2011-01-31 11.0 "USD"
6 2 2006-12-31 5.0 "USD"
7 2 2007-12-31 5.0 "USD"
8 2 2008-12-31 5.0 "USD"
9 2 2009-12-31 5.0 "USD
