好的,我有一个(大)数据框,像这样:
date time value
0 20100201 0 1
1 20100201 6 2
2 20100201 12 3
3 20100201 18 4
4 20100202 0 5
5 20100202 6 6
6 20100202 12 7
7 20100202 18 8
8 20100203 0 9
9 20100203 18 11
10 20100204 6 12
...
8845 20160101 18 8846
如您所见,数据框有一列 date , 一列 time每天四个小时 (00, 06, 12, 18) 和一列 value .
问题是数据框中缺少日期,在上面的示例中,第 8 行和第 9 行之间应该有两行额外的行,对应于小时 6和 12今日 20100203 ,以及第 9 行和第 10 行之间的额外一行,对应于小时 0今日 20100204 .
我需要什么?我想迭代 date数据框的列,检查每一天是否存在并且没有人丢失,并且每天都有四个小时(00、06、12、18)。如果在迭代过程中缺少某些东西,应该在确切那个地方添加,缺少的 date和 time和 NaN作为一个值。为了不重复复制所有的数据框,让我把应该出现在最终版本中的相关方面:
...
7 20100202 18 8
8 20100203 0 9
9 20100203 6 NaN
10 20100203 12 NaN
11 20100203 18 11
12 20100204 0 NaN
13 20100204 6 12
...
如果您有兴趣,可以在此处询问此问题的更简单版本 Modular arithmetic in python to iterate a pandas dataframe并得到用户@Alexander 和@piRSquared 的亲切回答。此处要求的版本更难,涉及(我想)使用 datetime 和 timedelta 以及迭代更多列。
抱歉发了这么长的帖子,非常感谢。
请您参考如下方法:
您可以使用 pivot用于 reshape - 您在 time 列的缺失值中得到 NaN,然后是 unstack与 reset_index和 sort_values :
import pandas as pd
df = pd.DataFrame({'date': {0: 20100201, 1: 20100201, 2: 20100201, 3: 20100201, 4: 20100202, 5: 20100202, 6: 20100202, 7: 20100202, 8: 20100203, 9: 20100203, 10: 20100204},
'time': {0: 0, 1: 6, 2: 12, 3: 18, 4: 0, 5: 6, 6: 12, 7: 18, 8: 0, 9: 18, 10: 6},
'value': {0: 1, 1: 2, 2: 3, 3: 4, 4: 5, 5: 6, 6: 7, 7: 8, 8: 9, 9: 11, 10: 12}})
print (df)
date time value
0 20100201 0 1
1 20100201 6 2
2 20100201 12 3
3 20100201 18 4
4 20100202 0 5
5 20100202 6 6
6 20100202 12 7
7 20100202 18 8
8 20100203 0 9
9 20100203 18 11
10 20100204 6 12
print (df.pivot(index='date', columns='time', values='value')
.unstack()
.reset_index(name='value')
.sort_values('date'))
time date value
0 0 20100201 1.0
4 6 20100201 2.0
8 12 20100201 3.0
12 18 20100201 4.0
1 0 20100202 5.0
5 6 20100202 6.0
9 12 20100202 7.0
13 18 20100202 8.0
2 0 20100203 9.0
6 6 20100203 NaN
10 12 20100203 NaN
14 18 20100203 11.0
3 0 20100204 NaN
7 6 20100204 12.0
11 12 20100204 NaN
15 18 20100204 NaN
也许你可以reset_index同样,如果你需要像这样的漂亮的 index:
print (df.pivot(index='date', columns='time', values='value')
.unstack()
.reset_index(name='value')
.sort_values('date')
.reset_index(drop=True))
time date value
0 0 20100201 1.0
1 6 20100201 2.0
2 12 20100201 3.0
3 18 20100201 4.0
4 0 20100202 5.0
5 6 20100202 6.0
6 12 20100202 7.0
7 18 20100202 8.0
8 0 20100203 9.0
9 6 20100203 NaN
10 12 20100203 NaN
11 18 20100203 11.0
12 0 20100204 NaN
13 6 20100204 12.0
14 12 20100204 NaN
15 18 20100204 NaN
