Skip to main content
 首页 » 编程设计

python之迭代 Pandas 数据框,检查值并创建其中一些

2025年04月02日14Leo_wl

好的,我有一个(大)数据框,像这样:

         date       time      value 
0     20100201         0         1 
1     20100201         6         2 
2     20100201        12         3 
3     20100201        18         4 
4     20100202         0         5 
5     20100202         6         6 
6     20100202        12         7 
7     20100202        18         8 
8     20100203         0         9 
9     20100203        18        11 
10    20100204         6        12 
... 
8845  20160101        18      8846   

如您所见,数据框有一列 date , 一列 time每天四个小时 (00, 06, 12, 18) 和一列 value .

问题是数据框中缺少日期,在上面的示例中,第 8 行和第 9 行之间应该有两行额外的行,对应于小时 6和 12今日 20100203 ,以及第 9 行和第 10 行之间的额外一行,对应于小时 0今日 20100204 .

我需要什么?我想迭代 date数据框的列,检查每一天是否存在并且没有人丢失,并且每天都有四个小时(00、06、12、18)。如果在迭代过程中缺少某些东西,应该在确切那个地方添加,缺少的 date和 time和 NaN作为一个值。为了不重复复制所有的数据框,让我把应该出现在最终版本中的相关方面:

... 
7     20100202        18         8 
8     20100203         0         9 
9     20100203         6       NaN 
10    20100203        12       NaN    
11    20100203        18        11 
12    20100204         0       NaN 
13    20100204         6        12 
... 

如果您有兴趣,可以在此处询问此问题的更简单版本 Modular arithmetic in python to iterate a pandas dataframe并得到用户@Alexander 和@piRSquared 的亲切回答。此处要求的版本更难,涉及(我想)使用 datetime 和 timedelta 以及迭代更多列。

抱歉发了这么长的帖子,非常感谢。

请您参考如下方法:

您可以使用 pivot用于 reshape - 您在 time 列的缺失值中得到 NaN,然后是 unstack与 reset_index和 sort_values :

import pandas as pd 
 
df = pd.DataFrame({'date': {0: 20100201, 1: 20100201, 2: 20100201, 3: 20100201, 4: 20100202, 5: 20100202, 6: 20100202, 7: 20100202, 8: 20100203, 9: 20100203, 10: 20100204},  
                   'time': {0: 0, 1: 6, 2: 12, 3: 18, 4: 0, 5: 6, 6: 12, 7: 18, 8: 0, 9: 18, 10: 6}, 
                   'value': {0: 1, 1: 2, 2: 3, 3: 4, 4: 5, 5: 6, 6: 7, 7: 8, 8: 9, 9: 11, 10: 12}}) 
 
print (df) 
        date  time  value 
0   20100201     0      1 
1   20100201     6      2 
2   20100201    12      3 
3   20100201    18      4 
4   20100202     0      5 
5   20100202     6      6 
6   20100202    12      7 
7   20100202    18      8 
8   20100203     0      9 
9   20100203    18     11 
10  20100204     6     12 
print (df.pivot(index='date', columns='time', values='value') 
         .unstack() 
         .reset_index(name='value') 
         .sort_values('date')) 
 
    time      date  value 
0      0  20100201    1.0 
4      6  20100201    2.0 
8     12  20100201    3.0 
12    18  20100201    4.0 
1      0  20100202    5.0 
5      6  20100202    6.0 
9     12  20100202    7.0 
13    18  20100202    8.0 
2      0  20100203    9.0 
6      6  20100203    NaN 
10    12  20100203    NaN 
14    18  20100203   11.0 
3      0  20100204    NaN 
7      6  20100204   12.0 
11    12  20100204    NaN 
15    18  20100204    NaN 

也许你可以reset_index同样,如果你需要像这样的漂亮的 index:

print (df.pivot(index='date', columns='time', values='value') 
         .unstack() 
         .reset_index(name='value') 
         .sort_values('date') 
         .reset_index(drop=True)) 
 
    time      date  value 
0      0  20100201    1.0 
1      6  20100201    2.0 
2     12  20100201    3.0 
3     18  20100201    4.0 
4      0  20100202    5.0 
5      6  20100202    6.0 
6     12  20100202    7.0 
7     18  20100202    8.0 
8      0  20100203    9.0 
9      6  20100203    NaN 
10    12  20100203    NaN 
11    18  20100203   11.0 
12     0  20100204    NaN 
13     6  20100204   12.0 
14    12  20100204    NaN 
15    18  20100204    NaN