我有原始数据框:
ID T value
1 0 1
1 4 3
2 0 0
2 4 1
2 7 3
该值与上一行相同。
输出应该是这样的:
ID T value
1 0 1
1 1 1
1 2 1
1 3 1
1 4 3
2 0 0
2 1 0
2 2 0
2 3 0
2 4 1
2 5 1
2 6 1
2 7 3
... ... ...
我试过循环它需要很长时间。
知道如何为大型数据框解决这个问题吗?
谢谢!
请您参考如下方法:
对于每个组,T 中的解决方案是必要的唯一整数值。
使用groupby具有自定义功能 - 每个组使用 reindex然后通过正向填充 ffill 替换 value 列中的 NaN:
df1 = (df.groupby('ID')['T', 'value']
.apply(lambda x: x.set_index('T').reindex(np.arange(x['T'].min(), x['T'].max() + 1)))
.ffill()
.astype(int)
.reset_index())
print (df1)
ID T value
0 1 0 1
1 1 1 1
2 1 2 1
3 1 3 1
4 1 4 3
5 2 0 0
6 2 1 0
7 2 2 0
8 2 3 0
9 2 4 1
10 2 5 1
11 2 6 1
12 2 7 3
如果报错:
ValueError: cannot reindex from a duplicate axis
这意味着每组有一些重复的值,例如:
print (df)
ID T value
0 1 0 1
1 1 4 3
2 2 0 0
3 2 4 1 <-4 is duplicates per group 2
4 2 4 3 <-4 is duplicates per group 2
5 2 7 3
解决方案是首先为唯一的 T 聚合值 - 例如通过 sum:
df = df.groupby(['ID', 'T'], as_index=False)['value'].sum()
print (df)
ID T value
0 1 0 1
1 1 4 3
2 2 0 0
3 2 4 4
4 2 7 3
