我有一个面板数据,我想删除每组中包含 NaN 的第一(几)行。 (或者一些通用的方法,可以根据组内的索引和其他条件进行下降。)
df = pd.DataFrame(
{'ID': [10001, 10001, 10001, 10002, 10002, 10002, 10003, 10003, 10003, 10003],
'PRICE': [None, 11.5, 14.31, 15.125, 14.44, None, None, None, None, 23.55],
'date': [19920103, 19920106, 19920107, 19920108, 19920109, 19920110,
19920113, 19920114, 19920115, 19920116]},
index = range(1,11))
数据看起来像:
ID PRICE date
1 10001 NaN 19920103
2 10001 11.500 19920106
3 10001 14.310 19920107
4 10002 15.125 19920108
5 10002 14.440 19920109
6 10002 NaN 19920110
7 10003 NaN 19920113
8 10003 NaN 19920114
9 10003 NaN 19920115
10 10003 23.550 19920116
我想删除第 1 行和第 7 行,但不想删除第 9 行,因为第 9 行不是前几个缺失的观察结果之一,我试过了
def mask_first_missing(x):
result = x.notnull() & x.rank()==1
return result
mask = df.groupby(['ID'])['PRICE'].transform(mask_first_missing).astype(bool)
print(df[mask])
但它删除了第 1、7 和 9 行,显然第 9 行不是第 3 组中的第一个观察值,
如果我这样做
df[df.groupby('ID', as_index=False)['PRICE'].nth(0).notnull()]
然后 groupby 对象创建的索引与原始 dataframe 不对齐
有人可以帮我解决这个问题吗?谢谢
请您参考如下方法:
这是一种方法:
notnull = df.PRICE.notnull()
protected = df.index > df.PRICE.last_valid_index()
df[notnull | protected]
