Skip to main content
 首页 » 编程设计

python之Pandas 丢弃前几行,每组包含 nan

2025年04月02日13Terrylee

我有一个面板数据,我想删除每组中包含 NaN 的第一(几)行。 (或者一些通用的方法,可以根据组内的索引和其他条件进行下降。)

df = pd.DataFrame( 
{'ID': [10001, 10001, 10001, 10002, 10002, 10002, 10003, 10003, 10003, 10003], 
 'PRICE': [None, 11.5, 14.31, 15.125, 14.44, None, None, None, None, 23.55], 
 'date': [19920103, 19920106, 19920107, 19920108, 19920109, 19920110, 
          19920113, 19920114, 19920115, 19920116]}, 
index = range(1,11)) 

数据看起来像:

    ID      PRICE   date 
1   10001   NaN     19920103 
2   10001   11.500  19920106 
3   10001   14.310  19920107 
4   10002   15.125  19920108 
5   10002   14.440  19920109 
6   10002   NaN     19920110 
7   10003   NaN     19920113 
8   10003   NaN     19920114 
9   10003   NaN     19920115 
10  10003   23.550  19920116 

我想删除第 1 行和第 7 行,但不想删除第 9 行,因为第 9 行不是前几个缺失的观察结果之一,我试过了

def mask_first_missing(x): 
    result = x.notnull() & x.rank()==1 
    return result 
 
mask = df.groupby(['ID'])['PRICE'].transform(mask_first_missing).astype(bool) 
print(df[mask]) 

但它删除了第 1、7 和 9 行,显然第 9 行不是第 3 组中的第一个观察值,

如果我这样做

df[df.groupby('ID', as_index=False)['PRICE'].nth(0).notnull()] 

然后 groupby 对象创建的索引与原始 dataframe 不对齐

有人可以帮我解决这个问题吗?谢谢

请您参考如下方法:

这是一种方法:

notnull = df.PRICE.notnull() 
protected = df.index > df.PRICE.last_valid_index() 
 
df[notnull | protected]