Skip to main content
 首页 » 编程设计

python之保持具有最大重叠的相似行 Pandas 数据框

2024年12月31日8lautakyan007

我有一个问题 看起来像(示例)的数据框:

   index  ID   time     value 
   0      1     2h       10 
   1      1     2.15h    15 
   2      1     2.30h    5 
   3      1     2.45h    24 
   4      2     2.15h    6 
   5      2     2.30h    12 
   6      2     2.45h    18 
   7      3     2.15h    2 
   8      3     2.30h    1 

我想保持 ID 行重叠的最大数量。 所以:

   index  ID   time    value 
   1      1     2.15h   15 
   2      1     2.30h    5 
   4      2     2.15h    6 
   5      2     2.30h   12 
   7      3     2.15h    2 
   8      3     2.30h    1 

我知道我可以创建一个具有唯一时间的 df,然后将每个 ID 单独合并到它,然后保留每次都填充所有 ID 的所有行,但这是非常不切实际的。我看过但没有找到可能更聪明的方法的答案。有人知道如何使它更实用吗?

请您参考如下方法:

使用:

cols = df.groupby(['ID', 'time']).size().unstack().dropna(axis=1).columns 
 
df = df[df['time'].isin(cols)] 
print (df) 
   ID   time  value 
1   1  2.15h     15 
2   1  2.30h      5 
4   2  2.15h      6 
5   2  2.30h     12 
7   3  2.15h      2 
8   3  2.30h      1 

详细信息:

首先通过groupby聚合DataFrame和 size , 然后通过 unstack reshape - NaN 是为非重叠值创建的:

print (df.groupby(['ID', 'time']).size().unstack()) 
time  2.15h  2.30h  2.45h   2h 
ID                             
1       1.0    1.0    1.0  1.0 
2       1.0    1.0    1.0  NaN 
3       1.0    1.0    NaN  NaN 

使用 dropna 删除列并获取列名:

print (df.groupby(['ID', 'time']).size().unstack().dropna(axis=1)) 
time  2.15h  2.30h 
ID                 
1       1.0    1.0 
2       1.0    1.0 
3       1.0    1.0 

最后一个过滤器列表由 isin和 boolean indexing :

df = df[df['time'].isin(cols)]