Skip to main content
 首页 » 编程设计

python之Pandas 数据框合并行

2025年04月02日7dudu

我的问题是一个大数据框,我想清除它。我的两个主要问题是:

  1. 整个数据框是基于时间的。这意味着我不能移动行,否则时间戳将不再适用。

  2. 数据并不总是以相同的顺序排列。

举个例子说明一下

index  a  b  c  d  x1  x2  y1  y2  t 
0                  1   2           0.2 
1      1  2                        0.4 
2                          2   4   0.6 
3                  1   2           1.8 
4                          2   3   2.0 
5                  1   2           3.8 
6                          2   3   4.0 
7            2  5                  4.2 

结果应该是这样的

index  a  b  c  d  x1  x2  y1  y2  t 
0                  1   2   2   4   0.2 
1      1  2                        0.4 
3                  1   2   2   3   1.8 
5                  1   2   2   3   3.8 
7            2  5                  4.2 

这意味着我想总结一下 df 的右半部分并保留第一个条目的时间戳。第二个问题是,中间 df 的左半部分可能有不同的数据。

请您参考如下方法:

这可能不是最通用的解决方案,但它可以解决您的问题:

首先,分离右半部分:

r = df[['x1', 'x2', 'y1', 'y2']].dropna(how='all') 

其次,使用dropna逐列应用压缩数据:

r_compressed = r.apply( 
    lambda g: g.dropna().reset_index(drop=True), 
    axis=0 
).set_index(r.index[::2]) 

您需要删除索引,否则 pandas 将尝试重新对齐数据。原始索引在末尾重新应用(但仅每隔一个索引标签)以方便重新插入左半部分和 t 列。

输出(注意索引值):

    x1   x2   y1   y2 
0  1.0  2.0  2.0  4.0 
3  1.0  2.0  2.0  3.0 
5  1.0  2.0  2.0  3.0 

第三,分离左半边:

l = df[['a', 'b', 'c', 'd']].dropna(how='all') 

第四,将左半部分和t列合并到压缩的右半部分:

out = r_compressed.combine_first(l) 
out['t'] = df['t'] 

输出:

     a    b    c    d   x1   x2   y1   y2    t 
0  NaN  NaN  NaN  NaN  1.0  2.0  2.0  4.0  0.2 
1  1.0  2.0  NaN  NaN  NaN  NaN  NaN  NaN  0.4 
3  NaN  NaN  NaN  NaN  1.0  2.0  2.0  3.0  1.8 
5  NaN  NaN  NaN  NaN  1.0  2.0  2.0  3.0  3.8 
7  NaN  NaN  2.0  5.0  NaN  NaN  NaN  NaN  4.2