Skip to main content
 首页 » 编程设计

python之连接两个分区数相同但列数不同的数据帧(dask)

2024年11月24日20cmt

我有两个分区数相同的数据框。我想连接这些数据帧(第一个分区与第一个分区,第二个分区与第二个分区等)因此,最终数据帧具有初始分区数 (V),每个分区中的行数相同 (n) 但列数不同(数据帧一和数据帧二的列数之和 (n+m))。第一个数据框 (A) 有一个时间戳作为索引,但第二个数据框 (B) 没有此列。两个数据框都已排序,我只需要将这些数据集放在一起,而不需要在每个分区中进行任何更改。此外,A 的索引将是新数据帧的索引。

A: data-frame (V partitions) - every partition (nXn) 
B: data-frame (V partitions) - every partition (nXm) 
 
C (new data-frame): (V partitions) - every partition (nX(n+m)) 

请您参考如下方法:

这并不难:

C = dd.from_delayed([dask.delayed(pd.concat)([a, b]) 
    for a, b in zip(A.to_delayed(), B.to_delayed())], 
    meta=A._meta) 

解释

  • 获取每个数据帧的分区作为延迟对象
  • 将这些成对传递给 concat
  • 将连接的对组合成一个数据框
  • 重用元数据,因为输出具有与输入相同的列和索引

(当然,C 仍然是惰性的,操作只会在您对其执行某些操作时触发)