我有两个分区数相同的数据框。我想连接这些数据帧(第一个分区与第一个分区,第二个分区与第二个分区等)因此,最终数据帧具有初始分区数 (V),每个分区中的行数相同 (n) 但列数不同(数据帧一和数据帧二的列数之和 (n+m))。第一个数据框 (A) 有一个时间戳作为索引,但第二个数据框 (B) 没有此列。两个数据框都已排序,我只需要将这些数据集放在一起,而不需要在每个分区中进行任何更改。此外,A 的索引将是新数据帧的索引。
A: data-frame (V partitions) - every partition (nXn)
B: data-frame (V partitions) - every partition (nXm)
C (new data-frame): (V partitions) - every partition (nX(n+m))
请您参考如下方法:
这并不难:
C = dd.from_delayed([dask.delayed(pd.concat)([a, b])
for a, b in zip(A.to_delayed(), B.to_delayed())],
meta=A._meta)
解释
- 获取每个数据帧的分区作为延迟对象
- 将这些成对传递给
concat - 将连接的对组合成一个数据框
- 重用元数据,因为输出具有与输入相同的列和索引
(当然,C 仍然是惰性的,操作只会在您对其执行某些操作时触发)
