Skip to main content
 首页 » 编程设计

python之如何在不聚合原始 RDD 分区的情况下对多个 RDD 进行分组

2024年11月01日17yjmyzz

我有两个具有公共(public)变量的 RDD,其格式如下:

 x = sc.parallelize([("A", 1), ("B", 4),("A",2)]) 
 y = sc.parallelize([("A", -1),("B", 5)]) 

然后我想使用公共(public)变量将它们分组。 “A” 和 “B”。

我尝试使用下面的命令:

 z = [(x, tuple(map(list, y))) for x, y in sorted(list(x.cogroup(y).collect()))] 
 print(z) 

我得到的是

[('A', ([1, 2], [-1])), ('B', ([4], [5]))] 

不过,我想要的是

[('A', ([1], [-1])), ('B', ([4], [5])),('A', ([2], [-1]))] 

如何更改代码以获得如上所示的输出?谢谢。

请您参考如下方法:

您可以通过直接连接来做到这一点:

print(x.join(y).collect()) 
#[('A', (1, -1)), ('A', (2, -1)), ('B', (4, 5))] 

如果您希望 tuple 的元素成为 list,请添加对 mapValues 的调用:

print(x.join(y).mapValues(lambda a: tuple([b] for b in a)).collect()) 
#[('A', ([1], [-1])), ('A', ([2], [-1])), ('B', ([4], [5]))]