Skip to main content
 首页 » 编程设计

python之如何在spark中进行分组和加法

2024年08月22日3998°冷暖

<分区>

我有一个像这样的 RDD:

{"key1" : "fruit" , "key2" : "US" , "key3" : "1" } 
 
{"key1" : "fruit" , "key2" : "US" , "key3" : "2" } 
 
{"key1" : "vegetable" , "key2" : "US" , "key3" : "1" } 
 
{"key1" : "fruit" , "key2" : "Japan" , "key3" : "3" } 
 
{"key1" : "vegetable" , "key2" : "Japan" , "key3" : "3" } 

我的目标是 首先按 key1 分组,然后按 key2 分组 最后添加key3。

我期待最终结果,

key1          key2      key3 
"fruit"     , "US"    , 3 
"vegetable" , "US"    , 1 
"fruit"     , "Japan" , 3 
"vegetable" , "Japan" , 3 

我的代码开始如下,

rdd_arm = rdd_arm.map(lambda x: x[1]) 

rdd_arm 包括上述键:值格式。

我不知道下一步该去哪里。 有人可以帮助我吗?