Skip to main content
 首页 » 编程设计

python之Spark python 如何使用特殊标记对 RDD 项进行分组

2025年04月02日37sky-heaven

<分区>

我有一个很大的文件(a.txt)如下,文件中有一个特殊的标记将数据分成组

a1 
a2 
$$$$$$$$ 
a1 
c1 
b1 
c2 
$$$$$$$$ 
d1 
d2 
$$$$$$$$ 
... 

我想使用如下 python 代码:

line = sc.textFile("a.txt") 
line1 = line.filter() or line.filter.map()... 
... 

将组项分成几个组,如下所示: (a1,a2), (a1, c1, b1,c2), (d1, d2)....但不知道该怎么做,有人可以帮忙吗?