Skip to main content
 首页 » 编程设计

python之在pyspark中将行转换为列表RDD

2025年05月04日34lexus

我有一个表单列表

[Row(_1=u'5', _2=u'6')] 

我想把它转换成

[(5,6)] 

使用 PySpark

请您参考如下方法:

如果您的 [Row(_1=u'5', _2=u'6')] 是您的 rdd 中的一行:

from pyspark.sql import Row 
 
a = [Row(_1=u'5', _2=u'6')] 
rdd = sc.parallelize(a)  
print rdd.take(1) 
# >>> [Row(_1=u'5', _2=u'6')] 
 
b = rdd.map(lambda line: tuple([int(x) for x in line])) 
print b.take(3) 
# >>> [(5, 6)]