Skip to main content
 首页 » 编程设计

python之将列表项转换为定义的数据类型 RDD

2025年02月15日14mate10pro

实际上,我在 cloudera 的 dataricks 中的 Apache Spark Python 工作区工作。这个想法是读取 csv 并格式化每个字段。

因此,第一步是读取 csv:

uber = sc.textFile("dbfs:/mnt/uber/201601/pec2/uber_curated.csv") 

下一步是将每一行转换为值列表:

uber_parsed = uber.map(lambda lin:lin.split(",")) 
print (uber_parsed.first()) 

结果是:

[u'B02765', u'2015-05-08 19:05:00', u'B02764', u'262', u'Manhattan',u'Yorkville East'] 

但是,现在我需要将下一个值列表的每一项转换为下一个格式字符串、日期、字符串、整数、字符串、字符串。

[[u'B02765', u'2015-05-08 19:05:00', u'B02764', u'262', u'Manhattan', u'Yorkville East'], 
[u'B02767', u'2015-05-08 19:05:00', u'B02789', u'400', u'New York', u'Yorkville East']] 

有人知道怎么做吗?

请您参考如下方法:

您可以使用csv 阅读器。在 Spark 1.x 中,您需要一个外部依赖项 ( spark-csv )。

from pyspark.sql.types import * 
 
sqlContext.read.format("csv").schema(StructType([ 
    StructField("_1", StringType()), 
    StructField("_2", TimestampType()), 
    StructField("_3", StringType()), 
    StructField("_4", IntegerType()), 
    StructField("_5", StringType()), 
    StructField("_6", StringType()), 
])).load("dbfs:/mnt/uber/201601/pec2/uber_curated.csv").rdd 

或

sqlContext.read.format("csv").schema(StructType([ 
    StructField("_1", StringType()), 
    StructField("_2", DateType()), 
    StructField("_3", StringType()), 
    StructField("_4", IntegerType()), 
    StructField("_5", StringType()), 
    StructField("_6", StringType()), 
])).option("dateFormat", "yyyy-dd-MM HH:mm:ss").load( 
    "dbfs:/mnt/uber/201601/pec2/uber_curated.csv" 
).rdd 

您可以将 (_1, _2 .._n) 替换为描述性字段名称。