实际上,我在 cloudera 的 dataricks 中的 Apache Spark Python 工作区工作。这个想法是读取 csv 并格式化每个字段。
因此,第一步是读取 csv:
uber = sc.textFile("dbfs:/mnt/uber/201601/pec2/uber_curated.csv")
下一步是将每一行转换为值列表:
uber_parsed = uber.map(lambda lin:lin.split(","))
print (uber_parsed.first())
结果是:
[u'B02765', u'2015-05-08 19:05:00', u'B02764', u'262', u'Manhattan',u'Yorkville East']
但是,现在我需要将下一个值列表的每一项转换为下一个格式字符串、日期、字符串、整数、字符串、字符串。
[[u'B02765', u'2015-05-08 19:05:00', u'B02764', u'262', u'Manhattan', u'Yorkville East'],
[u'B02767', u'2015-05-08 19:05:00', u'B02789', u'400', u'New York', u'Yorkville East']]
有人知道怎么做吗?
请您参考如下方法:
您可以使用csv 阅读器。在 Spark 1.x 中,您需要一个外部依赖项 ( spark-csv )。
from pyspark.sql.types import *
sqlContext.read.format("csv").schema(StructType([
StructField("_1", StringType()),
StructField("_2", TimestampType()),
StructField("_3", StringType()),
StructField("_4", IntegerType()),
StructField("_5", StringType()),
StructField("_6", StringType()),
])).load("dbfs:/mnt/uber/201601/pec2/uber_curated.csv").rdd
或
sqlContext.read.format("csv").schema(StructType([
StructField("_1", StringType()),
StructField("_2", DateType()),
StructField("_3", StringType()),
StructField("_4", IntegerType()),
StructField("_5", StringType()),
StructField("_6", StringType()),
])).option("dateFormat", "yyyy-dd-MM HH:mm:ss").load(
"dbfs:/mnt/uber/201601/pec2/uber_curated.csv"
).rdd
您可以将 (_1, _2 .._n) 替换为描述性字段名称。
