文件 videos.csv 如下
2482cal-2792-48da,Action,Comedy
099acca-8888-48ca,Action,Comedy
在 Spark Scala 中，可以使用 .drop(1) 删除 RDD 列 1，以删除所有行的 rdd 列 1，例如 482cal-2792-48da 和 099acca-8888-48ca.
我想知道如何在 PySpark 的 PySpark rdd 中执行此操作，如下面第 2 行代码所示
Spark 斯卡拉
val records = sc.textFile("file:///home/videos.csv")
val words = records.flatMap(record => record.split(",").drop(1))**
PySpark
videos_rdd = sc.textFile("/user/spark_dataset/datastax_ds320/videos.csv", 4)
videos_rdd_flat = videos_rdd.flatMap(lambda t:t.split(","))**
谢谢
请您参考如下方法:
可以使用拼接:
videos_rdd.flatMap(lambda t: t.split(",")[1:])
