我有一个包含四列数据的数据集。
例如:
a b c d
1, 2, 3, 4
...
使用 pyspark，我如何才能仅检索列 a 和 b 的数据？我是 spark 的新手，尝试过很多东西，包括:
dataset = data_raw.filter(lambda line: line != dataset_header) \
.map(lambda line: line.split(", ", maxsplit=2)).take(1)
但这似乎并没有给我所需的目标。我想要的只是拥有列 a 和 b 并丢弃其余的数据集。任何帮助将不胜感激。
请您参考如下方法:
您是否尝试过仅选择两列的Select 方法..
dataset.select('a','b').show()
我认为您应该为游览数据集使用 csv 阅读器。
sc.textFile("file.csv") \
.map(lambda line: line.split(",")) \
.filter(lambda line: len(line)<=1) \
.collect()
