python之如何阅读pyspark中的特定列

我是 pyspark 的新手。我想从输入文件中读取特定的列。我知道如何在 Pandas 中做到这一点

df=pd.read_csv('file.csv',usecols=[0,1,2]) 

但是pyspark中有没有类似这个操作的功能呢？

请您参考如下方法:

您好，您可以使用 map 来选择特定的列

from pyspark import SQLContext 
from pyspark import SparkConf, SparkContext 
conf = SparkConf().setAppName("ReadCSV") 
sc = SparkContext(conf=conf)  
sqlctx = SQLContext(sc) 
df=sc.textFile("te2.csv") \ 
   .map(lambda line: line.split(";")) \ 
   .map(lambda line: (line[0],line[3])) \ 
   .toDF()