我需要隐藏 Spark 数据框的一列以列出以后用于 matplotlib
df.toPandas()[col_name].values.tolist()
看起来这个操作需要大约 18 秒的高性能开销 有没有其他方法可以做到这一点或提高性能？
请您参考如下方法:
你可以这样做:
>>> [list(row) for row in df.collect()]
例子:
>>> d = [['Alice', 1], ['Bob', 2]]
>>> df = spark.createDataFrame(d, ['name', 'age'])
>>> df.show()
+-----+---+
|姓名|年龄|
+-----+---+
|爱丽丝| 1|
|鲍勃| 2|
+-----+---+
>>> to_list = [list(row) for row in df.collect()]
打印列表
结果:[[u'Alice', 1], [u'Bob', 2]]
