如何将 PySpark DataFrame 保存为真实的 JSON 文件？
按照文档，我试过了
df.write.json('myfile.json')
它可以工作，但是它将文件保存为一系列字典，每行一个，这不能被正确读取
import json
d = json.load(open('myfile.json'))
我希望文件包含字典列表。有办法吗？
请您参考如下方法:
有办法吗？不是真的，或者至少不是以一种优雅的方式。您可以将数据转换为 Python RDD、计算分区统计信息并手动构建完整的文档，但这看起来像是在浪费时间。
如果你想获得 dicts 的 list 只需逐行解析文件(-s):
with open('myfile.json') as fr:
dicts = [json.loads(line) for line in fr]
