我有一个 rdd,它的每一行都有字典,我想弄清楚如何将它转换为 PySpark 中的数据框。
如果我使用 .toDF(),我的列是错误的,因为字典可能会有所不同。有解决办法吗?
{'user': 'A',
'rows': 214,
'date': '2018-12-18',
'date_x': '2018-12-18',
'error': 'None',}
{'user': 'B',
'rows': 1416,
'date': '2015-09-03',
'error': 'None',
'pollen': 't'}]
我正在寻找创建数据框,它具有这两个字典中所有键的联合(null 出现在我们没有该用户值的行中。
请您参考如下方法:
你可以在spark中使用.json方法读取dict。
然后 spark 推断架构 并为其中没有值的行保留 null 值。
示例:
data=[{'user': 'A',
'rows': 214,
'date': '2018-12-18',
'date_x': '2018-12-18',
'error': 'None'},
{'user': 'B',
'rows': 1416,
'date': '2015-09-03',
'error': 'None',
'pollen': 't'}]
spark.read.json(spark.sparkContext.parallelize(data)).show()
结果:
+----------+----------+-----+------+----+----+
| date| date_x|error|pollen|rows|user|
+----------+----------+-----+------+----+----+
|2018-12-18|2018-12-18| None| null| 214| A|
|2015-09-03| null| None| t|1416| B|
+----------+----------+-----+------+----+----+
检查架构:
spark.read.json(spark.sparkContext.parallelize(data)).printSchema()
root
|-- date: string (nullable = true)
|-- date_x: string (nullable = true)
|-- error: string (nullable = true)
|-- pollen: string (nullable = true)
|-- rows: long (nullable = true)
|-- user: string (nullable = true)
