Skip to main content
 首页 » 编程设计

python之如何从每行都是字典的 RDD 创建 DataFrame

2024年11月24日8bonelee

我有一个 rdd,它的每一行都有字典,我想弄清楚如何将它转换为 PySpark 中的数据框。

如果我使用 .toDF(),我的列是错误的,因为字典可能会有所不同。有解决办法吗?

 {'user': 'A', 
  'rows': 214, 
  'date': '2018-12-18', 
  'date_x': '2018-12-18', 
  'error': 'None',} 
 {'user': 'B', 
  'rows': 1416, 
  'date': '2015-09-03', 
  'error': 'None', 
  'pollen': 't'}] 

我正在寻找创建数据框,它具有这两个字典中所有键的联合(null 出现在我们没有该用户值的行中。

请您参考如下方法:

你可以在spark中使用.json方法读取dict。

然后 spark 推断架构 并为其中没有值的行保留 null 值。

示例:

data=[{'user': 'A', 
  'rows': 214, 
  'date': '2018-12-18', 
  'date_x': '2018-12-18', 
  'error': 'None'}, 
 {'user': 'B', 
  'rows': 1416, 
  'date': '2015-09-03', 
  'error': 'None', 
  'pollen': 't'}] 
 
spark.read.json(spark.sparkContext.parallelize(data)).show() 

结果:

+----------+----------+-----+------+----+----+ 
|      date|    date_x|error|pollen|rows|user| 
+----------+----------+-----+------+----+----+ 
|2018-12-18|2018-12-18| None|  null| 214|   A| 
|2015-09-03|      null| None|     t|1416|   B| 
+----------+----------+-----+------+----+----+ 

检查架构:

spark.read.json(spark.sparkContext.parallelize(data)).printSchema() 
root 
 |-- date: string (nullable = true) 
 |-- date_x: string (nullable = true) 
 |-- error: string (nullable = true) 
 |-- pollen: string (nullable = true) 
 |-- rows: long (nullable = true) 
 |-- user: string (nullable = true)