如何使用 PySpark 读取以下 JSON 结构以激发数据帧？
我的 JSON 结构
{"results":[{"a":1,"b":2,"c":"name"},{"a":2,"b":5,"c":"foo"}]}
我试过:
df = spark.read.json('simple.json');
我希望输出 a、b、c 作为列，值作为相应的行。
谢谢。
请您参考如下方法:
Json 字符串变量
如果你有 json 字符串作为变量 那么你可以这样做
simple_json = '{"results":[{"a":1,"b":2,"c":"name"},{"a":2,"b":5,"c":"foo"}]}'
rddjson = sc.parallelize([simple_json])
df = sqlContext.read.json(rddjson)
from pyspark.sql import functions as F
df.select(F.explode(df.results).alias('results')).select('results.*').show(truncate=False)
这会给你
+---+---+----+
|a |b |c |
+---+---+----+
|1 |2 |name|
|2 |5 |foo |
+---+---+----+
Json 字符串作为文件中的单独行(sparkContext 和 sqlContext)
如果你有 json 字符串作为文件中的单独行 那么你可以使用 sparkContext 将其读入 rdd[string] 如上所述，其余过程相同如上
rddjson = sc.textFile('/home/anahcolus/IdeaProjects/pythonSpark/test.csv')
df = sqlContext.read.json(rddjson)
df.select(F.explode(df['results']).alias('results')).select('results.*').show(truncate=False)
Json 字符串作为文件中的单独行(仅限 sqlContext)
如果你有 json 字符串作为文件中的单独行 那么你可以只使用 sqlContext。但是这个过程很复杂，因为您必须为其创建架构
df = sqlContext.read.text('path to the file')
from pyspark.sql import functions as F
from pyspark.sql import types as T
df = df.select(F.from_json(df.value, T.StructType([T.StructField('results', T.ArrayType(T.StructType([T.StructField('a', T.IntegerType()), T.StructField('b', T.IntegerType()), T.StructField('c', T.StringType())])))])).alias('results'))
df.select(F.explode(df['results.results']).alias('results')).select('results.*').show(truncate=False)
应该给你和上面一样的结果
希望回答对你有帮助
