Skip to main content
 首页 » 编程设计

Python/PySpark 解析带有编号属性的 JSON 字符串

2024年11月24日26dudu

我需要以不同于纯文本的某种文件格式(例如:parquet)存储如下所示的 JSON 字符串:

{ 
  "vidName": "Foo", 
  "vidInfo.0.size.length": 10, 
  "vidInfo.0.size.width": 10, 
  "vidInfo.0.quality": "Good", 
  "vidInfo.1.size.length": 7, 
  "vidInfo.1.size.width": 3, 
  "vidInfo.1.quality": "Bad", 
  "vidInfo.2.size.length": 10, 
  "vidInfo.2.size.width": 2, 
  "vidInfo.2.quality": "Excelent" 
} 

vidInfo 的索引没有已知的界限(可以是 10、20)。因此,我想要么将 vidInfos 放在一个数组中,要么将此类 JSON 对象分解为多个较小的对象。

我发现了这个问题:PHP JSON parsing (number attributes?) 但它是用 PHP 编写的,我不太了解。而且我不确定它是否与我需要的相同。

中间数据应该是这样的:

{ 
  "vidName": "Foo", 
  "vidInfo": [ 
    { 
      "id": 0, 
      "size": { 
        "length": 10, 
        "width": 10 
      }, 
      "quality": "Good" 
    }, 
    { 
      "id": 1, 
      "size": { 
        "length": 7, 
        "width": 3 
      }, 
      "quality": "Bad" 
    }, 
    { 
      "id": 2, 
      "size": { 
        "length": 10, 
        "width": 2 
      }, 
      "quality": "Excelent" 
    } 
  ] 
} 

或者像这样:

{ 
  "vidName": "Foo", 
  "vidInfo": [ 
    { 
      "size": { 
        "length": 10, 
        "width": 10 
      }, 
      "quality": "Good" 
    }, 
    { 
      "size": { 
        "length": 7, 
        "width": 3 
      }, 
      "quality": "Bad" 
    }, 
    { 
      "size": { 
        "length": 10, 
        "width": 2 
      }, 
      "quality": "Excelent" 
    } 
  ] 
} 

我卡住了,需要一些提示才能继续。 能否请你帮忙? 非常感谢您的帮助。

请您参考如下方法:

我找到了这个图书馆 https://github.com/amirziai/flatten哪个有用。

In [154]: some_json = { 
 ...:   "vidName": "Foo", 
 ...:   "vidInfo.0.size.length": 10, 
 ...:   "vidInfo.0.size.width": 10, 
 ...:   "vidInfo.0.quality": "Good", 
 ...:   "vidInfo.1.size.length": 7, 
 ...:   "vidInfo.1.size.width": 3, 
 ...:   "vidInfo.1.quality": "Bad", 
 ...:   "vidInfo.2.size.length": 10, 
 ...:   "vidInfo.2.size.width": 2, 
 ...:   "vidInfo.2.quality": "Excelent" 
 ...: } 
 
In [155]: some_json 
Out[155]: 
{'vidName': 'Foo', 
 'vidInfo.0.size.length': 10, 
 'vidInfo.0.size.width': 10, 
 'vidInfo.0.quality': 'Good', 
 'vidInfo.1.size.length': 7, 
 'vidInfo.1.size.width': 3, 
 'vidInfo.1.quality': 'Bad', 
 'vidInfo.2.size.length': 10, 
 'vidInfo.2.size.width': 2, 
 'vidInfo.2.quality': 'Excelent'} 
 
In [156]: from flatten_json import unflatten_list 
     ...: import json  
     ...: nested_json = unflatten_list(json.loads(json.dumps(some_json)), '.') 
 
In [157]: nested_json 
Out[157]: 
{'vidInfo': [{'quality': 'Good', 'size': {'length': 10, 'width': 10}}, 
  {'quality': 'Bad', 'size': {'length': 7, 'width': 3}}, 
  {'quality': 'Excelent', 'size': {'length': 10, 'width': 2}}], 
 'vidName': 'Foo'}