Skip to main content
 首页 » 编程设计

python之将 json_normalize 用于带有列表的结构化多级字典

2025年01月19日7xiaohuochai

我已经使用以下迭代方法:

for k, v in enumerate(my_request['content']): 
    for k1, v1 in enumerate(v['data']['score']): 
        df.loc[len(df)] = [v['tag_id'], v1['time'], v1['value']] 

然而,虽然这最终达到了预期的结果,但它需要花费大量时间来遍历具有相同结构的较大文件。我假设迭代方法不是解决此类问题的理想方法。使用 pandas.io.json.json_normalize 代替,我尝试了以下操作:

result = json_normalize(my_request, ['content'], ['data', 'score', ['time', 'value']]) 

返回 KeyError: ("Try running with errors='ignore' as key %s is not always present", KeyError('data',))。我相信我误解了关于 json_normalize 的 pandas 文档,并且不太清楚我应该如何传递参数。

谁能指出我正确的方向?

(或者使用 errors='ignore' 返回 ValueError: Conflicting metadata name data, need distinguishing prefix .)

JSON 结构

 {   
   'content':[   
      {   
         'data':{   
            'score':[   
               {   
                  'time':'2015-03-01 00:00:30', 
                  'value':75.0 
               }, 
               {   
                  'time':'2015-03-01 23:50:30', 
                  'value':58.0 
               } 
            ] 
         }, 
         'tag_id':320676 
      }, 
      {   
         'data':{   
            'score':[   
               {   
                  'time':'2015-03-01 00:00:25', 
                  'value':78.0 
               }, 
               {   
                  'time':'2015-03-01 00:05:25', 
                  'value':57.0 
               } 
            ] 
         }, 
         'tag_id':320677 
      } 
   ], 
   'meta':None, 
   'requested':'2018-04-15 13:00:00' 
} 

请您参考如下方法:

However, while this ultimately achieves the desired result, it takes a huge amount of time to iterate through larger files with the same structure.

我建议如下:

  1. 检查问题是否与您的迭代追加有关。 Pandas 不太擅长按顺序添加行。这段代码怎么样:

    tups = [] 
    for k, v in enumerate(my_request['content']): 
        for k1, v1 in enumerate(v['data']['score']): 
            tups.append(v['tag_id'], v1['time'], v1['value']) 
    df = pd.DataFrame(tups, columns=['tag_id', 'time', 'value]) 
    
  2. 如果前面的速度不够快,请检查它是否是 JSON 解析部分

    for k, v in enumerate(my_request['content']): 
        for k1, v1 in enumerate(v['data']['score']): 
            v['tag_id'], v1['time'], v1['value'] 
    

    很可能 1. 会足够快。但是,如果不是,请检查是否 ujson对于这种情况可能会更快。