Skip to main content
 首页 » 编程设计

python之Pandas json_normalize 失败,JSON 中有空值

2024年12月31日12kuangbin

我有以下从外部网络服务获取的 json :

text=""" 
     [{ 
        "id":"1", 
         "name" : "abc", 
         "address":{ 
                    "flat":"123", 
                    "city":"paris", 
                    "street":null 
         }, 
         "error":null 
     }] 

现在我想从这个 json 创建数据框。当我在下面尝试时:

from pandas.io.json import json_normalize 
import json 
import pandas as pd 
 
resp_json = json.loads(text) 
response = json_normalize(resp_json) 

但这给了我以下错误:

响应错误 = json_normalize(resp_json) KeyError:“街道”

我相信这是因为 street 属性的值为空,这就是它抛出此错误的原因。如何解决?

如果我喜欢下面的内容,我可以解决,但理想情况下这不是正确的解决方案

text = text.replace('"street":null','"street":""') 

注意: - 当我使用 python verion 3.6.3::Anaconda Inc. 和 pandas version 0.20.3 时,我没有看到这个问题并且 json_normalize 能够正常工作。这是我的本地机器设置。

在生产机器上我们有 - Python - 3.5.1 和 pandas 0.23.0。我们遇到了上述问题。

请您参考如下方法:

这似乎是最新版本的 pandas 中的一个错误:

https://github.com/pandas-dev/pandas/issues/21158

我正在运行 pandas '0.23.0',我可以重现同样的错误。 您可以在 github 讨论线程中看到,当 null 值出现在大于 0 的嵌套级别上时,由于条件情况而出现错误。它似乎在两个月前发生了变化,似乎使它成为两周前进入 0.23.0 版本:

https://github.com/pandas-dev/pandas/commit/01882ba5b4c21b0caf2e6b9279fb01967aa5d650#diff-9c654764f5f21c8e9d58d9ebf14de86d

除了等待新版本发布或降级您的生产环境(这不是一个好主意,因为它很可能会破坏东西)之外,您可以考虑如何在您的环境中处理多个包版本。除非您创建不同的虚拟环境,否则 Pip 无法这样做,我相信 conda 也不是。如果你真的需要加载这样的文件,你可以做的是通过从 git 中克隆它作为一个临时的、hacky 的解决方案来加载 '0.22.0' 包作为本地模块 - 只是为了加载你的字典。但是当您加载 0.22.0 并尝试将其与 0.23.0 一起使用时,可能会出现一些数据帧 API 不一致。

毕竟您的字符串转换解决方案可能还不错。

祝你黑客愉快。