Skip to main content
 首页 » 编程设计

python之解析数据文件中的 json 对象的最佳方法

2025年04月02日15oomusou

我正在尝试设置一个简单的数据文件格式,并且我正在使用 Python 处理这些文件以进行分析。该格式基本上由标题信息和数据组成。出于语法和 future 可扩展性的原因,我想使用 JSON 对象作为 header 信息。示例文件如下所示:

{ 
  "name": "my material", 
  "sample-id": null, 
  "description": "some material", 
  "funit": "MHz", 
  "filetype": "material_data" 
} 
18  6.269311533 0.128658208 0.962033017 0.566268827 
18.10945274 6.268810641 0.128691962 0.961950095 0.565591807 
18.21890547 6.268312637 0.128725463 0.961814928 0.564998228... 

如果数据长度/结构始终相同,则不难解析。然而,它在我脑海中提出了一个问题,关于解析 JSON 对象的最灵活方法,给定未知数量的行和未知数量的嵌套花括号,并且文件中可能有多个 JSON 对象。

如果文件中只有一个JSON对象,可以使用这个正则表达式:

with open(fname, 'r') as fp: 
    fstring = fp.read() 
 
json_string = re.search('{.*}', fstring, flags=re.S) 

但是,如果有多个 JSON 字符串,并且我想抓取第一个,我需要使用这样的东西:

def grab_json(mystring): 
    lbracket = 0 
    rbracket = 0 
    lbracket_pos = 0 
    rbracket_pos = 0 
 
    for i in range(len(mystring)): 
        if mystring[i] == '{': 
            lbracket = 1 
            lbracket_pos = i 
            break 
 
    for i in range(lbracket_pos+1, len(mystring)): 
        if mystring[i] == '}': 
            rbracket += 1 
            if rbracket == lbracket: 
                rbracket_pos = i 
                break 
        elif mystring[i] == '{': 
            lbracket += 1 
 
    json_string = mystring[lbracket_pos : rbracket_pos + 1] 
    return json_string, lbracket_pos, rbracket_pos 
 
json_string, beg_pos, end_pos = grab_json(fstring) 

我一如既往地猜测这个问题:有没有更好的方法来做到这一点?更好的意思是更简单的代码、更灵活的代码、更健壮的代码,还是任何其他东西?

请您参考如下方法:

正如 Klaus 所建议的那样,最简单的解决方案就是对整个文件使用 JSON。这让您的生活变得更加简单,因为编写只是 json.dump 而阅读只是 json.load。

第二种解决方案是将元数据放在一个单独的文件中,以每个数据集的多个文件为代价保持读写简单。

第三种解决方案是,在将文件写入磁盘时,在前面加上 JSON 数据的长度。所以写作可能看起来像:

metadata_json = json.dumps(metadata) 
myfile.write('%d\n' % len(metadata_json)) 
myfile.write(metadata_json) 
myfile.write(data) 

然后阅读看起来像:

with open('myfile') as fd: 
  len = fd.readline() 
  metadata_json = fd.read(int(len)) 
  metadata = json.loads(metadata) 
  data = fd.read() 

第四种选择是采用现有的存储格式(可能是 hdf ?),该格式已经具有您正在寻找的将数据和元数据存储在同一文件中的功能。