Skip to main content
 首页 » 编程设计

python之H5PY键读取速度慢

2024年12月31日9zhenyulu

我创建了一个包含 1000 个组的数据集,每个组包含 1300 个不同长度的 uint8 数组(尽管每个数组都有固定大小)。键是大约 10 个字符的字符串。我不会在保存时尝试做任何棘手的事情(没有分块、压缩等——数据已经被压缩)。

第一次运行脚本时遍历所有键的速度非常慢,但第二次运行速度明显加快(相同的脚本,稍后调用的不同进程),所以我怀疑不知何故涉及一些缓存。一段时间后,性能重置到糟糕的水平,直到我再次等待它结束。

有没有办法存储数据来缓解这个问题?或者我能以某种不同的方式阅读它吗?

要保存的简化代码

with h5py.File('my_dataset.hdf5', 'w') as fp: 
    for k0 in keys0: 
        group = fp.create_group(k0) 
        for k1, v1 in get_items(k0): 
            group.create_dataset(k1, data=np.array(v1, dtype=np.uint8)) 

简化的 key 访问代码:

with h5py.File('my_dataset.hdf5', 'r') as fp: 
    keys0 = fp.keys() 
    for k0 in keys0: 
        group = fp[k0] 
        n += len(tuple(group.keys()) 

如果我在“慢速阶段”跟踪此脚本的进度,每次迭代几乎需要一秒钟。但是,如果我在 100 步之后将其终止,那么下次我运行该脚本时,前 100 步的总运行时间不到 1 秒,然后性能会回落到爬行状态。

请您参考如下方法:

虽然我仍然不确定为什么这仍然很慢,但我找到了一个解决方法:将每个子组合并到一个 dataset

with h5py.File('my_dataset.hdf5', 'w') as fp: 
    for k0 in keys0: 
        subkeys = get_subkeys(k0) 
        nk = len(subkeys) 
        data = fp.create_dataset( 
            'data', shape=(nk,), 
             dtype=h5py.special_dtype(vlen=np.dtype(np.uint8))) 
        keys = fp.create_dataset('keys', shape=(nk,), dtype='S32') 
        for i, (k1, v1) in enumerate(get_items(k0)): 
            keys[i] = k1 
            data[i] = v1