我创建了一个包含 1000 个组的数据集,每个组包含 1300 个不同长度的 uint8 数组(尽管每个数组都有固定大小)。键是大约 10 个字符的字符串。我不会在保存时尝试做任何棘手的事情(没有分块、压缩等——数据已经被压缩)。
第一次运行脚本时遍历所有键的速度非常慢,但第二次运行速度明显加快(相同的脚本,稍后调用的不同进程),所以我怀疑不知何故涉及一些缓存。一段时间后,性能重置到糟糕的水平,直到我再次等待它结束。
有没有办法存储数据来缓解这个问题?或者我能以某种不同的方式阅读它吗?
要保存的简化代码
with h5py.File('my_dataset.hdf5', 'w') as fp:
for k0 in keys0:
group = fp.create_group(k0)
for k1, v1 in get_items(k0):
group.create_dataset(k1, data=np.array(v1, dtype=np.uint8))
简化的 key 访问代码:
with h5py.File('my_dataset.hdf5', 'r') as fp:
keys0 = fp.keys()
for k0 in keys0:
group = fp[k0]
n += len(tuple(group.keys())
如果我在“慢速阶段”跟踪此脚本的进度,每次迭代几乎需要一秒钟。但是,如果我在 100 步之后将其终止,那么下次我运行该脚本时,前 100 步的总运行时间不到 1 秒,然后性能会回落到爬行状态。
请您参考如下方法:
虽然我仍然不确定为什么这仍然很慢,但我找到了一个解决方法:将每个子组合并到一个 dataset
with h5py.File('my_dataset.hdf5', 'w') as fp:
for k0 in keys0:
subkeys = get_subkeys(k0)
nk = len(subkeys)
data = fp.create_dataset(
'data', shape=(nk,),
dtype=h5py.special_dtype(vlen=np.dtype(np.uint8)))
keys = fp.create_dataset('keys', shape=(nk,), dtype='S32')
for i, (k1, v1) in enumerate(get_items(k0)):
keys[i] = k1
data[i] = v1
