我有一个要保存到磁盘的树数据结构。因此,具有内部树结构的 HDF5 似乎是完美的候选者。然而,到目前为止,数据开销很大,是原来的 100 倍!
测试树包含大约 100 个节点,其中叶子通常包含不超过 2 或 3 个数据项(如 double )。如果我把整棵树拿来腌制,它大约有 21kB 大。然而,如果我使用 PyTables 并将树结构一对一映射到 HDF5 文件,该文件将占用 2.4MB (!) 磁盘空间。开销有那么大吗?
问题是开销似乎不是恒定的,而是随着我的树数据的大小线性扩展(以及节点随着每片叶子数据的增加而增加,即扩大叶子表的行)。
我是否遗漏了有关 PyTables 的某些内容,例如启用压缩(我认为 PyTables 默认执行此操作)?造成这种巨大开销的原因可能是什么?
非常感谢!
请您参考如下方法:
好的,所以我找到了一种大幅减小文件大小的方法。关键是,尽管我之前相信,PyTables 默认情况下不应用压缩。
您可以通过使用 Filters 来实现这一点。
这是一个如何工作的例子:
import pytables as pt
hdf5_file = pt.openFile(filename = 'myhdf5file.h5',
mode='a',
title='How to compress data')
# for pytables >= 3 the method is called `open_file`,
# other methods are renamed analogously
myfilters = Filters(complevel=9, complib='zlib')
mydescitpion = {'mycolumn': pt.IntCol()} # Simple 1 column table
mytable = hdf5_file.createTable(where='/', name='mytable',
description=mydescription,
title='My Table',
filters=myfilters)
#Now you can happily fill the table...
这里重要的一行是 Filters(complevel=9, complib='zlib')。它指定了 压缩级别 complevel 和压缩算法 complib。默认情况下,级别设置为 0,这意味着禁用压缩,而 9 是最高压缩级别。有关压缩工作原理的详细信息:HERE IS A LINK TO THE REFERENCE .
下次,我最好坚持使用 RTFM :-)(虽然我做了,但我错过了“PyTables 的优点之一是它支持对表和数组进行压缩,尽管默认情况下不使用”这一行)
