Skip to main content
 首页 » 编程设计

python之PyTables 和 HDF5 : Massive overhead for tree data

2025年05月04日7Terrylee

我有一个要保存到磁盘的树数据结构。因此,具有内部树结构的 HDF5 似乎是完美的候选者。然而,到目前为止,数据开销很大,是原来的 100 倍!

测试树包含大约 100 个节点,其中叶子通常包含不超过 2 或 3 个数据项(如 double )。如果我把整棵树拿来腌制,它大约有 21kB 大。然而,如果我使用 PyTables 并将树结构一对一映射到 HDF5 文件,该文件将占用 2.4MB (!) 磁盘空间。开销有那么大吗?

问题是开销似乎不是恒定的,而是随着我的树数据的大小线性扩展(以及节点随着每片叶子数据的增加而增加,即扩大叶子表的行)。

我是否遗漏了有关 PyTables 的某些内容,例如启用压缩(我认为 PyTables 默认执行此操作)?造成这种巨大开销的原因可能是什么?

非常感谢!

请您参考如下方法:

好的,所以我找到了一种大幅减小文件大小的方法。关键是,尽管我之前相信,PyTables 默认情况下不应用压缩。

您可以通过使用 Filters 来实现这一点。

这是一个如何工作的例子:

   import pytables as pt 
 
   hdf5_file = pt.openFile(filename = 'myhdf5file.h5',  
                           mode='a',  
                           title='How to compress data')  
   # for pytables >= 3 the method is called `open_file`,  
   # other methods are renamed analogously 
 
   myfilters = Filters(complevel=9, complib='zlib') 
 
   mydescitpion = {'mycolumn': pt.IntCol()} # Simple 1 column table 
 
   mytable = hdf5_file.createTable(where='/', name='mytable', 
                                     description=mydescription, 
                                     title='My Table', 
                                     filters=myfilters) 
   #Now you can happily fill the table... 

这里重要的一行是 Filters(complevel=9, complib='zlib')。它指定了 压缩级别 complevel 和压缩算法 complib。默认情况下,级别设置为 0,这意味着禁用压缩,而 9 是最高压缩级别。有关压缩工作原理的详细信息:HERE IS A LINK TO THE REFERENCE .

下次,我最好坚持使用 RTFM :-)(虽然我做了,但我错过了“PyTables 的优点之一是它支持对表和数组进行压缩,尽管默认情况下不使用”这一行)