<分区> 分区>
我正在阅读一个 xml 格式的大型文本语料库,并将一些单词出现的次数存储在字典中,其中一个键是三个元素的元组 {('a','b','c'): 1}。该字典的大小不断增长,同时其值得到更新。 在将字典写入 hdf 文件之前,我需要一直将字典保存在内存中 ~25GB。
我试图找到一些有关哪些数据类型可以真正反射(reflect)当前字典结构的信息,但没有找到任何具体答案。我最关心的是内存大小。 python 中是否有任何数据结构可以减轻这些限制?我读过 pyjudy库,但看起来它是 32 位的,几乎不再开发了。如果有任何建议,我将不胜感激。
