Skip to main content
 首页 » 编程设计

Python列表实现和pympler测量

2024年11月01日12zhwl

我需要解析文件 (~500 Mb) 并将其部分加载到 list,我不需要整个文件。

我有一种感觉,python 为 list 分配了比它包含的数据大小更多的内存。

我尝试使用 pympler 的 asizeof 来估计矫枉过正,但是它因 MemoryError 而失败,这对我来说很奇怪,我想如果我在内存中有一个 list asizeof 应该只是运行它来计算所有实体的大小和它。

然后我取出了初始文件的 block ,asizeof 显示给我的列表的大小让我感到震惊。列表大小是文件大小的三倍。

问题是 asizeof 给出的大小是否正确,在 python 中使用列表的更有效方法是什么。当 asizeof 因内存错误而失败时,如何检查更大列表的大小。

请您参考如下方法:

查看您用于读取/解析文件的代码以及如何调用 pympler.asizeof 会很有帮助。

asizeof 和 Pympler 中的所有其他工具都在分析过程中工作(使用 Python 的内省(introspection)工具来导航引用图)。这意味着在调整具有大量节点(对象)的引用图大小时,分析开销可能会成为一个问题 - 特别是如果您在开始分析之前内存已经紧张。请务必在调用 asizeof 时设置 all=False 和 code=False .无论如何,请file a bug on GitHub .也许在这种情况下可以避免内存不足。

据我所知,只要 sys.getsizeof 返回单个对象的正确大小(假设 Python >= 2.6).您可以在调用 asizeof 时设置 align=1 并查看数字是否更符合您的预期。

您还可以通过平台的工具或 pympler.process 检查流程的虚拟大小:

from pympler.process import ProcessMemoryInfo 
pmi = ProcessMemoryInfo() 
print ("Process virtual size [Byte]: " + str(pmi.vsz))  

此指标应始终高于 asizeof 在调整对象大小时报告的值。