Skip to main content
 首页 » 编程设计

python之在Sage中使用Python的pickle导致内存占用过高

2024年11月01日11wuhuacong

我正在使用基于 Python 的 Sage Mathematics 软件创建一个很长的向量列表。该列表包含大约 100,000,000 个元素,sys.getsizeof() 告诉我它的大小略小于 1GB。

我将这个列表放入一个文件中(这已经花费了很长时间——但很公平)。只有当我解开这个列表时,它才会变得烦人。 RAM 使用量从 1.15GB 增加到 4.3GB,我想知道这是怎么回事?

我如何在 Sage 中找出所有内存的用途?你有什么想法可以通过应用 Python 技巧来优化它吗?


这是对 kcrisman 评论的回复。

我无法发布确切的代码,因为它太长了。但这里有一个简单的例子,可以观察到现象。我正在使用 Linux 3.2.0-4-amd64 #1 SMP Debian 3.2.51-1 x86_64 GNU/Linux。

启动Sage并执行:

import pickle 
L = [vector([1,2,3]) for k in range(1000000)] 
f = open("mylist", 'w') 
pickle.dump(L, f) 

在我的系统上,列表有 8697472 字节大,我 pickle 到的文件大约有 130MB。现在关闭 Sage 并观察您的内存(例如使用 htop)。然后执行以下几行:

import pickle 
f = open("mylist", 'r') 
pickle.load(f) 

没有 sage,我的 Linux 系统使用 1035MB 内存,当 Sage 运行时,使用量增加到 1131MB。在我解开该文件后,它使用了 2535MB,我觉得这很奇怪。

请您参考如下方法:

最好不要直接使用 python 的 pickle 模块。 cPickle 已经好一点了,但是 sage 中的很多 pickle 都假定协议(protocol) 2,而 (c)Pickle 并没有默认协议(protocol) 2。您可以使用鼠尾草自己的泡菜 wrapper 。如果我用

做你的例子
sage: open("mylist",'w').write(dumps(L)) 

然后通过

在新的 session 中加载它
sage: L = loads(open("mylist",'r').read()) 

我没有发现任何问题。

请注意,上面的接口(interface)并不是在 sage 中 pickle/unpickle 到文件的最佳接口(interface)。您最好使用 save/load。我这样做只是为了尽可能接近您的示例。