在我的项目中,我定期使用 pickling 来表示持久化过程的内部状态。作为正常操作的一部分,对对象的引用被添加到多个其他对象或从多个其他对象中删除。
例如,Person 可能有一个名为 address_list(列表)的属性,其中包含表示他们试图出售的所有属性的 Address 对象。另一个对象 RealEstateAgent 可能有一个名为 addresses_for_sale 的属性(也是一个列表),它包含相同类型的 Address 对象,但只包含在其代理机构中列出的对象。
如果卖家将他们的属性(property)从市场上撤下或出售,地址将从两个列表中删除。
Persons 和 RealEstateAgents 都是用于 pickle 的中央对象(Masterlist)列表的成员。我的问题是,当我随着时间的推移反复添加和删除属性并 pickle Masterlist 对象时,pickle 文件的大小会增加,即使我删除(实际上删除)的属性比添加的属性多。我意识到,在 pickling Masterlist 中,有一个循环引用。我的应用程序中有很多循环引用。
我使用 pickletools.dis() 检查了 pickle 文件,虽然它很难被人阅读,但我看到了对已被删除的地址的引用。我确信它们已被删除,因为即使在 unpickling 之后,它们也不存在于各自的列表中。
虽然应用程序在 pickling/unpickling 之前和之后都能正常运行,但不断增长的文件大小是一个问题,因为该进程需要长时间运行,并且重新初始化它不是一种选择。
我的例子是概念性的,问起来可能有点牵强,但我想知道是否有人有过使用 pickle 处理垃圾回收问题的经验,当它们包含循环引用或任何其他可能指向正确方向的问题时调试这个。也许一些有用的工具。
非常感谢
请您参考如下方法:
您可能想试试 objgraph……它可以真正帮助您追踪内存泄漏和循环引用以及对象之间的指针关系。
我在调试 pickle 时使用它(在我自己的名为 dill 的 pickle 包中)。
此外,某些 pickle 对象会(沿着 pickle 链) pickle 全局变量,并且通常是 pickle 对象内循环引用的原因。
我在 dill 中也有一套 pickle 调试工具。请参阅 https://github.com/uqfoundation 处的 dill.detect ,其中有几种方法可用于诊断您要绑定(bind)到 pickle 的对象。例如,如果您设置 dill.detect.trace(True),它会在转储对象时打印出所有对 pickle 对象的内部调用。
