Skip to main content
 首页 » 编程设计

python之如何强制删除大对象

2025年05月04日9cmt

我知道这是一个反复出现的问题,但在我的案例中,我无法使用任何建议的解决方案有效地释放内存。所以这是我的代码:

from ete2 import Tree 
 
for i in i_iminus1_pool_dict.keys(): 
    Assignment_Tree = Tree() 
    Root = Assignment_Tree.get_tree_root() 
    Root.add_feature("name", i) 
    populate_tree() # this function extends the branches of the Tree and adds leaves 
    for leaf in Assignment_Tree.iter_leaves(): 
        chain = [] 
        score = leaf.dist 
        chain.append(leaf.name) 
        for ancestor in leaf.get_ancestors(): 
            chain.append(ancestor.name) 
        del chain 
        del ancestor 
        del leaf 
    del Assignment_Tree 
    gc.collect() 

Tree() 对象来自 ete2 包,当用 Twig 和树叶填充时会消耗大量内存。如您所见,我必须多次创建一个新的 Tree(),但是,删除和垃圾收集似乎并没有释放内存。谁能建议我还能做些什么来在 for 循环的每次迭代结束时有效地删除 Tree 对象?

请您参考如下方法:

首先,我不相信你真的有问题。但让我们假设您这样做。

Can anyone suggest what else I could do to effectively delete the Tree object at the end of each iteration of the for loop?

您可以尝试弄清楚是谁在保持对它的引用,并且 del 也是如此。我注意到您错过了 Root;我敢打赌它引用了 Tree 对象,或者它的大部分数据。

但最简单的方法是使用作用域。只需将循环体重构为一个函数,所有在循环内创建的变量都将成为函数内的局部变量,并在函数返回时全部消失:

def do_tree_stuff(i): 
    Assignment_Tree = Tree() 
    Root = Assignment_Tree.get_tree_root() 
    # ... 
    Root.add_feature("name", i) 
    populate_tree() # this function extends the branches of the Tree and adds leaves 
    for leaf in Assignment_Tree.iter_leaves(): 
        chain = [] 
        score = leaf.dist 
        chain.append(leaf.name) 
        for ancestor in leaf.get_ancestors(): 
            chain.append(ancestor.name) 
 
for i in i_iminus1_pool_dict.keys(): 
    do_tree_stuff(i) 

只要该函数不改变任何全局变量或闭包单元,它就不可能在调用者的局部变量中留下任何东西。因此,您无需尝试弄清楚哪些局部变量可能已被修改并 del 它们;你知道它们都没有被修改,你不需要做任何事情。

如果您想将内部循环重构为另一个函数,那就去做吧。


如果您保留了不应该保留的数据——即,该循环中的某些内容正在改变存在于循环之外的某些内容,该循环引用了叶,叶引用了根,根引用了整棵树——那么这实际上是一个问题,你需要修复它。但我在您发布的代码中看不到任何可能这样做的内容。


但与此同时,这仍然不会真正向操作系统释放内存。一旦 Python 分配了内存,它通常会保留它。但它会重用它。如果在创建第二棵树时第一棵树是垃圾,它会将第二棵树放在与第一棵树相同的内存中。这通常比到处调用 malloc 和 free 要好得多——但是,即使在极少数情况下,你也不能阻止 Python 这样做。

如果您确实确实需要重复分配和释放内存,您始终可以使用重构的函数并将其分离到子进程中,使用 multiprocessing .当一个进程消失时,它的所有内存都会消失。但最有可能的是,这只会增加开销而没有任何好处。