Skip to main content
 首页 » 编程设计

Python 列表太大,无法删除

2024年11月01日8Free-Thinker

我有一个生成“事件”的迭代器/生成器。事件由名称、时间戳和值组成。我想将它们存储在 NumPy 数组中。 这是在 _LoadTriples() 中完成的:

def _LoadTriples(abortEvt, count=[1]): 
    it = _YieldTriples() 
    while True: 
        if abortEvt.is_set(): 
            it.close() 
            break 
        t0 = time.time() 
        self.allEvents.append(np.fromiter(it, 
                                      dtype=[('sigNameIdx', 'i'), 
                                             ('time', 'f'), 
                                             ('value', 'f8')], 
                                      count=count[-1])) 
        dur = time.time() - t0 
        if dur < 0.2: 
            count.append(count[-1]*2) 
        elif dur > 0.4 and count[-1] != 1: 
            count.append(count[-1]/2) 
        else: 
            count.append(count[-1]) 

_YieldTriples 是生成器,abortEvt 是告诉我用户何时中止迭代的事件。 self.allEvents 是一个空列表。在这里,我想用三元组 (name, timestamp, value) 附加 NumPy 数组。 这是一个数组列表,因为我想有可能中断迭代,但我不能中断 numpy.fromiter。因此,每隔大约 0.3 秒我就可以停止迭代。

一切正常。 但是,在一个示例中,Python 很快用完了列表的 300MB 内存!当我停止迭代时,我的列表最多只需要 10 MB,这取决于我停止它的时间,但是在几次调用 self.allEvents.append(np.fromiter(...)) 之后,300MB 是使用过,我完全不知道为什么。

此外,在我停止整个程序之前,即使我在调用该函数后直接删除了 self.allEvents,也不会释放此内存。一定有一些引用资料阻止我发布它。有什么方法可以查看哪些对象引用了列表?

还有一件事要提到:该函数作为一个新的 threading.Thread 被调用,但是主线程等待它...

编辑:我没有提到,一旦 300MB 被使用,随着列表的增长不再分配内存。看起来列表在一些追加之后保留了这个内存。

请您参考如下方法:

你应该尝试:

def _LoadTriples(abortEvt, count=None): 
    if count is None: 
        count = [1] 
    ... 

可变的默认参数会很快导致问题。