Skip to main content
 首页 » 编程设计

Python heapy 显示持续的内存使用情况,尽管 60GB 的内存在 10 分钟内耗尽

2025年02月15日10tintown

我正在运行一个 tensorflow 模型,该模型在处理大图像时大约 10 分钟内耗尽 60G RAM。

我已经运行 Heapy 以尝试确定泄漏,但 Heapy 仅显示 90M 的内存使用量并且保持不变。

我注意到这篇文章:Python process consuming increasing amounts of system memory, but heapy shows roughly constant usage

这表明问题可能出在带有内存碎片的 python(这里是 2.7)中。但这听起来不像是对这种情况的合理解释。

  • 我有 2 个 python 队列。在一个中,我从磁盘读取图像并加载它 使用线程到 raw 队列。
  • 在另一个线程中,我读取了 raw 队列、预处理并加载它 进入就绪队列。
  • 在我的主线程中,我从 ready 队列中绘制一批 8 张图像,并通过 tensorflow 训练运行它们。
  • 对于每批 8 张图像(每张约 25MB numpy 矩阵),我应该在任何给定时间在当前处理和两个队列之间保留至少 24 * 25MB 的内存。但是heapy只显示90M的消费。

所以 heapy 无法看到至少 600M 的内存,我知道在任何给定时刻必须保留。

因此,如果 heapy 看不到我所知道的内存,我就不能相信它会看到泄漏在哪里。按照它泄漏的速度,几乎可以肯定是图像批处理导致了它。

我在 python 中使用 threading 模块来启动加载程序和预处理器线程。我试过从线程代码和主代码中调用 print h.heap(),结果都一样。

请您参考如下方法:

我意外地得到了一个无界的 python Queue。简单的修复。奇怪的是 heapy 没有显示队列分配的内存。好吧,memory_profiler 做到了,因此我找到了这个问题。

如果 heapy 说“嘿,这个 Queue 对象使用的内存比您预期的要多,那肯定是一件很美好的事情。”