我正在运行一个 tensorflow 模型,该模型在处理大图像时大约 10 分钟内耗尽 60G RAM。
我已经运行 Heapy 以尝试确定泄漏,但 Heapy 仅显示 90M 的内存使用量并且保持不变。
我注意到这篇文章:Python process consuming increasing amounts of system memory, but heapy shows roughly constant usage
这表明问题可能出在带有内存碎片的 python(这里是 2.7)中。但这听起来不像是对这种情况的合理解释。
- 我有 2 个 python 队列。在一个中,我从磁盘读取图像并加载它 使用线程到
raw队列。 - 在另一个线程中,我读取了
raw队列、预处理并加载它 进入就绪队列。 - 在我的主线程中,我从
ready队列中绘制一批 8 张图像,并通过 tensorflow 训练运行它们。 - 对于每批 8 张图像(每张约 25MB numpy 矩阵),我应该在任何给定时间在当前处理和两个队列之间保留至少 24 * 25MB 的内存。但是heapy只显示90M的消费。
所以 heapy 无法看到至少 600M 的内存,我知道在任何给定时刻必须保留。
因此,如果 heapy 看不到我所知道的内存,我就不能相信它会看到泄漏在哪里。按照它泄漏的速度,几乎可以肯定是图像批处理导致了它。
我在 python 中使用 threading 模块来启动加载程序和预处理器线程。我试过从线程代码和主代码中调用 print h.heap(),结果都一样。
请您参考如下方法:
我意外地得到了一个无界的 python Queue。简单的修复。奇怪的是 heapy 没有显示队列分配的内存。好吧,memory_profiler 做到了,因此我找到了这个问题。
如果 heapy 说“嘿,这个 Queue 对象使用的内存比您预期的要多,那肯定是一件很美好的事情。”
