Skip to main content
 首页 » 编程设计

python之SciPy 网格数据中的内存泄漏(版本 0.12.0)

2024年11月01日13linjiqin

我在一个循环中使用 scipy.interpolate.griddata,它导致 Python 在每个循环中积累内存。这是在 Mac OS X 10.6.8 上使用 Python 2.7.5 和 SciPy 0.12.0(通过 Macports 安装)。

下面这段代码改编自 scipy.interpolate.griddata 引用指南,说明了我的观点。

import numpy as np 
from scipy.interpolate import griddata 
 
def func(x, y): 
    return x*(1-x)*np.cos(4*np.pi*x) * np.sin(4*np.pi*y**2)**2 
 
grid_x, grid_y = np.mgrid[0:1:100j, 0:1:200j] 
points = np.random.rand(1000, 2) 
values = func(points[:,0], points[:,1]) 
 
for t in xrange(10000): 
    griddata(points, values, (grid_x, grid_y), method='nearest') 
    griddata(points, values, (grid_x, grid_y), method='linear') 
    griddata(points, values, (grid_x, grid_y), method='cubic') 

随着我增加循环,Python 将消耗更多内存。

loop      memory 
1        48.4 MB 
10       52.7 MB 
100      94.6 MB 
1000    500.9 MB 

我不确定这是否是 griddata 的预期行为,我也不确定这不会发生在过去版本的 SciPy 中。根据this question ,存在与 Cython 相关的内存泄漏(我使用的是版本 0.19.1),但它应该在 SciPy 0.12.0 的最终版本中得到解决。

对于如何解决或解决此问题的任何建议,或者如果我做错了什么,我非常感谢任何建议。如果您需要更多信息,请告诉我。

请您参考如下方法:

如果仍然重要,问题是 scipy 0.12.0 和 0.12.1 可能已经发布,而没有对相关文件进行 cython 重新编译。

所以以下对我有用:

首先将 cython 更新到最新版本 0.19.2,然后从源代码重新编译 scipy(但那些来自 github,而不是来自 .tar.gz):

git clone https://github.com/scipy/scipy.git 
cd scipy 
git checkout maintenance/0.12.x 
python setup.py build 
cd .. 
pip install -U ./scipy 

然后帖子中的示例可以正常工作而不会泄漏。

更新:实际上我已经意识到错误地做了/0.13.x 分支 -/0.12.x 仍然显示内存泄漏......