Skip to main content
 首页 » 编程设计

python之在 python 中处理大矩阵时减少 RAM 过载

2024年10月25日8傻小

我目前在一个实验室中使用 iPython Notebook 和 python 2.7 进行数据处理。我们处理由 285*384 像素相机拍摄的图片,不同的参数根据我们搜索观察的内容而变化。因此,我们需要处理大矩阵,并且随着数据处理的进行,矩阵分配的累积使得 RAM/swap 将被 fullfilled,所以我们不能再继续了。

典型的初始数据矩阵大小为 100*285*384*16。然后我们必须分配许多其他矩阵来计算这个矩阵对应的时间平均值(大小为 285*384*16,100 是时间维度),然后我们需要线性拟合数据所以我们有 2 100*285*384 *16 个矩阵(线性拟合所需的 2 个估计参数),计算这些拟合的平均值和标准差……等等。所以我们分配了很多导致 RAM/swap fullfilment 的大矩阵。此外,我们还展示了一些与这些矩阵相关的图片。 当然,随着数据处理的深入,我们可以释放矩阵,但我们需要能够更改代码并查看旧计算的结果,而无需重建所有代码(计算有时会很长)。所有的结果确实依赖于之前的结果,所以我们需要将数据保存在内存中。

我想知道是否有某种方法可以扩展交换内存(例如,在磁盘的“物理”内存上)或以更智能的编码方式以任何方式绕过我们的 RAM 限制。否则我会使用我的实验室研究所的一台服务器,它有 32 Go 的 RAM,但如果我们不能用我们自己的电脑来做,那将是时间和人体工程学的损失。崩溃发生在 Macintosh 和 Windows 中,由于 python 中 windows 的 RAM 的限制,我可能会在 linux 上尝试它,但我们计算机的 4Go RAM 在某些时候仍然会被填满。

我将非常感谢对此问题的任何帮助,此时我没有在网上找到任何答案。预先感谢您的帮助。

请您参考如下方法:

通过在 HDF5 中将图像存储到磁盘,您可以大大减少 RAM 需求。使用压缩格式 pytables .根据您的特定数据,与全内存方法相比,您可以获得显着的性能。

诀窍是使用极快的速度 blosc压缩包含在 pytables 中。

例如,此代码使用 blosc 压缩创建一个包含多个 numpy 数组的文件:

import tables 
import numpy as np 
 
img1 = np.arange(200*300*100) 
img2 = np.arange(200*300*100)*10 
 
h5file = tables.open_file("image_store.h5", mode = "w", title = "Example images", 
                          filters=tables.Filters(complevel=5, complib='blosc')) 
 
h5file.create_carray('/', 'image1', obj=img1, title = 'The image number 1') 
h5file.create_carray('/', 'image2', obj=img2, title = 'The image number 2') 
 
h5file.flush()  # This makes sure everything is flushed to disk 
h5file.close()  # Closes the file, previous flush is redundant here. 

下面的代码片段将两个数组加载回 RAM:

h5file = tables.open_file("image_store.h5")  # By default it is a read-only open 
 
img1 = h5file.root.image1[:]      # Load in RAM image1 by using "slicing" 
img2 = h5file.root.image2.read()  # Load in RAM image1 

最后,如果单个数组太大而无法放入 RAM,您可以使用传统的切片表示法逐 block 保存和读取它。您在磁盘上创建一个具有预设大小和类型的(分块的)pytables 数组,然后以这种方式填充 block :

h5file.create_carray('/', 'image_big', title = 'Big image', 
                     atom=tables.Atom.from_dtype(np.dtype('uint16')), 
                     shape=(200, 300, 400)) 
 
h5file.root.image_big[:100] = 1 
h5file.root.image_big[100:200] = 2 
 
h5file.flush() 

请注意,这次您没有向 pytables(obj 关键字)提供 numpy 数组,而是创建了一个空数组,因此您需要指定形状和类型(atom)。

有关更多信息,您可以查看官方 pytables 文档: