我目前在一个实验室中使用 iPython Notebook 和 python 2.7 进行数据处理。我们处理由 285*384 像素相机拍摄的图片,不同的参数根据我们搜索观察的内容而变化。因此,我们需要处理大矩阵,并且随着数据处理的进行,矩阵分配的累积使得 RAM/swap 将被 fullfilled,所以我们不能再继续了。
典型的初始数据矩阵大小为 100*285*384*16。然后我们必须分配许多其他矩阵来计算这个矩阵对应的时间平均值(大小为 285*384*16,100 是时间维度),然后我们需要线性拟合数据所以我们有 2 100*285*384 *16 个矩阵(线性拟合所需的 2 个估计参数),计算这些拟合的平均值和标准差……等等。所以我们分配了很多导致 RAM/swap fullfilment 的大矩阵。此外,我们还展示了一些与这些矩阵相关的图片。 当然,随着数据处理的深入,我们可以释放矩阵,但我们需要能够更改代码并查看旧计算的结果,而无需重建所有代码(计算有时会很长)。所有的结果确实依赖于之前的结果,所以我们需要将数据保存在内存中。
我想知道是否有某种方法可以扩展交换内存(例如,在磁盘的“物理”内存上)或以更智能的编码方式以任何方式绕过我们的 RAM 限制。否则我会使用我的实验室研究所的一台服务器,它有 32 Go 的 RAM,但如果我们不能用我们自己的电脑来做,那将是时间和人体工程学的损失。崩溃发生在 Macintosh 和 Windows 中,由于 python 中 windows 的 RAM 的限制,我可能会在 linux 上尝试它,但我们计算机的 4Go RAM 在某些时候仍然会被填满。
我将非常感谢对此问题的任何帮助,此时我没有在网上找到任何答案。预先感谢您的帮助。
请您参考如下方法:
通过在 HDF5 中将图像存储到磁盘,您可以大大减少 RAM 需求。使用压缩格式 pytables .根据您的特定数据,与全内存方法相比,您可以获得显着的性能。
诀窍是使用极快的速度 blosc压缩包含在 pytables 中。
例如,此代码使用 blosc 压缩创建一个包含多个 numpy 数组的文件:
import tables
import numpy as np
img1 = np.arange(200*300*100)
img2 = np.arange(200*300*100)*10
h5file = tables.open_file("image_store.h5", mode = "w", title = "Example images",
filters=tables.Filters(complevel=5, complib='blosc'))
h5file.create_carray('/', 'image1', obj=img1, title = 'The image number 1')
h5file.create_carray('/', 'image2', obj=img2, title = 'The image number 2')
h5file.flush() # This makes sure everything is flushed to disk
h5file.close() # Closes the file, previous flush is redundant here.
下面的代码片段将两个数组加载回 RAM:
h5file = tables.open_file("image_store.h5") # By default it is a read-only open
img1 = h5file.root.image1[:] # Load in RAM image1 by using "slicing"
img2 = h5file.root.image2.read() # Load in RAM image1
最后,如果单个数组太大而无法放入 RAM,您可以使用传统的切片表示法逐 block 保存和读取它。您在磁盘上创建一个具有预设大小和类型的(分块的)pytables 数组,然后以这种方式填充 block :
h5file.create_carray('/', 'image_big', title = 'Big image',
atom=tables.Atom.from_dtype(np.dtype('uint16')),
shape=(200, 300, 400))
h5file.root.image_big[:100] = 1
h5file.root.image_big[100:200] = 2
h5file.flush()
请注意,这次您没有向 pytables(obj 关键字)提供 numpy 数组,而是创建了一个空数组,因此您需要指定形状和类型(atom)。
有关更多信息,您可以查看官方 pytables 文档:
