Skip to main content
 首页 » 编程设计

python之如何分割成 block (子矩阵),或处理一个巨大的矩阵,在 numpy 上给出内存错误

2024年11月24日1498°冷暖

我有一个非常大的矩阵,不能简单地放入内存。我必须使用的矩阵具有 483798149136 元素,这意味着 4830 亿个 float 。

我考虑的方法是以某种方式将这个巨大的矩阵拆分成适合内存的不同子矩阵,执行 pooling对这些子矩阵进行操作,然后将它们全部连接起来以重建原始矩阵,希望在所有池化操作之后适合内存。

如果我错了请指正,这个方法只是我想出来的,它的好坏我不知道。如果您有任何更好的替代想法,我愿意接受任何建议。

重现这个矩阵的代码是:

a = np.arange(695556).reshape(834,834) 
np.meshgrid(a,a) 

我一直在读this发布和this在同一个网站上发帖,但没有一个为这类问题提供真正的解决方案,他们只是给出模糊的建议。

我现在的问题是:

  1. 我的拆分和合并方法是否可行,或者还有其他更好的方法吗?

  2. 我如何(在代码方面)将这个矩阵拆分成多个部分(如窗口或多维内核)并稍后重新构建它

  3. 有什么方法可以在 numpy 中以 block 的形式处理矩阵,以使用矩阵层执行运算,如乘法、加法等...

  4. Python中有专门的包可以帮助处理这类矩阵问题吗

编辑

由于一些用户问我整个操作的目标,我将提供一些信息:

我正在从事一些 3D 打印项目。在此过程中,有激光束熔化金属粉末以制造复杂的金属件。在这个零件中有层,激光逐层熔化金属。

我有 3 个 csv 文件,每个文件包含一个 834 x 834 的矩阵。第一个矩阵包含激光束穿过粉末床并熔化金属时 X 轴的坐标值,第二个矩阵与Y 轴,第三个矩阵表示激光在同一像素点熔化的时间。这些值以秒为单位。

所以我有激光通过 X 和 Y 轴的坐标,以及熔化每个点所需的时间。

该矩阵来自每个制造件的截面图像。

问题在于某个像素的温度和激光停留在该像素的时间会影响激光到达该像素时的第 n 个像素。所以我想创建一个距离矩阵,告诉我图像的每个像素之间的欧几里得距离有何不同或相似。

这就是为什么如果我有例如 2 834 x 834 矩阵,我需要创建一个 695556 x 695556 矩阵,矩阵中每个点之间的距离。这就是为什么如此巨大并且无法放入内存的原因。

不知道是我给的信息太多了,还是解释的乱七八糟。你可以问任何你需要的,我会尽力澄清,但要点是我需要创建这个巨大的距离矩阵,以便了解像素之间的数学距离,然后了解像素之间发生的事情之间的关系打印时零件的某些点以及在其他点需要发生什么以避免制造缺陷。

非常感谢您

请您参考如下方法:

毕竟,我找到了解决问题的方法。使用 dask 可以轻松处理这个巨大的矩阵. Dask 是一个 python 库,它允许分布式计算和数据划分成 block 以优化内存使用。它非常方便,因为它确实允许您以非常低的计算和内存成本处理字面意义上的大量数据,显然,它不如内存计算快,但我认为很多人会很高兴知道这一点。

这个包优化得很好,经常更新。最好的是它有 numpy/pandas sintax,它也以与数组相同的方式处理数据帧,如果你了解 pandas/numpy,你会感觉像在家里一样使用 dask。

你可以像这样创建一个 dask 分布式数组:

import numpy as np 
import dask.array as da 
 
Y = da.random.normal(size=(695556, 695556), 
                         chunks=(1000, 1000)) 

然后,您可以像这样对其执行一些操作:

y = Y.mean(axis=0)[0:100].compute() 

此外,如果您使用memory_profiler package您还可以监控您的内存和 CPU 使用情况,并查看您的海量数据在计算中消耗了多少内存。

我发现一些实际例子非常有说明性 here .

此外,可以在这个库中找到解释性数组作用域 here .

最后,关于 Python 3.X 中高性能计算的指南 here .

希望这对遇到同样问题的人有所帮助。