Skip to main content
 首页 » 编程设计

python之python 中大小为 150 000 的数组的内存错误

2025年02月15日7lyj

我试图找出 2 个不同 numpy 数组(大小:1 X 150000)的每对元素之间的差异。这是我使用的代码:

#the input numpy array are a and b 
c = a - b.reshape((-1,1)) 
 
#For an array say a=np.array([1,2,7,6]) and b=np.array([1,2,7,6]) 
# c = array([[ 0,  2,  6,  5], 
   [-2,  0,  4,  3], 
   [-6, -4,  0, -1], 
   [-5, -3,  1,  0]]) 

我明白为什么使用这段代码会出现内存错误。如何更新代码以免出现错误?

我尝试使用 itertools combinations_with_replacement 但仍然无法获得所需的结果。

请您参考如下方法:

您正在尝试创建一个 150000 x 150000 数组。我不确定您使用的是哪种数据类型,但如果是 int32(每个数字 4 个字节)并且忽略了您尝试分配的数组的开销:

>>> 150000 * 150000 * 4  # bytes 
90000000000 

转化为

>>> 150000 * 150000 * 4 / 1024 / 1024 / 1024  # Gigabytes 
83.82 

因此,如果您没有 84GB 的(免费)RAM,您将在该操作中遇到 MemoryError。

使用 itertools 情况更糟,因为您需要一个列表,其中每个元素包含一个指针(在 64 位计算机上已经是 8 字节)并且根据您的 python 版本和计算机,每个整数需要 ~20-30字节数:

>>> import sys 
>>> sys.getsizeof(1) 
28 

基本上这会导致 RAM 需求:

>>> (28 + 8) * 150000 * 150000  # bytes 
810000000000 
>>> (28 + 8) * 150000 * 150000 / 1024 / 1024 / 1024  # Gigabytes 
754.37 

如果您有足够的硬盘存储空间,您可以尝试计算从一个数组的每个点到另一个数组中的所有点的距离,然后将其保存到磁盘,然后转到第一个数组中的下一个点并计算到第二个数组中所有点的所有距离,依此类推。但是,根据您存储值的方式(例如,如果您将它们保存为 txt 格式),您可能会消耗更大的内存。但这只允许您计算距离 - 您将无法将所有值保存在 RAM 中。

MemoryError 最直接的解决方案是购买更多 RAM(您可以根据上述数字计算需要多少)。如果那不是一个选项,您需要改变您的方法。