我在使用 NumPy 时遇到内存和速度问题,但我的问题很简单。
A是一个由H * W整数组成的大型 NumPy 数组。V是一个包含大型数组A的NView 的列表,每个 View 都是相同的(Hv, Wv)形状。K是另一个列表,包含与 View 对应的N浮点权重。
Hv 是 Wv 几乎等于 H 和 W 但更小。作为NumPy views不是副本,这有利于内存管理,即使 N 很大。
现在,我想使用广播计算一个新数组以提高速度:B = V1*K 1 + ... + V N*K N
这将产生一个新的 Hv * Wv 加权数组。
问题是我不知道如何在不在内存中创建中间数组的情况下执行此类操作(当 View 乘以相应的权重时会发生这种情况)并且同时受益于广播操作。
import numpy as np
H = W = 1000
Hv = Wv = 900
N = 100
A = np.arange(H * W).reshape(H, W)
V = [A[i:Hv + i, i:Wv + i] for i in range(N)]
K = np.random.rand(N)
# It neither uses speed broadcast nor low memory!
B = sum(v*k for v, k in zip(V, K))
有人可以帮助我巧妙地使用 NumPy 吗?
请您参考如下方法:
我假设 V 是作为列表给出的,我们无权优化创建它或者只是不需要。所以,A 不在等式中,我们只剩下 V 和 K 来得到最终输出 B因此,剩下的就是优化最后一步。
要解决它,我们可以使用np.tensordot。取代和减少的最后一步,因为这基本上是矩阵乘法的和减少。在我们的例子中,我们正在减少从 K 开始的第一个轴,并沿着输入列表 V 的长度。在内部,NumPy 会将列表转换为 NumPy 张量数组,并且该长度将成为其数组版本的第一个轴。因此,我们将从这两个输入中减少第一个轴,因此实现将是 -
B = np.tensordot(K,V,axes=[0,0]) # `axes` indicates the axes to be sum-reduced
请注意,列表到 NumPy 数组的内部转换可能并不便宜,因此使用初始化作为 NumPy 数组创建 V 比在循环理解中创建更有意义将产生一个列表。
