Skip to main content
 首页 » 编程设计

python之在具有不同数组形状的 Python/Numpy 中向量化三重 for 循环

2025年05月04日32qlqwjy

我是 Python/Numpy 的新手,正在尝试将我的三重 for 循环改进为更高效的计算,但无法安静地弄清楚如何去做。

计算是在大小为 (25,35) 的网格上进行的,数组的形状是:

 A = (8760,25,35) 
 B = (12,25,35) 

A 中的第一个维度对应于一年中的小时数 (~8760),B 中的第一个维度是月数 (12)。我想在第一个月使用 B[0,:,:] 中的值,在第二个月使用 B[1,:,:] 中的值,依此类推。

到目前为止,我以一种非常不完善的方式创建了一个索引数组,其中填充了 1,1,1...,2,2,2...,12 以从 B 中提取值。我的代码带有一些随机数数字

    N,M = (25, 35) 
    A = np.random.rand(8760,N,M) 
    B = np.random.rand(12,N,M) 
    q = len(A)/12 
    index = np.hstack((np.full((1,q),1),np.full((1,q),2),np.full((1,q),3),np.full((1,q),4),np.full((1,q),5),np.full((1,q),6),np.full((1,q),7),np.full((1,q),8),np.full((1,q),9),np.full((1,q),10),np.full((1,q),11),np.full((1,q),12)))-1 
    results = np.zeros((len(A),N,M)) 
 
    for t in xrange(len(A)): 
        for i in xrange(N): 
            for j in xrange(M): 
                results[t][i][j] = some_function(A[t][i][j], B[index[(0,t)]][i][j],H = 80.) 
 
 
    def some_function(A,B,H = 80.0): 
        results = A*np.log(H/B)/np.log(10./B) 
        return results 

如何提高这个计算的速度?

请您参考如下方法:

NumPy 支持 broadcasting这允许以高度优化的方式跨不同形状的数组执行元素操作。在您的情况下,A 和 B 中的行数和列数相同。但是,在第一维,这两个数组的元素数量不同。查看实现,似乎 B 的第一个维度元素按 q 编号重复,直到我们转到它的第一个维度中的下一个元素。这与 B 第一维元素数量是 q A 第一维元素数量的事实相吻合。

现在,回到广播,解决方案是拆分 A 的第一个维度以获得一个 4D 数组,这样我们在这个 reshape 的 4D 数组的第一维中的元素数量与 B 的第一维中的元素数量相匹配。接下来,通过使用 B[:,None,: ,:]。然后,NumPy 将使用广播魔法并执行广播元素乘法,就像我们在 some_function 中所做的那样。

这是使用 NumPy's broadcasting 的矢量化实现能力-

H = 80.0 
M,N,R = B.shape 
B4D = B[:,None,:,:] 
out = ((A.reshape(M,-1,N,R)*np.log(H/B4D))/np.log(10./B4D)).reshape(-1,N,R) 

运行时测试和输出验证 -

In [50]: N,M = (25, 35) 
    ...: A = np.random.rand(8760,N,M) 
    ...: B = np.random.rand(12,N,M) 
    ...: H = 80.0 
    ...:  
 
In [51]: def some_function(A,B,H = 80.0): 
    ...:     return A*np.log(H/B)/np.log(10./B) 
    ...:  
 
In [52]: def org_app(A,B,H): 
    ...:    q = len(A)/len(B) 
    ...:    index = np.repeat(np.arange(len(B))[:,None],q,axis=1).ravel()[None,:] # Simpler 
    ...:    results = np.zeros((len(A),N,M)) 
    ...:    for t in xrange(len(A)): 
    ...:        for i in xrange(N): 
    ...:            for j in xrange(M): 
    ...:                results[t][i][j] = some_function(A[t][i][j], B[index[(0,t)]][i][j]) 
    ...:    return results 
    ...:  
 
In [53]: def vectorized_app(A,B,H): 
    ...:    M,N,R = B.shape 
    ...:    B4D = B[:,None,:,:] 
    ...:    return ((A.reshape(M,-1,N,R)*np.log(H/B4D))/np.log(10./B4D)).reshape(-1,N,R) 
    ...:  
 
In [54]: np.allclose(org_app(A,B,H), vectorized_app(A,B,H)) 
Out[54]: True 
 
In [55]: %timeit org_app(A,B,H) 
1 loops, best of 3: 1min 32s per loop 
 
In [56]: %timeit vectorized_app(A,B,H) 
10 loops, best of 3: 217 ms per loop