Skip to main content
 首页 » 编程设计

python之有效地将大型 numpy 数组的切片复制到较小的连续内存数组

2024年10月25日11dflying

我需要尽可能高效地将切片从一个大型 numpy 数组复制到另一个较小的数组。最终,较小的数组将作为二维数组传递给 C 函数进行处理。因此,必须在连续的内存块中复制子数组数据。

在下面的示例中,我试图预先分配较小的数组 (aa) 以提高效率,但我认为这会在每次迭代进行复制之前生成一个新创建的数组。

import numpy as np 
 
M=1024 
N=8 
a = np.zeros((2,M),dtype=np.float32,order='C') 
aa = np.zeros((2,N),dtype=np.float32,order='C') 
for n in xrange(M/N): 
    aa = a[:,n*N:n*N+N] 
    #pass array to c function - e.g. foo(aa,aa.shape[0],aa.shape[1]) 
    print aa 
    a[:,n*N:n*N+N] = aa 

请您参考如下方法:

你想做aa[:] = a[:, n*N:n*N+N],这样来自a的数据被复制到预先存在的 aa 数组,而不是在每次迭代中创建一个新数组,然后丢弃另一个数组。

编辑 对 OP 的情况三思而后行,因为子数组是通过切片提取的,aa 不会是每次迭代中的新数组,而是对数组 a。所以它不会是连续的,这可能是比性能更重要的问题。最初分配的 aa 数组在第一次迭代中未使用时被垃圾回收。