Skip to main content
 首页 » 编程设计

python之for-loop + numpy.where 的向量化版本

2024年10月25日16unruledboy

背景资料: 我在 3D 中有大量 (N) 个粒子。对于所有具有特定属性的对 [i,j] 粒子,我计算一个几何因子 c[i,j]。然后我想总结所有对 [i,j] 对固定 i 的贡献,并将其称为 c[i](并对所有粒子 i 重复此过程)。

通常相关对的数量远小于 N^2,因此拥有一个 (N,N) 维数组 C,其相关信息位于 [i,j] 位置,而其他地方有很多零是相当快的使用 numpy,但在内存使用方面也非常低效。 所以现在我只存储相关对的 C[i,j] 和在一维数组中形成对的粒子。

这可能最好用一个例子来说明: 比如说,我有两对由粒子 (3,5) 和 (3,10) 组成的粒子。从示意图上看,我的变量看起来像这样(有意重复计算):

i = [3,3,5,10]  #list of particles i that form a pair 
j = [5,10,3,3]  #corresponding particles j (not used in the later example)  
cij = [c35,c310,-c35,-c310] #(with actual numbers in reality) 

现在真正归结为找到一种有效的矢量化方法来重写以下 for 循环:

part_list=np.arange(N) 
for a in part_list: 
    cond = np.where(i == a) 
    ci[a] = np.sum(cij[cond]) 

我想到但想避免的其他解决方案:

a) 并行化 for 循环:不可行 b/c 这是嵌入到我想在某个时候并行化的外部循环中。

b) 用 C 编写 for 循环并将其包装到 Python 中:对于这个(希望如此)相当简单的问题来说似乎有点矫枉过正。

请您参考如下方法:

你可以用np.bincount得到你想要的.如果您的粒子从 0 开始按顺序编号,您可以简单地执行以下操作:

ci = np.bincount(i, weights= cij) 

要查看它的作用:

>>> i = [3, 3, 5, 10] 
>>> j = [5, 10, 3, 3] 
>>> cij = [0.1, 0.2, -0.1, -0.2] 
>>> np.bincount(i, weights= cij) 
array([ 0. ,  0. ,  0. ,  0.3,  0. , -0.1,  0. ,  0. ,  0. ,  0. , -0.2]) 

如果你不想要所有这些额外的零,你可以这样做:

>>> unq_i, inv_i = np.unique(i, return_inverse=True) 
>>> unq_ci = np.bincount(inv_i, weights=cij) 
>>> unq_i 
array([ 3,  5, 10]) 
>>> unq_ci 
array([ 0.3, -0.1, -0.2]) 

您稍后可以通过执行以下操作来分配这些唯一值:

ci[unq_i] = unq_ci