Skip to main content
 首页 » 编程设计

python之在 python 中创建包含所有条目和相应迭代器差异的列表的最快方法

2025年01月19日10落叶

我从事统计科学工作,这段代码片段占用了我大约 80% 的计算时间。由于该程序将运行数周,我想尽快完成。 agg1 和 agg2 是 numpy 数组,有 4 个条目,长度在 20 到 400 之间

for i, j in itertools.product(xrange(agg1.shape[1]), xrange(agg2.shape[1])): 
    iterator.append((i, j)) 
    particle_distances.append(agg1[0:2, i] - agg2[0:2, j]) 

从最后一个条目中过滤我的 numpy 数组是否有返回(这在这里很无趣)?我应该使用 agg1.shape[1] 还是更好地事先给它一个变量名。包含这段代码的函数被调用了 4500 次。如果有任何其他更快的方法来实现每个列表元素及其对应迭代器的差异,也欢迎他们。

here是您可以使用的示例文本文件。使用 numpy.loadtxt 导入。

谢谢你的帮助

请您参考如下方法:

这个计算可以简洁地向量化:

a = agg1[0:2, :].T 
b = agg2[0:2, :].T 
particle_distances = (a[:, None, :] - b[None, :, :]).reshape(-1, 2) 

要检索您可以调用的索引的映射

idx1, idx2 = np.unravel_index(np.arange(agg1.shape[1] * agg2.shape[1]), 
                              (agg1.shape[1], agg2.shape[1])) 

这会产生两个数组,分别对应于 agg1 和 agg2 的相应索引。

让我们比较一下性能:

import numpy as np 
import itertools 
from time_stats import compare_calls 
 
agg1 = np.random.rand(100, 10) 
agg2 = np.random.rand(100, 15) 
 
def original(agg1, agg2): 
    particle_distances = [] 
    for i, j in itertools.product(range(agg1.shape[1]), range(agg2.shape[1])): 
        particle_distances.append(agg1[0:2, i] - agg2[0:2, j]) 
    return particle_distances 
 
def prealloc(agg1, agg2): 
    n = agg1.shape[1] * agg2.shape[1] 
    particle_distances = np.empty((n, 2)) 
    for k, (i, j) in enumerate(itertools.product(range(agg1.shape[1]), range(agg2.shape[1]))): 
        particle_distances[k, :] = agg1[0:2, i] - agg2[0:2, j] 
    return particle_distances 
 
def vectorized(agg1, agg2): 
    a = agg1[0:2, :].T 
    b = agg2[0:2, :].T 
    particle_distances = (a[:, None, :] - b[None, :, :]).reshape(-1, 2) 
    return particle_distances 
 
r = compare_calls(['original(agg1, agg2)', 'prealloc(agg1, agg2)', 'vectorized(agg1, agg2)'], globals=globals()) 
r.print() 
r.hist() 
 
#   original(agg1, agg2) : 0.00038 s/call median, 0.00034 ... 0.00047 IQR 
#   prealloc(agg1, agg2) : 0.00047 s/call median, 0.00041 ... 0.00068 IQR 
# vectorized(agg1, agg2) : 6e-06 s/call median, 5.8e-06 ... 6.7e-06 IQR