Skip to main content
 首页 » 编程设计

python之Python 中多处理的同步问题,双 for 循环

2025年02月15日9arxive

灵感来自教程multiprocessing factorial ,我曾尝试对一个微不足道的力计算模块进行多处理。 我主要担心的是 queue.get 功能没有按预期的顺序检索。例如,它不是给出 [5, 4, 3, 2, 1, 0, -1, -2, -3, -4, -5],而是根据不同的处理器给出困惑的输出。 1)如何根据进程调用顺序追加队列中的结果?我应该使用池、 map 、锁或任何类似的东西吗? 2)如何避免内存同步/覆盖问题?

def mp_worker(istart, iend, x, out_q1, out_q2): 
    global_N = len(x) 
    outdict1 = [] 
    outdict2 = [] 
    k = 0 
 
 
       for i in range(istart,iend,1): 
            temp_FX = 0 
            temp_FY = 0 
            for j in range(global_N): 
                if i != j: 
                    temp_FX = temp_FX + (x[j]-x[i]) 
                    temp_FY = temp_FY + (x[j]-x[i]) 
            outdict1.append(temp_FX) 
            outdict2.append(temp_FY) 
            k = k + 1 
 
    out_q1.put(outdict1) 
    out_q2.put(outdict2) 
 
def mp_factorizer( nprocs): 
 
    x = mem.x 
    FORCE = mem.FORCE 
    N = len(FORCE) 
 
    out_q1 = multiprocessing.Queue() 
    out_q2 = multiprocessing.Queue() 
    chunksize = int(math.ceil(N / float(nprocs))) 
    procs = [] 
 
    for i in range(nprocs): 
        istart = chunksize * i 
        iend = chunksize * (i + 1) 
        p = multiprocessing.Process( 
                target=mp_worker, 
                args=(istart, iend, x, out_q1, out_q2)) 
        procs.append(p) 
        p.start() 
 
    # Collect all results into a single result dict. We know how many dicts 
    # with results to expect. 
    resultdict1 = [] 
    resultdict2 = [] 
    for i in range(nprocs): 
        resultdict1 = resultdict1 + out_q1.get() 
        resultdict2 = resultdict2 + out_q2.get() 
 
    # Wait for all worker processes to finish 
    for p in procs: 
        p.join() 
 
    return resultdict1 

请您参考如下方法:

项目以工作进程碰巧完成的任何顺序添加到队列中。如果你想强制订单,你必须...强制订单;-)

Process 对此不利。它们的执行本质上是无序的,顺序很可能会从一次运行到下一次运行发生变化。

在这种情况下,可能最简单:首先,完全丢弃队列。像这样结束你的 mp_worker():

return outdict1, outdict2 

然后使用池。有几种方法可以使用一种。最像你已经在做的事情看起来像:

pool = multiprocessing.Pool(nprocs) 
for i in range(nprocs): 
    istart = chunksize * i 
    iend = chunksize * (i + 1) 
    p = pool.apply_async(mp_worker, (istart, iend, x)) 
    procs.append(p) 
 
resultdict1 = [] 
resultdict2 = [] 
for p in procs: 
    t1, t2 = p.get() 
    resultdict1.extend(t1) 
    resultdict2.extend(t2) 
 
pool.close() 
pool.join() 

现在获取结果的顺序与传递任务的顺序相同;订单已被强制执行。

注意:从 + 切换到 .extend() 在逻辑上不是必需的,但可以将二次时间(在循环迭代次数中)操作减少到摊销的线性时间操作。这与多处理无关。 somelist = somelist + anotherlist 总是更好地编码为 somelist.extend(anotherlist)。

关于操作系统

这里有一个关于为什么“它工作”在 Windows 而不是 Linux 的猜测:从历史上看,在 Linux 上创建进程比在 Windows 上更便宜(Windows 在加速其线程方面付出了更多的努力)。这使得这些进程更有可能在 Windows 上以与它们开始时相同的顺序结束,当这些进程正在执行大约相同数量的工作时。但它们肯定可以在 Windows 上“乱序”完成 也是。

无论如何,Python 对此没有任何发言权:如果您需要特定的顺序,则必须强制执行该顺序。