灵感来自教程multiprocessing factorial ,我曾尝试对一个微不足道的力计算模块进行多处理。 我主要担心的是 queue.get 功能没有按预期的顺序检索。例如,它不是给出 [5, 4, 3, 2, 1, 0, -1, -2, -3, -4, -5],而是根据不同的处理器给出困惑的输出。 1)如何根据进程调用顺序追加队列中的结果?我应该使用池、 map 、锁或任何类似的东西吗? 2)如何避免内存同步/覆盖问题?
def mp_worker(istart, iend, x, out_q1, out_q2):
global_N = len(x)
outdict1 = []
outdict2 = []
k = 0
for i in range(istart,iend,1):
temp_FX = 0
temp_FY = 0
for j in range(global_N):
if i != j:
temp_FX = temp_FX + (x[j]-x[i])
temp_FY = temp_FY + (x[j]-x[i])
outdict1.append(temp_FX)
outdict2.append(temp_FY)
k = k + 1
out_q1.put(outdict1)
out_q2.put(outdict2)
def mp_factorizer( nprocs):
x = mem.x
FORCE = mem.FORCE
N = len(FORCE)
out_q1 = multiprocessing.Queue()
out_q2 = multiprocessing.Queue()
chunksize = int(math.ceil(N / float(nprocs)))
procs = []
for i in range(nprocs):
istart = chunksize * i
iend = chunksize * (i + 1)
p = multiprocessing.Process(
target=mp_worker,
args=(istart, iend, x, out_q1, out_q2))
procs.append(p)
p.start()
# Collect all results into a single result dict. We know how many dicts
# with results to expect.
resultdict1 = []
resultdict2 = []
for i in range(nprocs):
resultdict1 = resultdict1 + out_q1.get()
resultdict2 = resultdict2 + out_q2.get()
# Wait for all worker processes to finish
for p in procs:
p.join()
return resultdict1
请您参考如下方法:
项目以工作进程碰巧完成的任何顺序添加到队列中。如果你想强制订单,你必须...强制订单;-)
Process 对此不利。它们的执行本质上是无序的,顺序很可能会从一次运行到下一次运行发生变化。
在这种情况下,可能最简单:首先,完全丢弃队列。像这样结束你的 mp_worker():
return outdict1, outdict2
然后使用池。有几种方法可以使用一种。最像你已经在做的事情看起来像:
pool = multiprocessing.Pool(nprocs)
for i in range(nprocs):
istart = chunksize * i
iend = chunksize * (i + 1)
p = pool.apply_async(mp_worker, (istart, iend, x))
procs.append(p)
resultdict1 = []
resultdict2 = []
for p in procs:
t1, t2 = p.get()
resultdict1.extend(t1)
resultdict2.extend(t2)
pool.close()
pool.join()
现在获取结果的顺序与传递任务的顺序相同;订单已被强制执行。
注意:从 + 切换到 .extend() 在逻辑上不是必需的,但可以将二次时间(在循环迭代次数中)操作减少到摊销的线性时间操作。这与多处理无关。 somelist = somelist + anotherlist 总是更好地编码为 somelist.extend(anotherlist)。
关于操作系统
这里有一个关于为什么“它工作”在 Windows 而不是 Linux 的猜测:从历史上看,在 Linux 上创建进程比在 Windows 上更便宜(Windows 在加速其线程方面付出了更多的努力)。这使得这些进程更有可能在 Windows 上以与它们开始时相同的顺序结束,当这些进程正在执行大约相同数量的工作时。但它们肯定可以在 Windows 上“乱序”完成 也是。
无论如何,Python 对此没有任何发言权:如果您需要特定的顺序,则必须强制执行该顺序。
