Skip to main content
 首页 » 编程设计

python之确保两条消息来自同一个 MPI 任务

2024年11月01日10落叶无声

我正在使用 python (mpi4py) 编写 MPI 程序。许多进程计算部分结果,并将索引和更新发送到主任务。我收集所有数据的代码如下所示

if rank == 0: 
    cb = dict((v,0) for v in graph) 
    #print "initial is",cb 
    while True:  
        neww = comm.recv(source=ANY_SOURCE, tag=1)  
        newdeltaw = comm.recv(source=ANY_SOURCE, tag=2) 
        print "newdelw is",newdeltaw,"neww is",neww 
        cb[neww]=cb[neww]+newdeltaw 
        print "cb=",cb 

但是这里有一个竞争条件会影响我对大量处理器的结果 - 我可能会遇到 cb[neww]=cb[neww]+newdeltaw 的情况,其中数据 news 和 newdeltaw 来自不同的进程。我该如何防止这种情况?

请您参考如下方法:

虽然 MPI 具有顺序保证,从等级 1 到等级 0 的两条消息将按它们发送的顺序由等级 0 接收 - 一条消息不能超过另一条 - MPI 什么都不说,并且可以说没什么,关于它们将如何与来自其他处理器的其他消息交织在一起。所以你很容易遇到这样的情况:

  rank 1 messages to rank 0: [src 1, msg A, tag 1], [src 1, msg B, tag 2]   
  rank 2 messages to rank 0: [src 2, msg C, tag 1], [src 2, msg D, tag 2] 
 
  rank 0 message queue: [src 1, msg A, tag 1], [src 2, msg C, tag 1], [src 2, msg D, tag 2], [src 1, msg B, tag 2]  

因此 rank 0 提取带有 tag 1 的消息将得到 rank 1 的 msg A,但是随后带有 tag 2 的将得到 rank 2 的 msg D。(请注意,上面的消息队列满足上面的顺序保证但不在这里帮助我们)。

有几种方法可以解决这个问题。一种是不仅按标签而且按来源过滤为 newdeltaw 接收的消息,以确保它来自发送 neww 的同一任务:

if rank == 0: 
    cb = numpy.zeros(size) 
    rstat = MPI.Status() 
    for i in range((size-1)*3): 
        neww = comm.recv(source=MPI.ANY_SOURCE, tag=1, status=rstat) 
        src = rstat.Get_source() 
        newdeltaw = comm.recv(source=src, tag=2) 
        print "newdelw is",newdeltaw,"neww is",neww 
        cb[neww]=cb[neww]+newdeltaw 
        print "cb=",cb 
else: 
    data = rank 
    for i in range(3): 
        comm.send(rank,dest=0,tag=1) 
        comm.send(data,dest=0,tag=2) 

这样,只有来自匹配源的 tag-2 newdeltaw 消息被接收,避免了不一致。

另一种方法是通过将两条数据放入同一消息中来完全避免拆分消息:

if rank == 0: 
    cb = numpy.zeros(size) 
    rstat = MPI.Status() 
    for i in range((size-1)*3): 
        (neww,newdeltaw) = comm.recv(source=MPI.ANY_SOURCE, tag=1) 
        print "newdelw is",newdeltaw,"neww is",neww 
        cb[neww]=cb[neww]+newdeltaw 
        print "cb=",cb 
 
else: 
    data = rank 
    for i in range(3): 
        comm.send((rank,data),dest=0,tag=1) 

这会将两条数据捆绑到一条消息中,因此它们无法分开。 (请注意,一旦它起作用,您可以使用更高效的低级 mpi4py 例程来避免序列化元组:

if rank == 0: 
    cb = numpy.zeros(size) 
    rstat = MPI.Status() 
    for i in range((size-1)*3): 
        dataarr = numpy.zeros(2,dtype='i') 
        comm.Recv([dataarr,MPI.INT],source=MPI.ANY_SOURCE, tag=1) 
        newdeltaw = dataarr[0] 
        neww = dataarr[1] 
        print "newdelw is",newdeltaw,"neww is",neww 
        cb[neww]=cb[neww]+newdeltaw 
        print "cb=",cb 
 
else: 
    data = rank 
    for i in range(3): 
        senddata = numpy.array([rank,data],dtype='i') 
        comm.Send([senddata, MPI.INT],dest=0,tag=1) 

最后,您可以完全避免主/从方法,让所有处理器处理问题中的部分结果,然后在最后将所有结果与归约操作结合起来:

cb = numpy.zeros(size,dtype='i') 
totals = numpy.zeros(size,dtype='i') 
 
data = rank 
for i in range(3): 
    cb[rank] = cb[rank] + data 
 
comm.Reduce([cb,MPI.INT], [totals,MPI.INT], op=MPI.SUM, root=0) 
 
if rank == 0: 
    print "result is", totals