Skip to main content
 首页 » 编程设计

Python 多处理和队列

2025年04月02日9myhome

我是 python 神奇世界的新手,正在开发一个由持续感知和测试运行组成的测试系统。我有三个或更多 while 循环,其中一个是生产者,其余两个是消费者。不太了解多处理,这里有一个示例代码,第一个循环将创建一个数据,第二个循环将获取数据,如何在无限循环中实现这一点,我将在主程序中停止循环,但请您帮忙理解 while 循环之间的数据交换

from multiprocessing import Process,Queue 
from time import sleep 
 
q=Queue() 
cnt=0 
 
def send(): 
  global cnt 
  while True: 
        sleep(1) 
        cnt=cnt+1 
        q.put(cnt,False) 
        print ("data Send:",cnt) 
 
def rcv(): 
  while True: 
      sleep(1) 
      newdata=q.get(cnt, False) 
      print ("data Received",newdata) 
 
if __name__=='__main__': 
      p1=Process(target=send) 
      p2=Process(target=rcv) 
      p1.start() 
      p2.start() 
      p1.join() 
      p2.join() 

请您参考如下方法:

我建议您深入研究 documentation您正在使用的多处理库。

基本上,您有两个选择。队列和管道。现在你正在使用队列,

q.put(cnt,False) 
... 
newdata=q.get(cnt, False) 

这会崩溃,因为您会在某个时候尝试从队列中获取数据并清空队列,因此您需要在读取队列之前检查队列状态。

while not q.empty() and not q.task_done(): 
    newdata = q.get(cnt) 

除此之外,如果你想拥有多个接收者,你需要考虑某种互斥锁(参见 multitprocessing.Lock )或 multiprocessing.Pipe,因为如果一个读取进程只是从队列中获取一个值,而另一个正在检查队列的状态,它将失败,因为当第二个尝试从队列中读取时,队列实际上是空的。

但是,对于这个最小的示例,使用互斥锁(互斥锁,防止多个进程同时访问同一内存)很可能会抵消使用多核时获得的优势。但是,如果不同的进程在访问队列之前/之后实际对值进行一些繁重的计算,那么获得的好处将大于使用锁的损失。