Skip to main content
 首页 » 编程设计

python之多处理模块中 Pool 对象和 Manager 对象之间的位置

2024年12月31日9shangdawei

 1 from multiprocessing import Pool, Manager 
 2  
 3  
 4 def test(num): 
 5     queue.put(num) 
 6  
 7  
 8 queue = Manager().Queue() 
 9 pool = Pool(5) 
 10  
 11 for i in range(30): 
 12     pool.apply_async(test, (i, )) 
 13      
 14 pool.close() 
 15 pool.join() 
 16  
 17 print(queue.qsize()) 

上面代码的输出是30。但是,如果第8行和第9行交换(见下面的代码),输出将是0。那么有谁知道为什么吗?谢谢!

1 from multiprocessing import Pool, Manager 
2  
3  
4 def test(num): 
5     queue.put(num) 
6  
7  
8 pool = Pool(5) 
9 queue = Manager().Queue() 
10  
11 for i in range(30): 
12     pool.apply_async(test, (i, )) 
13      
14 pool.close() 
15 pool.join() 
16  
17 print(queue.qsize()) 

from multiprocessing import Process, Queue  
 
 
def test(): 
    queue.put(1) 
 
 
p = Process(target=test)  
queue = Queue() 
p.start() 
p.join() 
 
print(queue.qsize()) 

输出为1,表示子进程将数字放入父进程创建的队列中。对吗?

请您参考如下方法:

我假设您正在使用基于 Unix 的操作系统,就像在 NT 操作系统上一样,您的逻辑很可能会中断。

要了解发生了什么,我们需要深入了解 multiprocessing 的内部结构。在 Unix 上,创建新进程时,fork使用原语。当进程 fork 时,父进程继续执行,子进程作为父进程的精确副本启动。

Python 倾向于在 multiprocessing 模块中隐藏很多东西(我特别不喜欢那样)并导致很多误解。在您的逻辑中,fork 发生在您创建 Pool 时(第一个示例中的第 9 行,第二个示例中的第 8 行)。

在第一个示例中,子级继承了父级创建的相同 queue 对象。因此,当他们共享同一个 channel 时,他们成功地进行了沟通。

相反,在第二个中, parent 和 child 创建他们自己的完全独立的分离的 queue 对象。当 child 将一个元素放入 queue 时,它会将其放入自己的队列中,不与任何人共享。

在第三个也是最后一个示例中,您创建了一个 Process 对象,然后是一个 Queue,然后您对该进程调用了 start。猜猜 fork 何时发生?当您调用 start 而不是当您创建 Process 对象时。这就是 queue 成功共享的原因。当我说 multiprocessing API 有点误导时,这就是我的意思。