Skip to main content
 首页 » 编程设计

Python 多处理 : billiard vs multiprocessing

2024年11月24日22birdshome

原始问题: 使用 celery 任务队列,我希望进程池中的进程使用共享 CUDA 数组(即不是每个进程都有其唯一的数组,我希望一个数组被所有进程访问。这是安全的,因为只执行读取操作)。 Pytorch 的 torch.multiprocessing 库允许这样做并且根据 doc ,它是 multiprocessing 的简单替代品。

billiard 和 multiprocessing 似乎是创建进程池的两个可行选项。目前,由于一些功能改进,celery,python 任务队列库,使用billiard 而不是multiprocessing。有人提问here ,但答案并不是很具体。

It backports changes from the Python 2.7 and 3.x.  
The current version is compatible with Py2.4 - 2.7 and falls back to multiprocessing for 3.x,  
the next version will only support 2.6, 2.7 and 3.x.  

我需要在 celery 的源代码中用 multiprocessing 替换 billiard (为了使用 pytorch 的多处理库 torch. multiprocessing),但这可以吗? multiprocessing 和 billiard 有什么区别?

请您参考如下方法:

对于那些希望用 multiprocessing 替换 celery 的 billiard 的人来说,这是不可能的 根据这个reply来自 celery 的开发者