Skip to main content
 首页 » 编程设计

python之Python并行编程中Pool.map和Process有什么区别

2025年05月04日23sharpest

我试图理解多处理模块。当我想使用不同的参数连续多次运行一个函数时,我什么时候应该使用 Pool.map 而不是 Process?各自的优点和缺点是什么?

请您参考如下方法:

Pool.map 生成多个进程来完成某个任务。

当您有要在单独进程中处理的任务单元时,您可以直接生成进程。

def execute_new_work(work=somefunction): 
    p = multiprocessing.Process(target=work) 
    p.start() 

Pool可用于管理固定数量的worker。

当您知道要使用相同函数并行处理的工作单元数量时,您可以使用 pool.map 而不是使用 for 循环。这只是更方便和容易

pool_size = multiprocessing.cpu_count() * 2 
pool = multiprocessing.Pool(processes=pool_size, 
                            initializer=start_process, 
                           ) 
outputs = pool.map(workon_fucntion, inputs) 

如您所见,这非常符合 Python 风格,让人想起 Python 中的 map 函数。您可以用 map 做什么,也可以用 for loop 做什么。

这里唯一需要注意的是,worker 进程是预先固定的,pool 管理工作分配给 worker,这非常好。