Skip to main content
 首页 » 编程设计

python之如何根据工作结果向正在运行的多处理池添加额外任务

2024年12月31日7mq0036

假设我有一组 20 个 CPU 繁重的任务(每个大约 1 小时,但有些需要更长的时间),这些任务通过调用一个函数来运行,例如Pool.apply_async(function, task_list) 等。PC 有 12 个核心。这样我就可以分散负载,并使用全部 12 个内核。

每个任务的结果可能需要运行一个新任务(某些任务可能需要 1 次新运行,其他任务可能需要 10 次)。

当需要新任务时,我想将该任务生成到现有池 task_list 中,以始终充分优化 CPU 使用率。

目前我运行 20 个任务,等待完成,开始新的 ~18 个任务,等待完成,开始剩余的新任务,....,而它恰好只有 1 个核心被使用了一个小时,而不是12。这加起来在计算时间上损失了几个小时到几天。我可以在同一个工作人员中运行更新后的任务,但这会导致更大的损失)

使用池时,似乎无法在池启动时将更多任务添加到池中。这是正确的,还是我在到处搜索时错过了一些聪明的方法来做到这一点?

(我看到的唯一选择是使用 process 而不是 pool,并在一个动态列表上进行 while 循环,该动态列表将典型任务作为单个进程启动,而最多只允许同时运行12个进程,并且对于每个任务,或者新任务,将它们放入动态列表中,并在发送给进程时删除任务。)

请您参考如下方法:

你可以使用一个队列,你可以在这里看到一个例子: https://www.journaldev.com/15631/python-multiprocessing-example 通过这种方式,您将能够添加到队列中,并从队列中取出恒定数量的运行者。