Skip to main content
 首页 » 编程设计

Python 多处理池 : dynamically set number of processes during execution of tasks

2025年01月19日9lvdongjie

我们在我们的开发机器上提交 Python 2.7 中的大型 CPU 密集型作业(由许多独立的并行进程组成),一次持续数天。当这些作业以大量进程运行时,机器的响应速度会减慢很多。理想情况下,我想在白天开发代码时限制可用的 CPU 数量,并在晚上尽可能高效地运行尽可能多的进程。

Python 多处理库允许您在启动池时指定进程数。有没有办法在每次启动新任务时动态更改此数字?

例如,允许 20 个进程在 19-07 小时运行,10 个进程从 07-19 小时运行。

一种方法是检查使用大量 CPU 的事件进程的数量。这就是我希望它的工作方式:

from multiprocessing import Pool 
import time  
 
pool = Pool(processes=20) 
 
def big_task(x): 
    while check_n_process(processes=10) is False: 
        time.sleep(60*60) 
    x += 1 
    return x  
 
 
x = 1 
multiple_results = [pool.apply_async(big_task, (x)) for i in range(1000)] 
print([res.get() for res in multiple_results]) 

但我需要编写“check_n_process”函数。

关于如何解决这个问题还有其他想法吗?

(代码需要在 Python 2.7 中运行——bash 实现是不可行的)。

请您参考如下方法:

Python multiprocessing.Pool 不提供更改正在运行的 Pool 的工作人员数量的方法。一个简单的解决方案是依赖第三方工具。

池由 billiard 提供用于提供此类功能。

任务队列框架,如 Celery或 Luigi肯定允许灵活的工作量,但要复杂得多。

如果使用外部依赖不可行,可以试试下面的方法。从 this answer 阐述,你可以设置一个基于信号量的节流机制。

from threading import Semaphore, Lock 
from multiprocessing import Pool 
 
def TaskManager(object): 
    def __init__(self, pool_size): 
        self.pool = Pool(processes=pool_size) 
        self.workers = Semaphore(pool_size) 
        # ensures the semaphore is not replaced while used 
        self.workers_mutex = Lock()   
 
    def change_pool_size(self, new_size): 
        """Set the Pool to a new size.""" 
        with self.workers_mutex:   
            self.workers = Semaphore(new_size) 
 
    def new_task(self, task): 
        """Start a new task, blocks if queue is full.""" 
        with self.workers_mutex: 
            self.workers.acquire() 
 
        self.pool.apply_async(big_task, args=[task], callback=self.task_done)) 
 
    def task_done(self): 
        """Called once task is done, releases the queue is blocked.""" 
        with self.workers_mutex: 
            self.workers.release() 

如果超过 X 个工作人员忙碌,池将阻止进一步尝试安排您的 big_tasks。通过控制此机制,您可以限制并发运行的进程数量。当然,这意味着你放弃了Pool排队机制。

task_manager = TaskManager(20) 
 
while True: 
    if seven_in_the_morning(): 
        task_manager.change_pool_size(10) 
    if seven_in_the_evening(): 
        task_manager.change_pool_size(20) 
 
    task = get_new_task() 
    task_manager.new_task()  # blocks here if all workers are busy