Skip to main content
 首页 » 编程设计

Python 多处理脚本看似无误地卡住

2024年10月25日10oomusou

我正在尝试使用 multiprocessing 包并行调用一个函数(我们称之为 myfunc ),特别是使用 pool.map 即 pool.map(myfunc, myarglist) 。当我在不使用 myarglist 的情况下简单地循环 multiprocessing 时,没有错误,应该是这种情况,因为 myfunc 中的所有操作都在 try block 中调用。但是,当我使用 pool.map 调用函数时,脚本总是停止运行,即它停止打印“myfunc done!”。我的函数中的语句和进程停止使用 CPU,但它永远不会返回 resultlist 。我从 ubuntu 12.04 的终端运行 python 2.7。什么可能导致这种情况发生,我应该如何解决/解决问题?

cpu_count = int(multiprocessing.cpu_count()) 
pool = Pool(processes = cpu_count) 
resultlist = pool.map(myfunc, myarglist) 
pool.close() 

更新 使用多处理时的一个问题可能是对象的大小,如果您认为这可能是个问题,请参阅此 answer 。正如答案所指出的那样“如果这个 [解决方案] 不起作用,那么您从函数返回的内容可能是不可腌制的,因此无法正确地通过队列。”多进程通过酸洗在进程之间传递对象。事实证明,我的一两个对象有来自 BeautifulSoup that would not pickle 的汤。

请您参考如下方法:

检查是否所有进程都已启动。这将帮助您调试它。同时在代码末尾添加 Pool.join()。

这是一个示例代码

def start_process(): 
    print 'Starting', multiprocessing.current_process().name 
 
if __name__ == '__main__': 
 
    pool_size =2 
    pool = multiprocessing.Pool(processes=pool_size, 
                                initializer=start_process, 
                                ) 
 
    pool_outputs = pool.map(function_name,argument_list) 
    pool.close() # no more tasks 
    pool.join()  # wrap up current tasks