Skip to main content
 首页 » 编程设计

python之有什么方法可以在嵌套函数或模块中使用 multiprocessing.pool 吗

2025年01月19日8insus

感谢您查看此内容。我承认我已经有 1 周的时间在 python 中尝试并行处理了,所以如果我错过了一个明显的解决方案,我深表歉意。我有一段代码,我想运行 mp.pool() 的几个不同实例。那些位于主 .py 文件中的调用工作正常,但是当我尝试将它们添加到模块中的函数时,我没有得到它们的所有输出。该应用程序只是运行过去并继续。我想这可能与此有关 post但它没有给出任何替代方法来完成我需要的想法。在一个简单示例中工作的代码是这样的:

import multiprocessing as mp 
def multiproc_log_result(retval): 
    results.append(retval) 
    if len(results) % (10 // 10) == 0: 
        print('{0}% done'.format(100 * len(results) / 10)) 
 
def meat(): 
    print 'beef' 
    status = True 
    return status 
results = [] 
pool = mp.Pool(thread_count) 
for x in range(10): 
    pool.apply_async(meat, callback=multiproc_log_result) 
pool.close() 
pool.join() 
 
 
def veggie(): 
    print 'carrot' 
    status = True 
    return status 
 
results = [] 
pool = mp.Pool(thread_count) 
for x in range(10): 
    pool.apply_async(veggie, callback=multiproc_log_result) 
pool.close() 
pool.join() 

无效的代码是:

import multiprocessing as mp 
def multiproc_log_result(retval): 
    results.append(retval) 
    if len(results) % (10 // 10) == 0: 
        print('{0}% done'.format(100 * len(results) / 10)) 
 
def meat(): 
    print 'beef' 
    status = True 
    return status 
results = [] 
pool = mp.Pool(thread_count) 
for x in range(10): 
    pool.apply_async(meat, callback=multiproc_log_result) 
pool.close() 
pool.join() 
 
def nested_stupid_fn(): 
    def multiproc_log_result(retval): 
        results.append(retval) 
        if len(results) % (10 // 10) == 0: 
            print('{0}% done'.format(100 * len(results) / 10)) 
 
    def veggie(): 
        print 'carrot' 
        status = True 
        return status 
 
    results = [] 
    pool = mp.Pool(thread_count) 
    for x in range(10): 
        pool.apply_async(veggie, callback=multiproc_log_result) 
    pool.close() 
    pool.join() 
nested_stupid_fn() 

最终,我希望那个不起作用的示例通过将它放在单独模块中的另一个函数中而被删除一个步骤。因此,当我导入模块 packngo 并将其用作 packngo.basic_packngo(inputs) 并在其中某处包含 nest 函数的内容时,它们就会运行。任何帮助将不胜感激。 :D 我是一个非常简单的人,所以如果你能像对 child 那样解释,也许我就会明白了!

请您参考如下方法:

您链接的另一个问题有解决方案,只是没有说明:您不能使用嵌套函数作为 func apply* 的参数/*map* multiprocessing.Pool 上的方法系列.他们为 multiprocessing.dummy.Pool 工作,因为 multiprocessing.dummy由可以直接传递函数引用的线程支持,但是 multiprocessing.Pool必须 pickle 函数,并且只能 pickle 具有可导入名称的函数。如果您检查嵌套函数的名称,它类似于 modulename.outerfuncname.<locals>.innerfuncname。 ,那<locals>组件使其无法导入(这通常是一件好事;利用嵌套的嵌套函数通常在闭包范围内具有临界状态,仅导入就会丢失)。

对于 callback 来说完全没问题以嵌套方式定义的函数,因为它们在父进程中执行,所以它们不会发送给工作人员。在您的情况下,只有回调依赖于闭包范围,因此移动 func 完全没问题。 ( veggie ) 到全局范围,定义您的 packngo模块为:

def veggie(): 
    print 'carrot' 
    status = True 
    return status 
 
def nested_stupid_fn(): 
    def multiproc_log_result(retval): 
        results.append(retval) 
        if len(results) % (10 // 10) == 0: 
            print('{0}% done'.format(100 * len(results) / 10)) 
 
    results = [] 
    pool = mp.Pool(thread_count) 
    for x in range(10): 
        pool.apply_async(veggie, callback=multiproc_log_result) 
    pool.close() 
    pool.join() 
nested_stupid_fn() 

是的,意思是veggie成为相关模块的公共(public)成员。如果你想表明它应该被视为一个实现细节,你可以在它前面加上下划线 ( _veggie ),但它必须是全局的才能与 multiprocessing.Pool 一起使用.