Skip to main content
 首页 » 编程设计

python之函数内部多处理 scipy 优化的奇怪行为

2025年04月02日6hnrainll

这是一个运行良好的简单代码。即使函数 minimize 包装了 scipy.optimize.minimize 它也不会提示酸洗

import numpy as np 
from scipy import optimize 
from multiprocessing import Pool 
 
def square(x): 
    return np.sum(x**2+ 2*x) 
 
def minimize(args): 
    f,x = args 
    res = optimize.minimize(f, x, method = 'L-BFGS-B') 
    return res.x 
 
x = np.random.rand(8,10) 
 
args = [(square,x[i]) for i in range(8)] 
p = Pool(8) 
p.map(minimize,args) 

但是,如果尝试以下操作会失败并出现 pickling 错误

PicklingError: Can't pickle <type 'function'>: attribute lookup __builtin__.function failed

def run(): 
    def square(x): 
        return np.sum(x**2+ 2*x) 
 
    def minimize(args): 
        f,x = args 
        res = optimize.minimize(f, x, method = 'L-BFGS-B') 
        return res.x 
 
    x = np.random.rand(8,10) 
 
    args = [(square,x[i]) for i in range(8)] 
    p = Pool(8) 
    p.map(minimize,args) 
 
run() 

我想制作一个模块来并行使用 scipy minimize 和许多初始猜测。但是,如示例所示,当我将其设为模块时,它失败了。

请您参考如下方法:

问题是 Python 不能 pickle 嵌套函数,在你的第二个例子中,你试图将嵌套的 minimize 和 square 函数传递给你的子进程,这需要酸洗。

如果没有理由必须嵌套这两个函数,将它们移动到模块的顶层将解决问题。您还可以查看 this question用于 pickle 嵌套函数的技术。