我正在使用 Multiprocessing.pool 并行化我的模拟,但是我无法在 pool.map 中传递类型“模块”,这会导致 pickling 错误,我需要在 pool.map 的目标函数中使用该参数来并行化我的代码.在函数 sample() 中,第四个参数“sim”的类型为“Module”,所以我不能用 p.map() 传递它,因为它不能被迭代,但我需要函数 parallel() 中的那个参数,应该用作
model=sim.simulate(modelname, packname, config)
但目前我正在静态导入该模块并在函数 parallel() 中调用
model=OpenModelica.simulate(modelname, packname, config)
目前我的代码看起来像这样,有没有办法将函数 sample() 中的参数“sim”声明为全局参数并在目标函数 parallel() 中访问它。
def sample(file,model,config,sim,resultDir,deleteDir):
from multiprocessing import Pool
p=Pool()
p.map(parallel,zip(file,model,dirs,resultpath,config))
def parallel(modellists):
packname=[]
packname.append(modellists[0])
modelname=modellists[1]
dirname=modellists[2]
path=modellists[3]
config=modellists[4]
os.chdir(dirname)
model=OpenModelica.Model(modelname, packname, config)
请您参考如下方法:
这是因为 pickle 无法序列化模块,因此 multiprocessing 无法通过 map 传递模块。但是,如果您使用名为 pathos.multiprocessing 的 multiprocessing 分支,它就可以工作。这是因为 pathos 使用了 dill 序列化器,它可以 pickle 模块。
>>> import dill
>>> import numpy
>>>
>>> from pathos.multiprocessing import ProcessingPool as Pool
>>> p = Pool()
>>>
>>> def getname(x):
... return getattr(x, '__package__', None)
...
>>> p.map(getname, [dill, numpy])
['dill', 'numpy']
它也适用于多个参数,因此它比必须压缩所有参数更自然一些——并且还具有异步和迭代映射。
>>> packname = list('abcde')
>>> modelname = list('ABCDE')
>>> dirname = list('12345')
>>> config = [1,2,3,4,5]
>>> import math
>>> f = [math.sin, math.cos, math.sqrt, math.log, math.tan]
>>>
>>> def parallel(s1, s2, si, i, f):
... s = (s1 + s2).lower().count('b')
... return f(int(si) + i - s)
...
>>> res = p.amap(parallel, packname, modelname, dirname, config, f)
>>> print "asynchronous!"
'asynchronous!'
>>> res.get()
[0.9092974268256817, -0.4161468365471424, 2.449489742783178, 2.0794415416798357, 0.6483608274590867]
在此处获取 pathos:https://github.com/uqfoundation
