Skip to main content
 首页 » 编程设计

python之无法在 multiprocessing.pool 中腌制类型 'module'

2024年10月25日12insus

我正在使用 Multiprocessing.pool 并行化我的模拟,但是我无法在 pool.map 中传递类型“模块”,这会导致 pickling 错误,我需要在 pool.map 的目标函数中使用该参数来并行化我的代码.在函数 sample() 中,第四个参数“sim”的类型为“Module”,所以我不能用 p.map() 传递它,因为它不能被迭代,但我需要函数 parallel() 中的那个参数,应该用作

       model=sim.simulate(modelname, packname, config) 

但目前我正在静态导入该模块并在函数 parallel() 中调用

       model=OpenModelica.simulate(modelname, packname, config) 

目前我的代码看起来像这样,有没有办法将函数 sample() 中的参数“sim”声明为全局参数并在目标函数 parallel() 中访问它。

       def sample(file,model,config,sim,resultDir,deleteDir): 
           from multiprocessing import Pool 
           p=Pool() 
           p.map(parallel,zip(file,model,dirs,resultpath,config)) 
 
       def parallel(modellists): 
         packname=[] 
         packname.append(modellists[0])      
         modelname=modellists[1] 
         dirname=modellists[2] 
         path=modellists[3] 
         config=modellists[4] 
         os.chdir(dirname)    
         model=OpenModelica.Model(modelname, packname, config) 

请您参考如下方法:

这是因为 pickle 无法序列化模块,因此 multiprocessing 无法通过 map 传递模块。但是,如果您使用名为 pathos.multiprocessing 的 multiprocessing 分支,它就可以工作。这是因为 pathos 使用了 dill 序列化器,它可以 pickle 模块。

>>> import dill  
>>> import numpy 
>>>  
>>> from pathos.multiprocessing import ProcessingPool as Pool 
>>> p = Pool() 
>>>  
>>> def getname(x): 
...   return getattr(x, '__package__', None) 
...  
>>> p.map(getname, [dill, numpy]) 
['dill', 'numpy'] 

它也适用于多个参数,因此它比必须压缩所有参数更自然一些——并且还具有异步和迭代映射。

>>> packname = list('abcde') 
>>> modelname = list('ABCDE') 
>>> dirname = list('12345') 
>>> config = [1,2,3,4,5] 
>>> import math 
>>> f = [math.sin, math.cos, math.sqrt, math.log, math.tan] 
>>>  
>>> def parallel(s1, s2, si, i, f):  
...     s = (s1 + s2).lower().count('b') 
...     return f(int(si) + i - s)  
...  
>>> res = p.amap(parallel, packname, modelname, dirname, config, f) 
>>> print "asynchronous!" 
'asynchronous!' 
>>> res.get() 
[0.9092974268256817, -0.4161468365471424, 2.449489742783178, 2.0794415416798357, 0.6483608274590867] 

在此处获取 pathos:https://github.com/uqfoundation