Skip to main content
 首页 » 编程设计

python之使用 importlib 选择一个模块并在多处理函数中使用

2024年11月01日12shanyou

我想根据传递给 Python 脚本的参数在我的主函数中选择要导入的模块。所以,我正在使用其中之一

blah = importlib.import_module("blah1") 
blah = importlib.import_module("blah2") 

其中“blahX”是同一接口(interface)的不同实现。

我还想使用 multiprocessing 模块将工作传递给不同的进程。

blah = None 
 
def f(a, b): 
    print blah.f(a,b) 
 
if __name__ == '__main__': 
 
    # call importlib.import_module here... 
 
    a = 1 
    b = 2 
    p = multiprocessing.Process(target=f, args=(a, b)) 
    p.start() 
    p.join() 

问题是传递给 multiprocessing.Process 的函数不知道我在 main 中导入的模块。这与我使用 import

时不同
import blah1 as blah 
#import blah2 as blah 

但后来我失去了在运行时选择模块的能力。

我该如何修复这个设计?

请您参考如下方法:

当您调用 mp.Process(...) 时,多处理模块会 fork 一个子进程(在 Unix 上)或启动一个新的 Python 进程并导入调用模块(在 Windows 上)。在 Unix 上,您当前的代码可以工作,因为 fork 时的所有全局变量都被新的子进程复制。

然而,在 Windows 上,调用模块是导入的。由于 blah 的定义,例如,

blah = importlib.import_module("math") 

内部保护

if __name__ == '__main__': 

blah 的新定义不会转移到子进程。

因此,为了让它与 Windows 一起工作,您可以将模块的名称传递给目标函数,并在那里调用 importlib.import_module:

import importlib 
import multiprocessing as mp 
blah = None 
 
def f(a, b, name): 
    blah = importlib.import_module(name) 
    print blah.hypot(a,b) 
 
if __name__ == '__main__': 
    a = 1 
    b = 2 
    p = mp.Process(target=f, args=(a, b, "math")) 
    p.start() 
    p.join()