Skip to main content
 首页 » 编程设计

python之并行运行方法

2024年11月01日9sharpest

我有一个程序,除其他外,它可以解析一些大文件,我希望并行完成这项工作以节省时间。 代码流看起来像这样:

if __name__ == '__main__': 
    obj = program_object() 
    obj.do_so_some_stuff(argv) 
    obj.field1 = parse_file_one(f1) 
    obj.field2 = parse_file_two(f2) 
    obj.do_some_more_stuff() 

我试过像这样在单独的进程中运行文件解析方法:

p_1 = multiprocessing.Process(target=parse_file_one, args=(f1)) 
p_2 = multiprocessing.Process(target=parse_file_two, args=(f2)) 
p_1.start() 
p_2.start() 
p_1.join() 
p_2.join() 

这里有两个问题。一个是如何让单独的进程修改文件,但更重要的是, fork 进程会复制我的整个主进程!执行

时我得到关于 argv 的异常
do_so_some_stuff(argv) 

第二次。那真的不是我想要的。当我只运行其中一个进程时甚至会发生这种情况。

我怎样才能让文件解析方法只是彼此并行运行,然后像以前一样继续返回主进程?

请您参考如下方法:

尝试将解析方法放在单独的模块中。