我有一个程序,除其他外,它可以解析一些大文件,我希望并行完成这项工作以节省时间。 代码流看起来像这样:
if __name__ == '__main__':
obj = program_object()
obj.do_so_some_stuff(argv)
obj.field1 = parse_file_one(f1)
obj.field2 = parse_file_two(f2)
obj.do_some_more_stuff()
我试过像这样在单独的进程中运行文件解析方法:
p_1 = multiprocessing.Process(target=parse_file_one, args=(f1))
p_2 = multiprocessing.Process(target=parse_file_two, args=(f2))
p_1.start()
p_2.start()
p_1.join()
p_2.join()
这里有两个问题。一个是如何让单独的进程修改文件,但更重要的是, fork 进程会复制我的整个主进程!执行
时我得到关于 argv 的异常do_so_some_stuff(argv)
第二次。那真的不是我想要的。当我只运行其中一个进程时甚至会发生这种情况。
我怎样才能让文件解析方法只是彼此并行运行,然后像以前一样继续返回主进程?
请您参考如下方法:
尝试将解析方法放在单独的模块中。
