我正在阅读一个类似的线程,其中 OP 希望使用多处理(找到 here)来处理函数中的每一行。这个有趣的问题的答案如下:
from multiprocessing import Pool
def process_line(line):
return "FOO: %s" % line
if __name__ == "__main__":
pool = Pool(4)
with open('file.txt') as source_file:
# chunk the work into batches of 4 lines at a time
results = pool.map(process_line, source_file, 4)
我想知道您是否可以这样做,但不是返回处理过的每一行,而是将其写入另一个文件。
基本上我想看看是否有一种方法可以让 MP 读取和写入文件以便按行拆分文件。假设我想要每个文件 100,000 行。
from multiprocessing import Pool
def write_lines(line):
#need method to write lines to multiple files, perhaps a Queue?
if __name__ == "__main__":
#all my procs
pool = Pool()
with open('file.txt') as source_file:
# chunk the work into batches of 4 lines at a time
results = pool.map(process_line, source_file, 100000)
我可以使用 MP 队列将文件拆分为单独的队列对象,然后让每个处理器完成写出所有行的工作,但我仍然必须先通读文件。那么它是否总是完全受 IO 限制,永远无法以有效的方式成为 MP?
请您参考如下方法:
正如您所怀疑的那样,这种工作负载实际上不会从 多处理 中获益太多(如果有的话)。您在这里所做的只是读取一个文件,然后将该文件的内容写入其他文件。这完全是 I/O 绑定(bind)的;瓶颈将是读写磁盘的速度。使用 multiprocessing 尝试同时将多个文件写入同一磁盘不会使写入速度更快,因为磁盘一次只能写入一件事。
multiprocessing 可以提供帮助的地方是,如果您有一些可以并行化的 CPU 密集型工作,但实际上您尝试做的事情并非如此。如果您想从文件中读取行,对每一行进行一些相当繁重的处理,然后将它们写入其他文件,multiprocessing 会有所帮助,但它没有用听起来您不需要在编写每一行之前进行任何处理。
