Skip to main content
 首页 » 编程设计

python之在 Python 多处理模块中使用 Pool with Queue

2024年10月25日15lexus

我想使用多处理模块来加速遍历目录结构。首先,我做了一些研究,发现了这个 Stack Overflow 线程:

How do I run os.walk in parallel in Python?

但是,当我尝试在线程中调整代码时,我一直遇到问题。这是我写的一个小脚本,用于测试 Pool 并弄清楚它是如何工作的。:

import os 
 
from multiprocessing.pool import Pool 
from multiprocessing import Process 
from multiprocessing import JoinableQueue as Queue 
 
def scan(): 
    print "Hi!" 
    while True: 
        print "Inside loop" 
        directory = unsearched.get() 
        print "Got directory" 
        unsearched.task_done() 
        print "{0}".format(directory) 
 
if __name__ == '__main__': 
 
    # Put those directories on the queue 
    unsearched = Queue() 
    top_dirs = ['a', 'b', 'c'] 
    for d in top_dirs: 
        unsearched.put(d) 
    print unsearched 
 
    # Scan the directories 
    processes = 1 
    pool = Pool(processes) 
    for i in range(processes): 
        print "Process {0}".format(i) 
        pool.apply_async(scan) 
 
    # Block until all the tasks are done 
    unsearched.join() 
    print 'Done' 

发生的事情是脚本进入扫描函数内部的循环并就在那里:

PS C:\Test> python .\multiprocessing_test.py 
<multiprocessing.queues.JoinableQueue object at 0x000000000272F630> 
Process 0 
Hi! 
Inside loop 

我确定我在这里遗漏了一些简单的东西。

请您参考如下方法:

这实际上对我来说在 Linux 上运行良好,但在 Windows 上挂起。这是因为在 Windows 上,if __name__ ... 守卫中的所有内容都不会在子进程中执行,这当然包括定义 unsearched。这意味着 scan 在尝试使用 unsearched 时抛出异常,但该异常永远不会在父级中使用,因此您看不到 Traceback 出现在命令行界面。相反,它只是挂起。

要使其在 Windows 和 Linux 上运行,您可以在创建 Pool 时使用 initializer/initargs 关键字参数来制作 unsearched 在 child 的范围内:

def initializer(q): 
    global unsearched 
    unsearched = q 

...

然后将旧的 Pool 调用替换为:

pool = Pool(processes, initializer=initializer, initargs=(unsearched,))