Skip to main content
 首页 » 编程设计

python之队列线程状态进度

2024年11月01日12tintown

我正在尝试创建一个网络提取器,我有这段多线程代码,我需要打印扫描仪的状态/进度:

import time 
import threading 
import Queue        
import sys 
 
try: 
    Lista = open(sys.argv[1], "r").readlines() 
except(IOError):  
    print "Error: Check your ip list path\n" 
    sys.exit(1) 
 
class WorkerThread(threading.Thread) : 
 
    def __init__(self, queue) : 
        threading.Thread.__init__(self) 
        self.queue = queue 
 
    def run(self) : 
        while True : 
            counter = self.queue.get() 
            sys.stdout.write("line nr : \r") 
            self.queue.task_done()       
 
queue = Queue.Queue() 
 
for i in range(50) : 
    worker = WorkerThread(queue) 
    worker.setDaemon(True) 
    worker.start() 
 
for line in Lista: 
    queue.put(line) 
 
queue.join() 
 
print "All task over!" 

如何在扫描仪工作时打印状态/进度,我尝试了 len(queue) 但它不起作用?

请您参考如下方法:

Queue 对象没有 len,因为就其本质而言,它们是跨线程共享的,这是不准确和误导的。

但是,他们有一个 qsize为您提供大致尺寸的方法,正是出于这种目的。


如果你想要精确的值,你需要第二个Queue,每个任务将一些东西放在出队列中,还有一些额外的线程(或者可能是主线程)循环它并计算到目前为止完成的任务。或者,更简单的方法,例如全局 int 计数器和全局 Lock 保护它。


但是,我认为按照池或执行器的形式来编写它会简单得多。这将负责为您排队任务,并将每个任务的值返回到主线程,而您无需管理任何内容。例如,使用 futures , Python 3.x 的反向移植 concurrent.futures 2.x 的模块,这是你的整个程序,添加了进度:

import sys 
import futures  
 
try: 
    Lista = open(sys.argv[1], "r").readlines() 
except(IOError):  
    print "Error: Check your ip list path\n" 
    sys.exit(1) 
 
def task(line): 
    # Do something 
 
with futures.ThreadPoolExecutor(50) as executor: 
    fs = [executor.submit(task, line) for line in Lista] 
    for i, f in enumerate(futures.as_completed(fs)): 
        sys.stdout.write("line nr: {} / {} \r".format(i, len(Lista))) 
 
print "All task over!"