我正在尝试创建一个网络提取器,我有这段多线程代码,我需要打印扫描仪的状态/进度:
import time
import threading
import Queue
import sys
try:
Lista = open(sys.argv[1], "r").readlines()
except(IOError):
print "Error: Check your ip list path\n"
sys.exit(1)
class WorkerThread(threading.Thread) :
def __init__(self, queue) :
threading.Thread.__init__(self)
self.queue = queue
def run(self) :
while True :
counter = self.queue.get()
sys.stdout.write("line nr : \r")
self.queue.task_done()
queue = Queue.Queue()
for i in range(50) :
worker = WorkerThread(queue)
worker.setDaemon(True)
worker.start()
for line in Lista:
queue.put(line)
queue.join()
print "All task over!"
如何在扫描仪工作时打印状态/进度,我尝试了 len(queue) 但它不起作用?
请您参考如下方法:
Queue 对象没有 len,因为就其本质而言,它们是跨线程共享的,这是不准确和误导的。
但是,他们有一个 qsize为您提供大致尺寸的方法,正是出于这种目的。
如果你想要精确的值,你需要第二个Queue,每个任务将一些东西放在出队列中,还有一些额外的线程(或者可能是主线程)循环它并计算到目前为止完成的任务。或者,更简单的方法,例如全局 int 计数器和全局 Lock 保护它。
但是,我认为按照池或执行器的形式来编写它会简单得多。这将负责为您排队任务,并将每个任务的值返回到主线程,而您无需管理任何内容。例如,使用 futures , Python 3.x 的反向移植 concurrent.futures 2.x 的模块,这是你的整个程序,添加了进度:
import sys
import futures
try:
Lista = open(sys.argv[1], "r").readlines()
except(IOError):
print "Error: Check your ip list path\n"
sys.exit(1)
def task(line):
# Do something
with futures.ThreadPoolExecutor(50) as executor:
fs = [executor.submit(task, line) for line in Lista]
for i, f in enumerate(futures.as_completed(fs)):
sys.stdout.write("line nr: {} / {} \r".format(i, len(Lista)))
print "All task over!"
