我尝试使用 multiprocessing.dummy 运行并行获取请求,并按进度报告。
from multiprocessing.dummy import Pool
from functools import partial
class Test(object):
def __init__(self):
self.count = 0
self.threads = 10
def callback(self, total, x):
self.count += 1
if self.count%100==0:
print("Working ({}/{}) cases processed.".format(self.count, total))
def do_async(self):
thread_pool = Pool(self.threads)#self.threads
input_list = link
callback = partial(self.callback, len(link))
tasks = [thread_pool.apply_async(get_data, (x,), callback=callback) for x in input_list]
return (task.get() for task in tasks)
start = time.time()
t = Test()
results = t.do_async()
end = time.time()`
运行结果——与非并行请求同时进行
请您参考如下方法:
由于称为全局解释器锁 (GIL) 的原因,CPython 本质上是单线程的。这意味着即使有多个 CPU 内核可用,一次也只能运行一个线程。 multiprocessing.dummy 只是使用线程的包装器,所以这就是您没有获得加速的原因。
要获得拥有多个 CPU 的好处,您必须使用 multiprocessing 本身。但是,根据发送和接收子流程的输入和输出数据的成本,存在开销。如果这样做的成本大于子进程完成的工作量,那么使用 multiprocessing 实际上会减慢您的程序。因此,在您的示例中,multiprocessing 可能不会提高速度。尤其如此,因为回调中的大部分工作都涉及打印到标准输出,池中的所有进程都必须同步以防止打印出垃圾。
