我需要对大型生成器中的所有项目并行应用一个函数。我不想缓冲返回值,它只是一个巨大的 None 数组。
我不明白如何使用 concurrent.future API 执行此操作。
通过具有工作线程上限的线程池将函数应用于生成器中的项目并丢弃结果的最简单、最有效的方法是什么?
请您参考如下方法:
好的,这就是我所做的。给定以下定义:
from concurrent import futures
import itertools
func = print # any function
tasks = iter(iterable) # any one-time-only iterator
workers = 10
这将 func 映射到 tasks,带有 worker cap,丢弃结果:
with futures.ThreadPoolExecutor(max_workers = workers) as pool:
initial = itertools.islice(tasks, workers)
running = set(pool.submit(func, task) for task in initial)
for task in tasks:
done, _ = futures.wait(running, return_when = futures.FIRST_COMPLETED)
running -= done
running.add(pool.submit(func, task))
