Skip to main content
 首页 » 编程设计

Python3 线程池 : apply function to task generator

2024年10月24日36birdshome

我需要对大型生成器中的所有项目并行应用一个函数。我不想缓冲返回值,它只是一个巨大的 None 数组。

我不明白如何使用 concurrent.future API 执行此操作。

通过具有工作线程上限的线程池将函数应用于生成器中的项目并丢弃结果的最简单、最有效的方法是什么?

请您参考如下方法:

好的,这就是我所做的。给定以下定义:

from concurrent import futures 
import itertools 
 
func    = print          # any function 
tasks   = iter(iterable) # any one-time-only iterator 
workers = 10 

这将 func 映射到 tasks,带有 worker cap,丢弃结果:

with futures.ThreadPoolExecutor(max_workers = workers) as pool: 
      initial = itertools.islice(tasks, workers) 
      running = set(pool.submit(func, task) for task in initial) 
 
      for task in tasks: 
          done, _  = futures.wait(running, return_when = futures.FIRST_COMPLETED) 
          running -= done 
          running.add(pool.submit(func, task))