Skip to main content
 首页 » 编程设计

python之Celery之批量队列任务

2025年05月04日16lidabo

我有一些代码可以对大量(1000 多个) celery 任务进行排队,例如,我们假设它是这样的:

for x in xrange(2000): 
    example_task.delay(x) 

是否有更好/更有效的方法来同时对大量任务进行排队?他们都有不同的论点。

请您参考如下方法:

调用大量任务对您的 celery worker 来说是不健康的。 此外,如果您正在考虑收集调用任务的结果,那么您的代码将不是最佳的。

您可以将您的任务分成一定大小的批处理。考虑以下链接中提到的示例。

http://docs.celeryproject.org/en/latest/userguide/canvas.html#chunks