我有一些代码可以对大量(1000 多个) celery 任务进行排队,例如,我们假设它是这样的:
for x in xrange(2000):
example_task.delay(x)
是否有更好/更有效的方法来同时对大量任务进行排队?他们都有不同的论点。
请您参考如下方法:
调用大量任务对您的 celery worker 来说是不健康的。 此外,如果您正在考虑收集调用任务的结果,那么您的代码将不是最佳的。
您可以将您的任务分成一定大小的批处理。考虑以下链接中提到的示例。
http://docs.celeryproject.org/en/latest/userguide/canvas.html#chunks
