我正在使用 Celery 框架编写应用程序。我的一些任务非常重量级,可以执行很长时间。
我注意到当我运行 5-6 个 worker 然后放置 10-20 个任务时,他们可能会随机分配给 worker ,有时如果一个人没有任务,它不会开始剩余的任务,它们将由其他人只有在他们完成任务时(可能在几小时内)。如果我此时再运行一个 worker - 它什么都不做,但可以接受新任务。
这是错误还是功能?我该如何解决我的需求?在我们有空闲工作人员且未开始任务的情况下等待数小时是没有意义的。
请您参考如下方法:
这不是错误或功能(更可能是功能),它只是配置错误。
作为documentation说,worker可以为自己预留一些任务来加速处理消息。但这只对小而快的任务有意义——它不会向代理询问新消息,而是立即启动保留的消息。
但是对于长时间的任务,这可能会导致您问题中描述的情况。
If you have many tasks with a long duration you want the multiplier value to be 1, which means it will only reserve one task per worker process at a time.
If you have a combination of long- and short-running tasks, the best option is to use two worker nodes that are configured separately, and route the tasks according to the run-time.
因此,您需要在 celery 的设置中设置 CELERYD_PREFETCH_MULTIPLIER = 1。
但是,
When using early acknowledgement (default), a prefetch multiplier of 1 means the worker will reserve at most one extra task for every active worker process.
When users ask if it’s possible to disable “prefetching of tasks”, often what they really want is to have a worker only reserve as many tasks as there are child processes.
我还可能建议设置 CELERY_ACKS_LATE = True 以仅在任务完成后发送 ACK 命令。这样 worker 根本不会保留任何额外的任务,但当前正在执行的任务将被标记为仅保留。
尽管这有一个副作用——如果 worker 在执行您的任务的过程中崩溃/终止,该任务将再次标记为未启动,并且任何其他 worker 都可以从头开始重新启动它。因此,请确保您有 idempotent 任务。参见 docs再说一遍。
