我对 celery 及其工作原理有基本的了解。在我当前的项目中,我遇到了对任务进行优先排序的需求。我的意思是,如果有两种任务,比如 celery 队列中的 A 和 B,那么 celery 应该优先考虑任务 B,而不管哪个任务在队列的头部。有没有办法做到这一点?
队列优先级对我来说也很好。这意味着我可以创建 2 个不同的队列,比如 high_priority_queue 和 low_priority_queue,celery 应该始终先执行 high_priority_queue 中的任务,然后再执行 low_priority_queue。
我也知道我们可以为两个队列分配不同的工作人员,但这意味着两个队列中的任务正在同时执行。我需要首先执行 high_priority_queue 中的任务。有什么想法吗?
谢谢
请您参考如下方法:
通常建议使用具有多个队列的多工作程序方法,但正如您所指出的,低优先级队列/工作程序将在高优先级工作程序旁边同时工作。这是一个有趣的设置,如果你有很多你想很快执行的小任务,那么你把它们放在高优先级队列中,而较长的任务被推到低优先级队列中。您还可以有一个设置,您只需为高优先级工作人员提供更多资源(或更好的机器)。
由于您想要不同的解决方案,我建议为 apply_async 使用 priority 参数。正如 a different question I answered recently 中指出的那样,您确实需要一些设置它只适用于某些经纪人。 (对于 RabbitMQ,它从 3.5.0 版开始工作。)在您的队列上设置了 x-max-priority 以及引用答案中指出的其他设置后,您可以简单地将优先级放在像这样的任务:
your_task.apply_async(queue="your_queue_that_can_handle_priority", priority=10)
