我正在使用 celery 3.0.20,我很难让 celery 任务与不同的队列一起工作。
我的 celery worker 使用队列配置启动
-Q:w1 default -Q:w2 longrunning
Django 设置包含以下 celery 配置:
CELERY_QUEUES = (
Queue('default', Exchange('default'), routing_key='default'),
Queue('longrunning', Exchange('longrunning'), routing_key='longrunning'),
)
CELERY_DEFAULT_QUEUE = 'default'
CELERY_DEFAULT_EXCHANGE_TYPE = 'direct'
CELERY_DEFAULT_ROUTING_KEY = 'default'
CELERY_ROUTES = ({'mytasks.task_a.run': {
'queue': 'longrunning',
'routing_key': 'longrunning'
}},
到目前为止,还不错。默认情况下,所有任务都进入 default 队列,task_a 进入长时间运行队列。
task_a模块实现如下:
from celery import task
@task
def run():
# do some task work
现在,我有一个不同的任务作为继承自 celery.Task 的类实现的问题:
from celery import Task
class AnotherTask(Task):
def run(self, *args, **kwargs):
# do some task work
当 AnotherTask 类现在驻留在 task_b 模块中时,我无法使该任务在 longrunning 队列中执行:我尝试添加它到 CELERY_ROUTES 不同的变体,它们都不起作用:
{'mytasks.task_b': {
'queue': 'longrunning',
'routing_key': 'longrunning'
}}
-
{'mytasks.task_b.AnotherTask': {
'queue': 'longrunning',
'routing_key': 'longrunning'
}}
-
{'mytasks.task_b.AnotherTask.run': {
'queue': 'longrunning',
'routing_key': 'longrunning'
}}
我还尝试切换到默认交换类型 'topic',但这也没有用。
有什么提示可以让 AnotherTask 类中的任务在 longrunning 队列中执行吗?
请您参考如下方法:
好的,我找到问题了。
这是因为所有其他任务最终都在 longrunning 队列中,并定期以 celerybeat 启动。新任务是从网络环境开始的。并且 celerybeat 设置导入了包含 CELERY_ROUTES dict 的设置,web 环境设置没有。啊!
