我正在用 Celery 替换一些自己开发的代码,但很难复制当前的行为。我期望的行为如下:
- 创建新用户时,应使用
user.created路由键向tasks交换发布消息。 - 此消息应触发两个 Celery 任务,即
send_user_activate_email和check_spam。
我尝试通过使用 ignore_result=True 参数定义一个 user_created 任务,以及一个用于 send_user_activate_email 和 check_spam 的任务来实现这一点。
在我的配置中,我添加了以下路由和队列定义。当消息传递到 user_created 队列时,它不会传递到其他两个队列。
理想情况下,邮件只传递到 send_user_activate_email 和 check_spam 队列。当使用 vanilla RabbitMQ 时,消息被发布到交换器,队列可以绑定(bind)到交换器,但 Celery 似乎直接将消息传递到队列。
我将如何在 Celery 中实现上述行为?
CELERY_QUEUES = {
'user_created': {'binding_key':'user.created', 'exchange': 'tasks', 'exchange_type': 'topic'},
'send_user_activate_email': {'binding_key':'user.created', 'exchange': 'tasks', 'exchange_type': 'topic'},
'check_spam': {'binding_key':'user.created', 'exchange': 'tasks', 'exchange_type': 'topic'},
}
CELERY_ROUTES = {
'user_created': {
'queue': 'user_created',
'routing_key': 'user.created',
'exchange': 'tasks',
'exchange_type': 'topic',
},
'send_user_activate_email': {
'queue': 'user_created',
'routing_key': 'user.created',
'exchange': 'tasks',
'exchange_type': 'topic',
},
'check_spam': {
'queue': 'user_created',
'routing_key': 'user.created',
'exchange': 'tasks',
'exchange_type': 'topic',
},
}
请您参考如下方法:
听起来您希望单个消息触发/被两个队列使用,但这不是 Celery 的工作方式。 Exchange 会将任务发布到符合条件的队列,但一旦它被消费,其他队列就会忽略该消息。每个要触发的任务都需要一条消息。
新的 Celery 用户经常会感到困惑,因为在这个系统中“队列”有两种用途; Queue() 和文档引用的 Kombu 队列,以及直接保存消息并由工作人员使用的 AMQP 队列。当我们发布到队列时,我们想到的是 AMQP,这是不正确的。 (感谢下面链接的答案)。
回到您的问题,如果我理解正确的话,当使用 user_created 时,您希望它再产生两个任务; send_user_activate_email 和 check_spam。此外,它们不应相互依赖;它们可以在不同的机器上并行运行,并且不需要知道彼此的状态。
在这种情况下,您希望 user_created“apply_async”这两个新任务并返回。这可以直接完成,或者您可以使用包含 check_spam 和 send_user_activate_email 的 Celery“组”来实现此目的。该小组提供了一些很好的速记并为您的任务提供了一些结构,所以我个人会插入您朝这个方向前进。
#pseudocode
group(check_spam.s(... checkspam kwargs ...), send_user_activate_email.s(... active email kwargs ...)).apply_async()
此设置将创建四个消息;一个用于您要执行的每个任务,一个用于 Group(),它本身会有一个结果。
在您的情况下,我不确定 Exchange 或 ignore_result 是否必要,但我需要查看任务代码并更多地了解系统才能做出判断。
http://docs.celeryproject.org/en/latest/userguide/canvas.html#groups http://celery.readthedocs.org/en/v2.2.6/userguide/routing.html#exchanges-queues-and-routing-keys Why do CELERY_ROUTES have both a "queue" and a "routing_key"?
(如果我跑题了,我会删除/删除答案...)
