我有一个返回列表的 celery 任务。在此之后,我希望将列表中的每个元素发送到 2 任务链。据我所知,这就像 chord 的反转。 IE。我不想将单个任务作为 group 的回调,而是希望将 group 任务作为单个任务的回调。
类似于: group(chain(validate.s(i) | run.s(i))() for i in results_from_first_task)
有没有办法在第一个任务完成后自动执行这个组?
作为一个简化的例子,想象一个返回文件列表的简单任务:
@app.task()
def list_files(pattern):
return glob.glob(pattern)
还有另外几个对单个文件执行操作的任务:
@app.task()
def validate(path):
return my_validation_function(path)
@app.task()
def run(path):
return my_run_function(path)
我希望对 list_files 结果中的每个条目执行 validate 和 run。
请您参考如下方法:
您可以使用 celery 信号来排队您的任务。
from celery.signals import task_success
@task_success.connect()
def task_success_handler(sender=None, headers=None, body=None, **kwargs):
result = kwargs['result']
for file in result:
validate.apply_async(file)
run.apply_async(file)
或者,您可以创建一个中间任务并使用它来排队其他任务
@app.task()
def process(result):
for file in result:
validate.apply_async(file)
run.apply_async(file)
现在您可以在您的小组中使用此任务。
