Skip to main content
 首页 » 编程设计

python之celery 组作为回调

2025年02月15日7leader

我有一个返回列表的 celery 任务。在此之后,我希望将列表中的每个元素发送到 2 任务链。据我所知,这就像 chord 的反转。 IE。我不想将单个任务作为 group 的回调,而是希望将 group 任务作为单个任务的回调。

类似于: group(chain(validate.s(i) | run.s(i))() for i in results_from_first_task)

有没有办法在第一个任务完成后自动执行这个组?

作为一个简化的例子,想象一个返回文件列表的简单任务:

@app.task() 
def list_files(pattern): 
  return glob.glob(pattern) 

还有另外几个对单个文件执行操作的任务:

@app.task() 
def validate(path): 
    return my_validation_function(path) 
 
@app.task() 
def run(path): 
    return my_run_function(path) 

我希望对 list_files 结果中的每个条目执行 validate 和 run。

请您参考如下方法:

您可以使用 celery 信号来排队您的任务。

from celery.signals import task_success 
 
 
@task_success.connect() 
def task_success_handler(sender=None, headers=None, body=None, **kwargs): 
    result = kwargs['result'] 
    for file in result: 
        validate.apply_async(file) 
        run.apply_async(file) 

或者,您可以创建一个中间任务并使用它来排队其他任务

@app.task() 
def process(result): 
    for file in result: 
        validate.apply_async(file) 
        run.apply_async(file) 

现在您可以在您的小组中使用此任务。