Skip to main content
 首页 » 编程设计

python之celery :在所有子任务的所有子任务运行后调用任务

2024年10月24日1252php

我有两个主要任务:ma​​in_A 和 ma​​in_B。

extract_new 产生了大量的 sub 任务,这些任务本身产生了 subsub1 和 subsub2 任务。

我想在所有subsubA 和subsubB 任务运行后运行ma​​in_B。在此图中,任务依赖于上述任务:

                  main_A 
                  /    \ 
                 /      \ 
                /        \ 
               /          \ 
              sub          sub 
              /\           / \ 
             /  \         /   \ 
          sub1   sub2    sub1  sub2 
            \     |      /      / 
             \    |     /      / 
              \   |    /      / 
               \  |   /      / 
 
                  main_B 

我该怎么做?如果我将 ma​​in_B 设置为 ma​​in_A 的回调,它将在 ma​​in_A 生成 sub 任务后运行.如果我将 sub 任务作为与 ma​​in_B 作为回调的和弦运行,ma​​in_B 将在 subsub1 之前运行,并且subsub2 已完成。

这两个都不是选项,因为 main_B 依赖于 sub、subsub1 和 subsub2 任务创建的数据。

请您参考如下方法:

您应该能够使用 AsyncResult.collect() 来管理它 - 请参阅 docs

@app.task 
def runner(x, y, z): 
    result = main_a.apply_async((x, y,z)) 
    result.collect() 
 
    main_B.apply_async() 

你还需要检查错误等