Skip to main content
 首页 » 编程设计

python之调用 celery.task.chunks 的正确方法是什么

2024年10月25日10lexus

我正在使用 Python3 和 celery 处理并行任务。我喜欢把它分成几个 block ,这样就可以节省网络通信的成本。但是,celery 文档没有透露有关如何调用结果 block 的足够详细信息。尝试了不同的方法,但它们没有像我预期的那样工作。我的代码段如下:

@app.task(name='pl.startregret') 
def startregret(**kwargs):  
    items = list(zip(range(1000), range(1000))) 
    chunk = regretclick.chunks(items, 10) 
    print(chunk) 
    for c in chunk: 
        print(c) 
 
 
@app.task(name='pl.regretclick') 
def regretclick(x,y): 
    print('got it.') 
    return x + y 

我读了一些代码,认为我代码中的 block 应该是一个生成器。但是,打印输出显示

[2014-10-15 13:12:15,930: WARNING/Worker-2] args 
[2014-10-15 13:12:15,931: WARNING/Worker-2] subtask_type 
[2014-10-15 13:12:15,931: WARNING/Worker-2] kwargs 
[2014-10-15 13:12:15,931: WARNING/Worker-2] immutable 
[2014-10-15 13:12:15,931: WARNING/Worker-2] options 
[2014-10-15 13:12:15,931: WARNING/Worker-2] task 

关于调用 block 的正确方法有什么建议吗?

谢谢,

更新: 我已经阅读了源代码并尝试了 chunk()。看起来现在唯一的问题是使用默认队列而不是 celeryconfig 中定义的队列。

请您参考如下方法:

考虑这样一个简单的添加任务。

@app.task() 
def add(x, y): 
    return x + y 

这里是调用 block 任务的简单方法。

res = add.chunks(zip(range(10), range(10)), 2)() 

这会将给定的 10 个任务分成 5 个任务,每个任务大小为 2,并将分块任务 添加到默认队列。如果你想将它路由到不同的队列,那么你必须在调用任务时指定它。

res = add.chunks(zip(range(10), range(10)), 2).apply_async(queue='my_special_queue') 

然后为这个队列启动一个worker来消费任务

worker -A your_app worker -l info -Q my_special_queue