Skip to main content
 首页 » 编程设计

Python Celery之如何分离日志文件

2024年10月25日10rubylouvre

默认情况下,python celery 包集中了日志。 在我的设计规范中,我希望将每个工作人员的日志写入一个单独的文件,其中文件名将与发送到任务的唯一 ID 相匹配。 集中日志显示日志来自哪个 worker ,但我不知道如何将 id 映射到 worker 编号。

为了分散日志,我尝试了:

import logging 
CELERYD_HIJACK_ROOT_LOGGER = False 
app = Celery() 
@app.task 
def my_task(id): 
    logging.basicConfig(filename='/tmp/%i.log' % id) 
    my_package.do_somthing() 
    logging.info('hi') 

但这并没有创建任何日志文件。 有没有一种方法可以分离日志或将工作人员编号映射到 ID,以便我可以生成单独的日志?


更新:

阅读 http://docs.celeryproject.org/en/latest/userguide/tasks.html#names 我试过这种方法仍然无法制作单独的日志:

celeryconfig.py:

CELERYD_HIJACK_ROOT_LOGGER = 假

主要.py

import logging 
app = Celery() 
app.config_from_object('celeryconfig') 
@app.task(bind=True) 
def my_task(self, id): 
    self.request.logfile = '/tmp/%i.log' % id 
    my_package.do_somthing() 
    logging.info('hi') 

此外,我还发现了一个博客:http://echorand.me/2012/08/14/celery-and-python-logging/ 并尝试过。它只会将日志消息“hi”写入单独的文件,但会继续从

发送日志
my_package.do_somthing() 

到标准输出意味着记录器不是全局固定的并且在记录器周围传递会变得非常困惑所以不会这样做。


更新

我尝试了博客中的代码: https://github.com/kouroshparsa/celery_separate_logging/tree/master/celery_example

当调用 mylib/fire.py: burn 方法时,日志记录不会存储在任何地方。

请您参考如下方法:

您必须先禁用 celery 日志记录。你可以通过设置

 CELERYD_HIJACK_ROOT_LOGGER = False  

在你的配置中或者你可以使用Celery signals .

现在如果你运行你的 worker ,你不会看到任何信息。

让我们写一个简单的记录器,把事情记录到单独的文件中

def custom_logger(name): 
    logger = logging.getLogger(name) 
    logger.setLevel(logging.DEBUG) 
    handler = logging.FileHandler(os.path.join('/tmp/', name + '.log'), 'w') 
    logger.addHandler(handler) 
    return logger 
 
 
@app.task() 
def add(x, y): 
 
    task_id = add.request.id 
    l = custom_logger(task_id) 
    l.info("Testing Log") 
 
    return x + y 

对于每个任务,这都会创建一个以任务 ID 作为名称的新文件,并记录您想要的任何内容。