Skip to main content
 首页 » 编程设计

python之Celery 任务实例化缓存

2025年02月15日13java哥

我正在尝试使用 Celery 4.0.2 在任务之间缓存一个大型资源文件。

在文档中查看它,我已经接触到任务缓存部分。

http://docs.celeryproject.org/en/latest/userguide/tasks.html#instantiation

这对于缓存资源也很有用,例如,缓存数据库连接的基本 Task 类:

from celery import Task 
 
class DatabaseTask(Task): 
    _db = None 
 
    @property 
    def db(self): 
        if self._db is None: 
            self._db = Database.connect() 
        return self._db 

在我的例子中,我做了一些更改来缓存我的大文件资源,以及它在任务之间共享的对象,但是大文件资源使用的内存永远缓存在任务中。

from celery import Task 
 
class BigResourceTask(Task): 
    _resource = None 
 
    @property 
    def resource(self): 
        if self._resource is None: 
            self._resource = load_big_resource() 
        return self._resource  

如何在执行所有相关任务后释放该内存或使其过期?

请您参考如下方法:

由于您是在检查它是否存在后按需创建 _resource,因此您可以随时删除它。

# complete all the tasks 
del BigResourceTask._resource  # free memory 
 
# do something else 
 
r = BigResourceTask.resource  # create when needed