我正在尝试使用 Celery 4.0.2 在任务之间缓存一个大型资源文件。
在文档中查看它,我已经接触到任务缓存部分。
http://docs.celeryproject.org/en/latest/userguide/tasks.html#instantiation
这对于缓存资源也很有用,例如,缓存数据库连接的基本 Task 类:
from celery import Task
class DatabaseTask(Task):
_db = None
@property
def db(self):
if self._db is None:
self._db = Database.connect()
return self._db
在我的例子中,我做了一些更改来缓存我的大文件资源,以及它在任务之间共享的对象,但是大文件资源使用的内存永远缓存在任务中。
from celery import Task
class BigResourceTask(Task):
_resource = None
@property
def resource(self):
if self._resource is None:
self._resource = load_big_resource()
return self._resource
如何在执行所有相关任务后释放该内存或使其过期?
请您参考如下方法:
由于您是在检查它是否存在后按需创建 _resource,因此您可以随时删除它。
# complete all the tasks
del BigResourceTask._resource # free memory
# do something else
r = BigResourceTask.resource # create when needed
