Skip to main content
 首页 » 编程设计

python之memcached 中的 Scrapy http 缓存存储

2024年11月01日8bjzhanghao

我正在使用 scrapy 框架进行抓取,我想知道是否有一种方法可以将 memcached 用作 http 缓存的存储后端(HTTPCACHE_STORAGE 选项)。开箱即用的存储是基于文件和 dbm 的,这不适合我的情况。是否有可能使用 memcached?

请您参考如下方法:

对,目前只有两个可用的内置 http 缓存存储后端(docs):

还有一个mongodb cache storage实现。

如果我是你,我会自己实现 memcached 缓存存储。应该非常简单 - 它只是一个类,其中包含多个合约方法所需的类(例如,参见 dbm storage class 或 mongodb storage class)。

希望对您有所帮助。