为什么 HttpCachedMiddleware 需要 scrapy.cfg,我该如何解决这个问题?
我使用scrapyd-deploy构建egg,并将项目部署到scrapyd。
当作业运行时,我从日志输出中看到 HttpCacheMiddleware 被禁用,因为找不到 scrapy.cfg。
2014-06-08 18:55:51-0700 [scrapy] WARNING: Disabled HttpCacheMiddleware: Unable to find scrapy.cfg file to infer project data dir
我查看了egg文件,确实没有scrapy.cfg,因为egg文件只包含项目目录下的文件。我可能是错的,但我认为 egg 构建正确。
foo/
|- project/
| |- __init__.py
| |- settings.py
| |- spiders/
| |- ...
|- scrapy.cfg
深入研究 code此外,我认为三个 if 条件之一在 MiddlewareManager 中以某种方式失败。
try:
mwcls = load_object(clspath)
if crawler and hasattr(mwcls, 'from_crawler'):
mw = mwcls.from_crawler(crawler)
elif hasattr(mwcls, 'from_settings'):
mw = mwcls.from_settings(settings)
else:
mw = mwcls()
middlewares.append(mw)
except NotConfigured, e:
if e.args:
clsname = clspath.split('.')[-1]
log.msg(format="Disabled %(clsname)s: %(eargs)s",
level=log.WARNING, clsname=clsname, eargs=e.args[0])
请您参考如下方法:
在你的工作目录下放置一个空的scrapy.cfg。
作为source code显示,project_data_dir 将尝试找到最接近的 scrapy.cfg 并使用它来推断项目数据目录。
