编辑:
这不是旧版本 scrapy 的副本。 Scrapy 最近几年发生了变化,当前版本是 0.24
Scrapy 在这几年的发展中发生了翻天覆地的变化。大多数关于 scrapy 的 stackoverflow 答案都已经过时了。
我正在使用 scrapy 0.24.4 并希望以单独的方式为每个链接下载图像。现在,使用 scrapy 文档,我可以下载图像,但它们只驻留在一个文件夹中。
我正在使用下面的代码,所以它会根据每个 url 保存在单独的文件夹中,但无法实现。这段代码甚至不运行,它驻留在 pipelines.py 中。仅执行图像管道的默认行为,即它下载 item['image_urls'] 中的每个 url。
管道.py
import scrapy
from scrapy.contrib.pipeline.images import ImagesPipeline
from scrapy.exceptions import DropItem
import urlparse
import urllib
class RecursiveScrapPipeline(object):
"""Custom Image to save in Structured folder """
def process_item(self, item, spider):
#item currently is image name
image_guid = item
return "%s/full/%s.jpg"% (id,image_guid)
#this should work , exactly as per documentation
def get_media_requests(self, item, info):
for image_url in item['image_urls']:
yield scrapy.Request(image_url,meta={'id':item['Property_name']})
我走的路对吗?可能的解决方案是什么?
请您参考如下方法:
我实际上不确定您要在此管道中做什么,但似乎有些地方不对劲。有可能我完全误解了您的意图,因此在这种情况下,请详细说明您的实现细节。
与此同时,这里有一些可能会出现问题的地方:
如果您的目标是改变此管道的默认行为,您应该继承 ImagesPipeline。您还应该确保您的管道在
settings.py中启用。process_item()方法应该返回一个 Item() 对象或引发一个DropItem()异常,但您返回的是一个字符串?更糟糕的是,它是通过将项目对象隐式转换为字符串而创建的字符串?这在这种情况下没有意义。如果您认为不应在 ImagesPipeline 中重写该方法,则更少。如果
item_completed()没有实现,这是在单个项目的所有图像请求都已完成(完成下载或由于某种原因失败)时调用的方法。从那里,您也可以看到图像的下载路径,并在必要时移动它。
请阅读 Downloading Item images 的官方文档在官方文档上进一步说明。
