Skip to main content
 首页 » 编程设计

python之scrapy管道中的结构化图像下载

2024年10月25日11TianFang

编辑:
这不是旧版本 scrapy 的副本。 Scrapy 最近几年发生了变化,当前版本是 0.24

Scrapy 在这几年的发展中发生了翻天覆地的变化。大多数关于 scrapy 的 stackoverflow 答案都已经过时了。

我正在使用 scrapy 0.24.4 并希望以单独的方式为每个链接下载图像。现在,使用 scrapy 文档,我可以下载图像,但它们只驻留在一个文件夹中。

我正在使用下面的代码,所以它会根据每个 url 保存在单独的文件夹中,但无法实现。这段代码甚至不运行,它驻留在 pipelines.py 中。仅执行图像管道的默认行为,即它下载 item['image_urls'] 中的每个 url。

管道.py

import scrapy 
from scrapy.contrib.pipeline.images import ImagesPipeline 
from scrapy.exceptions import DropItem 
import urlparse  
import urllib 
 
class RecursiveScrapPipeline(object): 
 
    """Custom Image to save in Structured folder """ 
 
    def process_item(self, item, spider): 
        #item currently is image name 
        image_guid =  item 
 
        return "%s/full/%s.jpg"% (id,image_guid) 
    #this should work , exactly as per documentation  
 
 
 
    def get_media_requests(self, item, info): 
 
        for image_url in item['image_urls']: 
            yield scrapy.Request(image_url,meta={'id':item['Property_name']}) 

我走的路对吗?可能的解决方案是什么?

请您参考如下方法:

我实际上不确定您要在此管道中做什么,但似乎有些地方不对劲。有可能我完全误解了您的意图,因此在这种情况下,请详细说明您的实现细节。

与此同时,这里有一些可能会出现问题的地方:

  1. 如果您的目标是改变此管道的默认行为,您应该继承 ImagesPipeline。您还应该确保您的管道在 settings.py 中启用。

  2. process_item() 方法应该返回一个 Item() 对象或引发一个 DropItem() 异常,但您返回的是一个字符串?更糟糕的是,它是通过将项目对象隐式转换为字符串而创建的字符串?这在这种情况下没有意义。如果您认为不应在 ImagesPipeline 中重写该方法,则更少。

  3. 如果 item_completed() 没有实现,这是在单个项目的所有图像请求都已完成(完成下载或由于某种原因失败)时调用的方法。从那里,您也可以看到图像的下载路径,并在必要时移动它。

请阅读 Downloading Item images 的官方文档在官方文档上进一步说明。