Skip to main content
 首页 » 编程设计

python之使用自定义scrapy imagePipeline下载图片并覆盖已有图片

2025年05月04日7birdshome

我正在练习使用 scrapy 通过自定义 imagePipeline 裁剪图像。 我正在使用这个 code :

class MyImagesPipeline(ImagesPipeline): 
 
def get_media_requests(self, item, info): 
    for image_url in item['image_urls']: 
        yield Request(image_url) 
 
def convert_image(self, image, size=None): 
    if image.format == 'PNG' and image.mode == 'RGBA': 
        background = Image.new('RGBA', image.size, (255, 255, 255)) 
        background.paste(image, image) 
        image = background.convert('RGB') 
    elif image.mode != 'RGB': 
        image = image.convert('RGB') 
 
    if size: 
        image = image.copy() 
        image.thumbnail(size, Image.ANTIALIAS) 
    else: 
        #  cut water image  TODO use defined image replace Not cut  
        x,y = image.size 
        if(y>120): 
            image = image.crop((0,0,x,y-25)) 
 
    buf = StringIO() 
    try: 
        image.save(buf, 'JPEG') 
    except Exception, ex: 
        raise ImageException("Cannot process image. Error: %s" % ex) 
 
    return image, buf 

它运行良好但有问题。
如果文件夹中有原始图像, 然后运行蜘蛛,
它下载的图像不会替换原始图像。

如何让它覆盖原始图像?

请您参考如下方法:

有一个expiration setting ,默认为 90 天。