Skip to main content
 首页 » 编程设计

python之Scrapy之输入处理器

2025年04月02日14myhome

项目.py:

import scrapy 
from scrapy.loader.processors import MapCompose 
 
def filter_spaces(value): 
    return value.strip(" ").strip("\n") 
 
class LotItem(scrapy.Item): 
    num = scrapy.Field(input_processor=MapCompose(filter_spaces)) 

蜘蛛.py:

def parse_item(self, response): 
    item = LotItem()                     
    item['num'] = response.xpath('//div/span/text()').extract()[0] 
    yield item 

response.xpath('//div/span/text()').extract()[0] 返回一种

"\n1234     " 

我需要把它变成:"1234"

但我仍然得到表单中的对象 - {'num': '\n1234 '}

非常感谢!!!

请您参考如下方法:

您可以将 response.xpath 与正则表达式一起使用,而不是使用 extract()。数字是这样的:

response.xpath("//div/span/text()").re(r"(?:'num':\s'\\n)([0-9]*)(?:\s*')") 

或者类似城市的东西:

.re(r'(?:\\"city\\":\s\"G\\\)(.*)(?:\\")') 

(所有正则表达式都未经测试,可能需要稍作调整。)