Skip to main content
 首页 » 编程设计

python之如何加载带参数的起始 URL

2024年10月25日8arxive

假设我的起始 URL 分别与一个 ID 配对,例如 (http://www.foo.com, 53453)。有没有办法在给定响应的情况下读取 parse() 中的 id(假设 response.url 是起始 URL)?有没有办法给响应一个自定义的“有效负载”?我知道我可以进行数据库查找,但我想知道它是否可以在内存中完成。

谢谢

请您参考如下方法:

覆盖 start_requests() method和 yield Request 实例在 meta 中传递 id词典:

class MySpider(Spider): 
    def start_requests(self): 
        items = get_url_and_ids_from_db() 
        for url, id in items: 
            yield Request(url, meta={'id': id}) 
 
    def parse(self, response): 
        id = response.meta['id'] 
        ... 

或者,您可以在 __init__() 中从数据库中获取 url->id 映射,并通过 response.url 获取 id > 在 parse() 方法中:

class MySpider(Spider): 
    def __init__(self, *args, **kwargs): 
        super(MySpider, self).__init__(*args, **kwargs) 
 
        self.mapping = get_url_id_mapping_from_db() 
 
        self.start_urls = mapping.keys() 
 
    def parse(self, response): 
        id = self.mapping[response.url] 
        ...