Skip to main content
 首页 » 编程设计

python之如何让scrapy转到下一页

2024年10月25日10mayingbao

我正在尝试用 Scapy 构建抓取工具。 我不明白为什么 Scrapy 不想转到下一页。我想从分页区域中提取链接..但是,唉。 我提取用于转到下一页的 url 的规则

Rule(LinkExtractor(restrict_xpaths='/html/body/div[19]/div[5]/div[2]/div[5]/div/div[3]/ul',allow=('page=[0-9]*')), follow=True) 

爬虫

Class DmozSpider(CrawlSpider): 
    name = "arbal" 
    allowed_domains = ["bigbasket.com"] 
    start_urls = [ 
        "http://bigbasket.com/pc/bread-dairy-eggs/bread-bakery/?nc=cs" 
    ] 
 
    rules = ( 
             Rule(LinkExtractor(restrict_xpaths='/html/body/div[19]/div[4]/ul',allow=('pc\/.*.\?nc=cs')), follow=True), 
             Rule(LinkExtractor(restrict_xpaths='/html/body/div[19]/div[5]/div[2]/div[5]/div/div[3]/ul',allow=('page=[0-9]*')), follow=True), 
             Rule(LinkExtractor(restrict_xpaths='//*[@id="products-container"]',allow=('pd\/*.+')), callback='parse_item', follow=True) 
             ) 
 
    def parse_item(self, response): 
        item = AlabaItem() 
        hxs = HtmlXPathSelector(response) 
        item['brand_name'] = hxs.select('.//*[contains(@id, "slidingProduct")]/div[2]/div[1]/a/text()').extract() 
        item['prod_name'] =  hxs.select('//*[contains(@id, "slidingProduct")]/div[2]/div[2]/h1/text()').extract() 
        yield item 

请您参考如下方法:

有一个 AJAX 风格的分页,虽然不容易遵循,但可行。

使用浏览器开发人员工具,您可能会看到每次切换页面时,都会有一个 XHR 请求被发送到 http://bigbasket.com/product/facet/get-page/ 并带有 sid 和 page 参数:

问题是 sid 参数 - 这是我们将从页面上包含 sid 的第一个链接中提取的内容。

响应采用 JSON 格式,包含 products 键,它基本上是页面上 products_container block 的 HTML 代码。

请注意,CrawlSpider 在这种情况下无济于事。我们需要使用常规蜘蛛并“手动”跟踪分页。

您可能有另一个问题:我们怎么知道要跟随多少页 - 这里的想法是从页面底部的“显示 Z 产品的 X - Y”标签中提取页面上的产品总数页面,然后将产品总数除以 20(每页 20 个产品)。

实现:

import json 
import urllib 
 
import scrapy 
 
 
class DmozSpider(scrapy.Spider): 
    name = "arbal" 
    allowed_domains = ["bigbasket.com"] 
    start_urls = [ 
        "http://bigbasket.com/pc/bread-dairy-eggs/bread-bakery/?nc=cs" 
    ] 
 
    def parse(self, response): 
        # follow pagination 
        num_pages = int(response.xpath('//div[@class="noItems"]/span[@class="bFont"][last()]/text()').re(r'(\d+)')[0]) 
        sid = response.xpath('//a[contains(@href, "sid")]/@href').re(r'sid=(\w+)(?!&|\z)')[0] 
 
        base_url = 'http://bigbasket.com/product/facet/get-page/?' 
        for page in range(1, num_pages/20 + 1): 
            yield scrapy.Request(base_url + urllib.urlencode({'sid': sid, 'page': str(page)}), dont_filter=True, callback=self.parse_page) 
 
    def parse_page(self, response): 
        data = json.loads(response.body) 
 
        selector = scrapy.Selector(text=data['products']) 
        for product in selector.xpath('//li[starts-with(@id, "product")]'): 
            title = product.xpath('.//div[@class="muiv2-product-container"]//img/@title').extract()[0] 
            print title 

对于 start_urls 中设置的页面,它会打印 281 个产品标题。