Skip to main content
 首页 » 编程设计

python之为什么 xpath 只选择 ul> 中的最后一个 li>

2024年10月25日13jyk

我正在尝试抓取此站点:http://www.kaymu.com.ng/ .

我抓取的 HTML 部分是这样的:

<ul id="navigation-menu"> 
    <li> some content </li> 
    <li> some content </li> 
    ... 
    <li> some content </li> 
</ul> 

这是我的蜘蛛:

class KaymuSpider(Spider): 
    name = "kaymu" 
    allowed_domains = ["kaymu.com.ng"] 
    start_urls = [ 
        "http://www.kaymu.com.ng" 
    ] 
 
    def parse(self, response): 
        sel = response.selector 
        menu = sel.xpath('//ul[@id="navigation-menu"]/li') 

菜单只有列表中的最后一个 li 元素。当语法正确选择所有 li 元素时,我不确定为什么会这样。有什么不对的请指教,谢谢!

请您参考如下方法:

问题在于菜单是在浏览器执行 javascript 的帮助下动态构建的。 Scrapy 不是浏览器,也没有内置的 javascript 引擎。

希望有一个 script 标签包含菜单对象的 javascript 数组。我们可以找到所需的 script 标签,提取 javascript 数组,借助 json module 将其加载到 Python 列表中。并打印出菜单项名称。

来自 "Scrapy Shell" 的演示:

$ scrapy shell http://www.kaymu.com.ng/ 
 
In [1]: script = response.xpath("//script[contains(., 'categoryData')]/text()").extract()[0] 
 
In [2]: import re 
 
In [3]: pattern = re.compile(r'var categoryData = (.*?);\n') 
 
In [4]: data = pattern.search(script).group(1) 
 
In [5]: import json 
 
In [6]: data = json.loads(data) 
 
In [7]: for item in data: 
   ....:     print item['name'] 
   ....:      
Fashion 
Jewelry & Watches 
Health & Beauty 
Sporting Goods 
Mobile Phones & Tablets 
Audio, Video & Gaming 
Computers, Laptops & Accessories 
Appliances, Furniture & Decor 
Books & Media 
Babies & Kids 
Food & Beverages 
Other