Skip to main content
 首页 » 编程设计

python之关于 XPath 选择器的问题(针对 Scrapy)

2024年11月24日7jiqing9006

目标:从 div 类 list_area daily_all 中抓取文本数据。

使用 scrapy shell ,我首先“抓取”了我想从中抓取数据的网站: https://comic.naver.com/webtoon/weekday.nhn

使用'scrapy shell'脚本: scrapy shell 'https://comic.naver.com/webtoon/weekday.nhn'

然后使用 xpath,我想从 div 类“list_area daily_all”中抓取所有文本数据:

response.xpath("//div[@id='wrap']/div[@id='container']/div[@class='list_area daily_all']/text()") 

但是,上面的代码没有返回任何东西。 我做错了什么?

请您参考如下方法:

因为 div[@id='container'] 和 div[@class='list_area daily_all'] 不是父子,所以你不会得到对象。

再加一个斜杠就成功了:

In [1]: response.xpath("//div[@id='wrap']/div[@id='container']//div[@class='list_area daily_all']") 
Out[1]: [<Selector xpath="//div[@id='wrap']/div[@id='container']//div[@class='list_area daily_all']" data=u'<div class="list_area daily_all">\r\n     '>] 

文本也一样。你选择了很大的 block ,里面有很多标签和文本。您可以像这里一样选择所有文本:

In [2]: response.xpath("//div[@id='wrap']/div[@id='container']//div[@class='list_area daily_all']//text()") 
Out[2]:  
[<Selector xpath="//div[@id='wrap']/div[@id='container']//div[@class='list_area daily_all']//text()" data=u'\r\n                \r\n\t\t\t\t'>, 
 <Selector xpath="//div[@id='wrap']/div[@id='container']//div[@class='list_area daily_all']//text()" data=u'\r\n\t\t\t\t\t'>, 
... 

或者在您的选择器中更精确。