目标:从 div 类 list_area daily_all 中抓取文本数据。
使用 scrapy shell ,我首先“抓取”了我想从中抓取数据的网站: https://comic.naver.com/webtoon/weekday.nhn
使用'scrapy shell'脚本: scrapy shell 'https://comic.naver.com/webtoon/weekday.nhn'
然后使用 xpath,我想从 div 类“list_area daily_all”中抓取所有文本数据:
response.xpath("//div[@id='wrap']/div[@id='container']/div[@class='list_area daily_all']/text()")
但是,上面的代码没有返回任何东西。 我做错了什么?
请您参考如下方法:
因为 div[@id='container'] 和 div[@class='list_area daily_all'] 不是父子,所以你不会得到对象。
再加一个斜杠就成功了:
In [1]: response.xpath("//div[@id='wrap']/div[@id='container']//div[@class='list_area daily_all']")
Out[1]: [<Selector xpath="//div[@id='wrap']/div[@id='container']//div[@class='list_area daily_all']" data=u'<div class="list_area daily_all">\r\n '>]
文本也一样。你选择了很大的 block ,里面有很多标签和文本。您可以像这里一样选择所有文本:
In [2]: response.xpath("//div[@id='wrap']/div[@id='container']//div[@class='list_area daily_all']//text()")
Out[2]:
[<Selector xpath="//div[@id='wrap']/div[@id='container']//div[@class='list_area daily_all']//text()" data=u'\r\n \r\n\t\t\t\t'>,
<Selector xpath="//div[@id='wrap']/div[@id='container']//div[@class='list_area daily_all']//text()" data=u'\r\n\t\t\t\t\t'>,
...
或者在您的选择器中更精确。
