所以我不确定如何在这里进行。我有一个我试图抓取的页面示例:
http://www.yonhapnews.co.kr/sports/2015/06/05/1001000000AKR20150605128600007.HTML?template=7722
现在我有 xpath 选择“文章”div 类,然后是后续的 <p>然后我总是可以删除第一个,因为它是相同的股票新闻文本(城市、联合新闻、记者等)我正在评估单词密度,所以这对我来说可能是个问题:(
问题出现在文章末尾。如果你看向最后,有一个记者的电子邮件地址和发布日期和时间......
问题是在这个站点的不同页面上,有不同数量的<p>。标签接近尾声,所以我不能只删除最后两个,因为它有时仍然会影响我的结果。
您将如何消除那些特定的 <p>元素接近尾声?之后我是否只需要尝试清理我的数据?
这是选择路径并消除第一个 <p> 的代码片段和最后两个。我应该如何更改它?
# gets all the text from the listed div and then applies the regex to find all word objects in hanul range
hangul_syllables = response.xpath('//*[@class="article"]/p//text()').re(ur'[\uac00-\ud7af]+')
# For yonhapnews the first and the last two <p>'s are useless, everything else should be good
hangul_syllables = hangul_syllables[1:-2]
请您参考如下方法:
您可以调整您的 XPath 表达式,使其不包含具有 class="adrs"(发布日期)的 p 标记:
//*[@class="article"]/p[not(contains(@class, "adrs"))]//text()
