Skip to main content
 首页 » 编程设计

python之Scrapy xpath如何

2024年11月01日7zlslch

我的蜘蛛需要在某种程度上适应我正在抓取的网站,因为我需要获取的信息有时在 div[1] 中,有时在 div[2] 中。这是一个例子:

item['details'] = site.select('//*[@id="detailFacts"]/div[2]/div[2]//text()').extract() 

或

item['details'] = site.select('//*[@id="detailFacts"]/div[1]/div[2]//text()').extract() 

我如何将这两个组合在一个语句中,以便 scrapy 从其中一个中获取我?

请您参考如下方法:

试试这个:

details = site.select('//*[@id="detailFacts"]/div[1]/div[2]//text()|//*[@id="detailFacts"]/div[2]/div[2]//text()').extract() 
item['details'] = next(s for s in details if s)  # getting first not-empty item from the list 

或

details = site.select('//*[@id="detailFacts"]/div[1]|div[2]/div[2]//text()').extract() 
item['details'] = next(s for s in details if s)  # getting first not-empty item from the list 

希望它对你有用。