我的蜘蛛需要在某种程度上适应我正在抓取的网站,因为我需要获取的信息有时在 div[1] 中,有时在 div[2] 中。这是一个例子:
item['details'] = site.select('//*[@id="detailFacts"]/div[2]/div[2]//text()').extract()
或
item['details'] = site.select('//*[@id="detailFacts"]/div[1]/div[2]//text()').extract()
我如何将这两个组合在一个语句中,以便 scrapy 从其中一个中获取我?
请您参考如下方法:
试试这个:
details = site.select('//*[@id="detailFacts"]/div[1]/div[2]//text()|//*[@id="detailFacts"]/div[2]/div[2]//text()').extract()
item['details'] = next(s for s in details if s) # getting first not-empty item from the list
或
details = site.select('//*[@id="detailFacts"]/div[1]|div[2]/div[2]//text()').extract()
item['details'] = next(s for s in details if s) # getting first not-empty item from the list
希望它对你有用。
