我是 scrapy 的新手,我花了一整夜试图弄清楚如何将它用于我的项目。 假设我有以下网站: www.amazon.com www.ebay.com www.buydirect.com
我想从不同的站点获取商品(比如电视)的价格。我将如何使用 scrapy 执行此操作?我检查了文档,但似乎他们只使用了一个站点。谁能告诉我如何通过 scrapy 使用不同的网站来获取网站的标题。
谢谢
请您参考如下方法:
这些网上商店有 API - 您应该更容易获得必要的数据。
如果你仍然想使用 scrapy,请注意:
- 这些网站中的每一个都有不同的 html 内容和加载机制 - 这意味着每个网站都有不同的解析规则和策略
- 对于您想查找的每件商品,您都会有多个结果和价格
- 您可能需要处理基于 ajax 的分页
为每个需要抓取的站点/商店设置单独的蜘蛛听起来更好,将数据输送到数据库并在抓取后进行分析/合并。
尽管如此,这里有一个示例,说明如何在单个蜘蛛中从 amazon 和 ebay 获取标题。注意 allowed_domains 和 start_urls 未设置,使用 start_requests 方法:
from scrapy.http import Request
from scrapy.selector import HtmlXPathSelector
from scrapy.spider import BaseSpider
class GoodsSpider(BaseSpider):
name = 'goods'
def start_requests(self):
yield Request(url="http://www.amazon.com", callback=self.parse_amazon)
def parse_amazon(self, response):
hxs = HtmlXPathSelector(response)
print hxs.select('//title/text()').extract()[0]
yield Request(url="http://www.ebay.com", callback=self.parse_ebay)
def parse_ebay(self, response):
hxs = HtmlXPathSelector(response)
print hxs.select('//title/text()').extract()[0]
