Skip to main content
 首页 » 编程设计

python之使用scrapy从不同站点提取信息

2024年11月01日13java哥

我是 scrapy 的新手,我花了一整夜试图弄清楚如何将它用于我的项目。 假设我有以下网站: www.amazon.com www.ebay.com www.buydirect.com

我想从不同的站点获取商品(比如电视)的价格。我将如何使用 scrapy 执行此操作?我检查了文档,但似乎他们只使用了一个站点。谁能告诉我如何通过 scrapy 使用不同的网站来获取网站的标题。

谢谢

请您参考如下方法:

这些网上商店有 API - 您应该更容易获得必要的数据。

如果你仍然想使用 scrapy,请注意:

  • 这些网站中的每一个都有不同的 html 内容和加载机制 - 这意味着每个网站都有不同的解析规则和策略
  • 对于您想查找的每件商品,您都会有多个结果和价格
  • 您可能需要处理基于 ajax 的分页

为每个需要抓取的站点/商店设置单独的蜘蛛听起来更好,将数据输送到数据库并在抓取后进行分析/合并。

尽管如此,这里有一个示例,说明如何在单个蜘蛛中从 amazon 和 ebay 获取标题。注意 allowed_domains 和 start_urls 未设置,使用 start_requests 方法:

from scrapy.http import Request 
from scrapy.selector import HtmlXPathSelector 
from scrapy.spider import BaseSpider 
 
 
class GoodsSpider(BaseSpider): 
    name = 'goods' 
 
    def start_requests(self): 
        yield Request(url="http://www.amazon.com", callback=self.parse_amazon) 
 
    def parse_amazon(self, response): 
        hxs = HtmlXPathSelector(response) 
 
        print hxs.select('//title/text()').extract()[0] 
 
        yield Request(url="http://www.ebay.com", callback=self.parse_ebay) 
 
    def parse_ebay(self, response): 
        hxs = HtmlXPathSelector(response) 
 
        print hxs.select('//title/text()').extract()[0]