python之使用 Scrapy 解析站点地图

我希望能够使用 scrapy 抓取站点地图上的链接。我对这个应用程序了解不多，所以我会对您提供的任何链接/信息/文档感兴趣。

谢谢

请您参考如下方法:

为了这个目的，一个新的通用蜘蛛刚刚被添加到 Scrapy trunk 中。它将在下一个版本(Scrapy 0.14)中可用

• 代码在这里:http://snippets.scrapy.org/snippets/20/
• 此处的文档:http://readthedocs.org/docs/scrapy/en/latest/topics/spiders.html#sitemapspider