我正在创建一个聚合器，我开始使用 scrapy 作为我的初始工具集。 起初我只有几个蜘蛛，但随着项目的发展，随着我抓取越来越多的站点，我可能有数百甚至上千个不同的蜘蛛。 管理这些蜘蛛的最佳方法是什么，因为有些网站只需要抓取一次，有些则需要更频繁地抓取？ 在处理这么多网站时，scrapy 仍然是一个很好的工具吗？或者您会推荐一些其他技术。
请您参考如下方法:
可以查看项目scrapely ，那是来自 scrapy 的创造者。但是，据我所知，它不适合解析包含 javascript 的站点(更准确地说，如果解析的数据不是由 javascript 生成的)。
