当我使用 Selenium 时,我可以看到浏览器 GUI,是否可以使用 scrapy 或 scrapy 严格基于命令行?
请您参考如下方法:
不,scrapy 不支持。
Scrapy是为网络爬虫设计的,而Selenium是为浏览器自动化测试而设计的。如果您为网络爬虫的每个请求打开一个浏览器,将会消耗大量资源。
如果您打算抓取动态内容,可以引用这里:Can scrapy be used to scrape dynamic content from websites that are using AJAX?
