我是 Scrapy 项目的新手,阅读了很多教程。他们似乎都假设你知道如何立即解析响应对象,并且你可以立即调用响应回调(例如 scrapy.Request(url=url, callback=self.parse)) .但实际上,我需要通过反复试验来完成 CSS 选择器。
如何取回 Scrapy 响应对象,以便我可以交互地操作它?
scrapy.Request(url=url) 的响应似乎是我无法使用的东西(见截图)——没有什么可以用来解析 HTML——没有 .css 例如方法。
请您参考如下方法:
在 shell 中,使用 fetch(request)
fetch(url[, redirect=True])- 从给定的 URL 获取新的响应并相应地更新所有相关对象。您可以选择通过传递 redirect=False 来请求不遵循 HTTP 3xx 重定向
fetch(request)- 从给定的请求中获取新的响应并相应地更新所有相关对象。
