Skip to main content
 首页 » 编程设计

python之如何在 Scrapy Shell 中获取 Scrapy Response

2025年02月15日10sky-heaven

我是 Scrapy 项目的新手,阅读了很多教程。他们似乎都假设你知道如何立即解析响应对象,并且你可以立即调用响应回调(例如 scrapy.Request(url=url, callback=self.parse)) .但实际上,我需要通过反复试验来完成 CSS 选择器。

如何取回 Scrapy 响应对象,以便我可以交互地操作它?

scrapy.Request(url=url) 的响应似乎是我无法使用的东西(见截图)——没有什么可以用来解析 HTML——没有 .css 例如方法。

请您参考如下方法:

在 shell 中,使用 fetch(request)

  • fetch(url[, redirect=True]) - 从给定的 URL 获取新的响应并相应地更新所有相关对象。您可以选择通过传递 redirect=False
  • 来请求不遵循 HTTP 3xx 重定向
  • fetch(request) - 从给定的请求中获取新的响应并相应地更新所有相关对象。