Skip to main content
 首页 » 编程设计

python之如何在 Scrapy 中将显示从无变为阻止

2025年01月19日9三少

我正在尝试从下拉菜单中抓取数据(这里是 link)。在检查获取 xpath 的过程中,我意识到没有显示。那么有什么方法可以从显示设置为无的下拉菜单(适合以下汽车)中抓取数据。如果是/否,如何/为什么?

请您参考如下方法:

您要抓取的数据通过 Ajax 调用填充。因此,您需要找出 Ajax 调用的 url。一旦你明白了,你的工作就很容易了。

按照以下步骤操作。

  1. 打开 Chrome
  2. 打开链接
  3. 打开开发者控制台
  4. 转到网络标签
  5. 现在点击“适合以下汽车”
  6. 在网络选项卡中,查看正在发生的调用

在您的情况下,这是一个即时发生的发布请求。

这是通话画面

因此,需要找到url和请求时传递的请求参数。

可以看到请求参数如下:

  1. 商品编号:31426
  2. 技术文档编号:33503

现在你得到了 url 和数据,这只是几行代码的问题。