Skip to main content
 首页 » 编程设计

python之如何使用 scrapy 抓取 Google Play 网站

2024年10月25日11langtianya

<分区>

上下文:

  1. 我正在尝试抓取 Google Play 网站上的页面

  2. 当我使用浏览器浏览该页面并使用浏览器滚动条向下滚动时,我得到了新的应用程序/项目。这绝对是一个 AJAX 调用。

问题:

我不知道如何使用 Scrapy 获取使用浏览器滚动条滚动时获得的应用程序。

我尝试过的:

我抓取了那个页面并打印了响应:

如您所见,有一个加载信号,使用浏览器不会出现,因为它会自动调用 AJAX 调用。

备注:

我知道我们可以使用 Scrapy 来调用 HXR AJAX 调用,但我希望我的蜘蛛抓取该页面直到没有应用程序,这样蜘蛛应该(如果有的话)自动知道 AJAX 调用。

我在 Windows 7 64 位上使用 python 2.7.9 和 Scrapy 0.26

注2:

我已经查过了this thread

非常感谢