<分区> 分区>
上下文:
我正在尝试抓取 Google Play 网站上的页面
当我使用浏览器浏览该页面并使用浏览器滚动条向下滚动时,我得到了新的应用程序/项目。这绝对是一个 AJAX 调用。
问题:
我不知道如何使用 Scrapy 获取使用浏览器滚动条滚动时获得的应用程序。
我尝试过的:
我抓取了那个页面并打印了响应:
如您所见,有一个加载信号,使用浏览器不会出现,因为它会自动调用 AJAX 调用。
备注:
我知道我们可以使用 Scrapy 来调用 HXR AJAX 调用,但我希望我的蜘蛛抓取该页面直到没有应用程序,这样蜘蛛应该(如果有的话)自动知道 AJAX 调用。
我在 Windows 7 64 位上使用 python 2.7.9 和 Scrapy 0.26
注2:
我已经查过了this thread
非常感谢
