我一直在练习我在 Python 中的抓取能力。我已经很不错了,但是遇到了一些让我很困惑的网站。他们使用 Ajax 来查找附近的位置。有几个网站以相同的方式设计。其中一个网站是 www.applebees.com。即使使用 Firebug 我也找不到答案。
Python 如何通过 ajax 调用请求位置?我完全被难住了。
该页面是 www.applebees.com,右侧有一个表格用于输入邮政编码,它会拉出离该邮政编码最近的位置。但是,如果我在输入此邮政编码后提取源代码,位置仍然不会显示在源文件中。请求/响应完全是 ajax 并隐藏在 html 源中,我从未见过类似的东西。我现在正在尝试研究解决方案。
请您参考如下方法:
对于某些站点来说,使用 http 库以编程方式进行抓取可能很困难。如果你试图在 JavaScript 繁重的网站(ajax 或其他)上模拟用户交互,你可能会考虑使用像 selenium 这样的东西来驱动一个真正的浏览器。有 python 客户端浏览,您将获得对页面 DOM 的一些访问权限。
