我正在尝试从以下网页抓取一些数据:
College Board - Georgia Institute of Technology
但我需要访问的信息只有在按下左侧的“应用”选项卡后才会显示。由于 URL 没有改变,我如何模拟按下按钮以抓取 HTML?
我正在使用 Python3.3 和请求模块。
请您参考如下方法:
根据页面源代码,您需要的信息隐藏在javascript代码中,并在点击“应用”链接后计算和呈现。
requests 根本无法在浏览器中进行用户操作,并且由于单击“应用”后没有其他请求,因此如果没有真正的浏览器来运行该 js 代码,您将无法获取数据. Mechanize也无济于事,因为它无法处理 js。
考虑使用 selenium (仅供引用,您也可以 use a headless PhantomJS browser )。
希望对您有所帮助。
