所以..我得到了这个网站,我想抓取,但据我所知缺乏支持 .js 的 Mechanize ,以及一个需要启用 javascript 的浏览器的顽固站点是 不是很好的组合...
我正在寻找关于如何做到这一点的想法......
请您参考如下方法:
根据您需要执行的操作,您可以使用 webkit解析页面,这将允许您在执行 javascript 后获得最终的 html。然后,您可以使用任何像样的 html 解析器(例如 beautifulsoup)来完成剩下的工作。
所以..我得到了这个网站,我想抓取,但据我所知缺乏支持 .js 的 Mechanize ,以及一个需要启用 javascript 的浏览器的顽固站点是 不是很好的组合...
我正在寻找关于如何做到这一点的想法......
请您参考如下方法:
根据您需要执行的操作,您可以使用 webkit解析页面,这将允许您在执行 javascript 后获得最终的 html。然后,您可以使用任何像样的 html 解析器(例如 beautifulsoup)来完成剩下的工作。