如果我需要使用 Python 和 Beautiful 从网站上抓取数据以在滚动到页面底部(即无限扩展页面)时自动加载下一页,我该怎么做?是否有通用方法或需要针对每个网站量身定制?
请您参考如下方法:
如果存在动态行为,例如通过 ajax 调用加载附加内容(如 statigr.am 中所示)- 您应该在 selenium 的帮助下使用真正的浏览器或者你应该为特定的网站定制你的 web scraper 脚本并自己模拟 ajax 调用。
为了定制您的 staticgr.am 网络抓取工具,您需要使用浏览器开发工具来查看页面加载后发出的请求。你可能会注意到这个 XHR 请求是最先发出的:
http://statigr.am/controller_nl.php?action=nlGetMethod&method=mediasTag&value=cat&max_id=1371516699343
它返回包含您需要的所有数据的 json。 pagination 字典中还有一个 next_max_tag_id 键 - 它用于对 controller_nl.php 的下一个 ajax 请求。 因此,我将通过 urllib2 或 requests 模拟它们,并通过 json 模块解析 json。看起来不需要用 beautifulsoup 解析 html。
希望对您有所帮助。
