我正在尝试使用 python 抓取使用 vaadin 创建的网站。这是我使用的代码:
requests.get('http://rnb.osim.ro/?pn=').text
但这是不包含任何有用信息的结果:
<noscript>
You have to enable javascript in your browser to use an application built with Vaadin.
</noscript>
</div>
<script type="text/javascript" src="./VAADIN/vaadinBootstrap.js"></script>
<script type="text/javascript">//<!
您知道如何从 vaadin 站点获取我需要的数据吗?
请您参考如下方法:
发生这种情况是因为 requests 无法真正执行网站内的 JavaScript。正如您所想,requests 只是一个请求,而不是一个可以处理 JS 并与前端框架(即 Angular、React、Ajax)配合使用的浏览器。要抓取这个现代而强大的网站,我个人建议使用 scrapy 库。它专为抓取而设计,可以稍微处理 JavaScript。即使不能,您仍然可以使用 selenium 网络驱动程序 来完全模拟浏览器。
