Skip to main content
 首页 » 编程设计

python之网络抓取 vaadin python

2024年12月31日7davidwang456

我正在尝试使用 python 抓取使用 vaadin 创建的网站。这是我使用的代码:

requests.get('http://rnb.osim.ro/?pn=').text 

但这是不包含任何有用信息的结果:

    <noscript> 
    You have to enable javascript in your browser to use an application built with Vaadin. 
   </noscript> 
  </div> 
  <script type="text/javascript" src="./VAADIN/vaadinBootstrap.js"></script> 
  <script type="text/javascript">//<! 

您知道如何从 vaadin 站点获取我需要的数据吗?

请您参考如下方法:

发生这种情况是因为 requests 无法真正执行网站内的 JavaScript。正如您所想,requests 只是一个请求,而不是一个可以处理 JS 并与前端框架(即 Angular、React、Ajax)配合使用的浏览器。要抓取这个现代而强大的网站,我个人建议使用 scrapy 库。它专为抓取而设计,可以稍微处理 JavaScript。即使不能,您仍然可以使用 selenium 网络驱动程序 来完全模拟浏览器。