Skip to main content
 首页 » 编程设计

python之使用 Python 抓取 Web 应用程序

2024年08月26日42zhwl

到目前为止,我在网络抓取方面的大部分经验都相当简单易懂。发送请求、下载 HTML 并提取所需信息。目前,我有兴趣从 Spotify Web 应用程序中抓取热门播放数据。这些数据无法通过他们的 API 访问,但可以在浏览不同的艺术家页面时看到。

例如,可以在以下链接找到 The National 最常播放的轨道:https://play.spotify.com/artist/2cCUtGK9sDU2EoElnk0GNB

我的问题是,这些数据是如何在幕后生成的,是否可以抓取这些数据?

请您参考如下方法:

数据是动态生成的(下载 HTML 不会成功),前端使用 FLEX,后端使用 C++/Python(根据 this)。 无论如何,如果你需要抓取 JavaScript 生成的内容,这将是一件很困难的事情,因为它比抓取静态网站要复杂得多。

我建议您使用 PhantomJS (可使用 JS API 编写脚本的 Headless WebKit)或 Selenium (自动浏览器测试/抓取)。