我正在尝试使用 python 和 splinter 获取 Spotify 上许多艺术家的热门歌曲的播放次数。
如果您在下面填写用户名和密码,您应该能够运行代码。
from splinter import Browser
import time
from bs4 import BeautifulSoup
browser = Browser()
url = 'http://play.spotify.com'
browser.visit(url)
time.sleep(2)
button = browser.find_by_id('has-account')
button.click()
time.sleep(1)
browser.fill('username', 'your_username')
browser.fill('password', 'your_password')
buttons = browser.find_by_css('button')
visible_buttons = [button for button in buttons if button.visible]
login_button = visible_buttons[-1]
login_button.click()
time.sleep(1)
browser.visit('https://play.spotify.com/artist/5YGY8feqx7naU7z4HrwZM6')
time.sleep(10)
到目前为止,还不错。如果你打开 firefox,你会看到 Miley Cyrus 的艺术家页面,包括热门轨道的播放次数。
如果打开 Firefox Developer Tools Inspector 并将鼠标悬停,您可以在 .tl-highlight 元素中看到歌曲的名称,在 .tl-listen 中看到播放次数-count 元素。但是,我发现使用 splinter 访问这些元素是不可能的(至少在我的机器上是这样)。此外,当我尝试获取整个页面的源代码时,我在 Firefox 中通过将鼠标悬停在它们上面可以看到的元素并没有显示在表面上的页面源代码中。
html = browser.html
soup = BeautifulSoup(html)
output = soup.prettify()
with open('miley_cyrus_artist_page.html', 'w') as output_f:
output_f.write(output)
browser.quit()
我认为我对 Web 编程的了解还不足以了解这里的问题所在——Firefox 清楚地看到所有 DOM 元素,但驱动 Firefox 的碎片却没有。
请您参考如下方法:
关键问题是有一个 iframe 包含带有轨道列表的艺术家页面。在搜索元素之前,您需要切换到它的上下文:
frame = browser.driver.find_element_by_css_selector("iframe[id^=browse-app-spotify]")
browser.driver.switch_to.frame(frame)
