我在尝试从网页获取 html 内容时遇到问题。
在此网站中:https://tmofans.com/library/manga/5763/nisekoi当您单击“Capitulo 230.00”中的考试播放图标时,它会打开下一个链接:https://tmofans.com/goto/347231将您重定向到此网站:https://tmofans.com/viewer/5c187dcea0240/paginated
问题是当您直接打开此链接时:https://tmofans.com/goto/347231该页面给出了 403 Forbidden 的消息。 重定向到最终页面的唯一方法是单击第一页的播放按钮。
我只想使用 tmofans.com/goto 链接获取最终 url 内容
我尝试使用请求和 BeautifulSoup 获取 html 内容
import requests
from BeautifulSoup import BeautifulSoup
response = requests.get("https://tmofans.com/goto/347231")
page = str(BeautifulSoup(response.content))
print page
当我使用 https://tmofans.com/goto/347231 执行此操作时我只得到403 Forbidden page的内容。
请您参考如下方法:
该网站会检查您是否有来自他们网站的引荐来源网址,否则会给您 403 响应。您可以通过设置引荐来源网址轻松绕过此问题。
import requests
ref='https://tmofans.com'
headers = { 'Referer': ref }
r = requests.get('https://tmofans.com/goto/347231',headers=headers)
print(r.url)
print(r.status_code)
输出
https://tmofans.com/viewer/5c187dcea0240/paginated
200
