Skip to main content
 首页 » 编程设计

python之缓存访问被拒绝。请求模块中需要身份验证

2025年05月04日16JeffreyZhao

我正在尝试制作一个基本的网络爬虫。我的互联网是通过代理连接。所以我使用了给出的解决方案 here .但是仍然在运行代码时出现错误。 我的代码是:

#!/usr/bin/python3.4 
import requests 
from bs4 import BeautifulSoup 
 
import urllib.request as req 
proxies = { 
    "http": r"http://usr:pass@202.141.80.22:3128", 
    "https": r"http://usr:pass@202.141.80.22:3128", 
} 
 
url = input("Ask user for something") 
 
def santabanta(max_pages,url): 
    page = 1 
    while (page <= max_pages):       
        source_code = requests.get(url,proxies=proxies) 
        plain_text  = source_code.text 
        print (plain_text)   
        soup = BeautifulSoup(plain_text,"lxml") 
        for link in soup.findAll('a'): 
            href = link.get('href') 
            print(href) 
        page = page + 1 
santabanta(1,url) 

但是在 ubuntu 14.04 的终端上运行时出现以下错误:

尝试检索 URL 时遇到以下错误: http://www.santabanta.com/wallpapers/gauhar-khan/ ?

缓存访问被拒绝。

抱歉,当前不允许您请求 http://www.santabanta.com/wallpapers/gauhar-khan/ ?从此缓存中,直到您对自己进行身份验证。

我发的url是:http://www.santabanta.com/wallpapers/gauhar-khan/

请帮帮我

请您参考如下方法:

  1. 打开网址。
  2. 按 F12(Chrome 用户)
  3. 现在转到下面菜单中的“网络”。
  4. 按 F5 键重新加载页面,以便 chrome 记录从服务器接收到的所有数据。
  5. 打开任何“接收到的文件”,然后进入“请求 header ”
  6. 将所有 header 传递给 request.get()

.[这是一张可以帮助你的图片][1] [1]: http://i.stack.imgur.com/zUEBE.png

制作标题如下:

headers = { '接受':' */* ', 'Accept-Encoding':'gzip, deflate, sdch', '接受语言':'en-US,en;q=0.8', '缓存控制':'最大年龄= 0', '连接':'保持事件', '代理授权':'基本ZWRjZ3Vlc3Q6ZWRjZ3Vlc3Q=', 'If-Modified-Since':'2015 年 11 月 13 日星期五 17:47:23 GMT', 'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36'