Skip to main content
 首页 » 编程设计

python之请求之在发出请求之前确定参数化 url,以包含在 Referer header 中

2024年10月25日11mayingbao

我正在使用 Requests 编写一个 Python 2.7 脚本来自动访问特定网站。出于“安全原因”,该网站要求提供 与请求 URL 匹配的 Referer header 。该 URL 由 params 字典中的许多项目构建而成,传递给 requests.post()。

有没有办法在发出请求之前确定 Requests 将使用的 URL,以便 Referer header 可以设置为这个正确的值?假设我有很多参数:

params = { 'param1' : value1, 'param2' : value2, # ... etc 
  } 
 
base_url = "http://example.com" 
headers = { 'Referer' : url }   # but what is 'url' to be? 
requests.post(base_url, params=params, headers=headers)  # fails as Referer does not match final url 

我想一种解决方法是发出请求并在事后查看 URL 是什么。然而,这有两个问题 - 1. 它会显着增加脚本的执行时间开销,因为会有很多这样的请求,以及 2. 它实际上不是一个有用的解决方法,因为服务器实际上将请求重定向到另一个URL,所以之后读取它不会给出正确的 Referer 值。

我想指出,我有这个脚本与 urllib/urllib2 一起工作,我正在尝试用 Requests 编写它,看看它是否可行,也许更简单。这不是脚本必须遵循的复杂过程,但它可能稍微超出了 Requests 的范围。没关系,我只想确认是这样的。

请您参考如下方法:

我想我找到了一个解决方案,基于 Prepared Requests .这个概念是 Session.prepare_request() 将做所有准备请求的事情,除了发送它,这允许我的脚本然后读取准备好的请求的 url,现在包括参数,其顺序由听写命令。然后它可以适本地设置 Referer header ,然后发出原始请求。

params = {'param1' : value1, 'param2' : value2, # ... etc 
         } 
url = "http://example.com" 
 
# Referer must be correct 
# To determine correct Referer url, prepare a request without actually sending it 
req = requests.Request('POST', url, params=params) 
prepped = session.prepare_request(req) 
#r = session.send(prepped)   # don't actually send it 
 
# add the Referer header by examining the prepared url 
headers = { 'Referer': prepped.url } 
 
# now send normally 
r = session.post(url, params=params, data=data, headers=headers)