我正在使用 Requests 编写一个 Python 2.7 脚本来自动访问特定网站。出于“安全原因”,该网站要求提供 与请求 URL 匹配的 Referer header 。该 URL 由 params 字典中的许多项目构建而成,传递给 requests.post()。
有没有办法在发出请求之前确定 Requests 将使用的 URL,以便 Referer header 可以设置为这个正确的值?假设我有很多参数:
params = { 'param1' : value1, 'param2' : value2, # ... etc
}
base_url = "http://example.com"
headers = { 'Referer' : url } # but what is 'url' to be?
requests.post(base_url, params=params, headers=headers) # fails as Referer does not match final url
我想一种解决方法是发出请求并在事后查看 URL 是什么。然而,这有两个问题 - 1. 它会显着增加脚本的执行时间开销,因为会有很多这样的请求,以及 2. 它实际上不是一个有用的解决方法,因为服务器实际上将请求重定向到另一个URL,所以之后读取它不会给出正确的 Referer 值。
我想指出,我有这个脚本与 urllib/urllib2 一起工作,我正在尝试用 Requests 编写它,看看它是否可行,也许更简单。这不是脚本必须遵循的复杂过程,但它可能稍微超出了 Requests 的范围。没关系,我只想确认是这样的。
请您参考如下方法:
我想我找到了一个解决方案,基于 Prepared Requests .这个概念是 Session.prepare_request() 将做所有准备请求的事情,除了发送它,这允许我的脚本然后读取准备好的请求的 url,现在包括参数,其顺序由听写命令。然后它可以适本地设置 Referer header ,然后发出原始请求。
params = {'param1' : value1, 'param2' : value2, # ... etc
}
url = "http://example.com"
# Referer must be correct
# To determine correct Referer url, prepare a request without actually sending it
req = requests.Request('POST', url, params=params)
prepped = session.prepare_request(req)
#r = session.send(prepped) # don't actually send it
# add the Referer header by examining the prepared url
headers = { 'Referer': prepped.url }
# now send normally
r = session.post(url, params=params, data=data, headers=headers)
