我正在尝试从 stockcharts.com 中抓取 url 中的图表图像。例如来自:http://stockcharts.com/h-sc/ui?s=AMZN
但是,当检查有问题的元素时,它不是带有 .jpg、.png 等后缀的正确图像 src。例如,上述链接中的相关元素是:http://stockcharts.com/c-sc/sc?s=AMZN&p=D&b=5&g=0&i=0&r=1479451634864
因此,当我尝试在 python 2.7 中使用以下代码时,我在共享脚本的目录中得到一个空文件:
import urllib
url = "http://stockcharts.com/c-sc/sc?s=AMZN&p=D&b=5&g=0&i=0&r=1479451634864"
filename = "testimg.jpg"
urllib.urlretrieve(url, filename)
这是一个 javascript 呈现的页面,还是我遗漏了什么?对其他地方的引用?
请您参考如下方法:
站点检查 User-Agent header ;它仅允许特定的用户代理。
您需要更改 header 才能获取图像。否则,网站会返回 403 Forbidden 响应。
urllib.urlretrieve不接受额外的标题,你需要使用 urllib2.urlopen/urllib2.Request指定自定义 header 并自己保存文件:
import urllib2
url = "http://stockcharts.com/c-sc/sc?s=AMZN&p=D&b=5&g=0&i=0&r=1479451634864"
filename = "sc.png"
req = urllib2.Request(url, headers={'User-Agent': 'Mozilla/5.0'})
u = urllib2.urlopen(req)
with open(filename, 'wb') as f:
f.write(u.read())
