我正在编写一个 python 脚本来解析 jenkins 作业结果。我正在使用 urllib2 获取 consoleText,但我收到的文件不完整。获取文件的代码是:
data = urllib2.urlopen('http://<server>/job/<jobname>/<buildid>/consoleText')
lines = data.readlines()
我得到的行数是 2306 行,而控制台日志中的实际行数是 37521 行。我可以通过 wget 检查购买获取文件:
$ wget 'http://<server>/job/<jobname>/<buildid>/consoleText'
$ wc -l consoleText
37521
为什么 urlopen 没有给我完整的结果?
更新:
使用 requests(正如@svrist 所建议的那样)而不是 urllib2 没有这样的问题,所以我正在切换到它。我的新代码是:
data = requests.get('http://<server>/job/<jobname>/<buildid>/consoleText')
lines = [l for l in data.iter_lines()]
但我仍然不知道为什么 urllib2.urlopen 不能正常工作。
请您参考如下方法:
Jenkins 构建日志使用 chunked encoding response 返回.
Transfer-Encoding: chunked
基于两个other questions ,似乎 urllib2 没有处理整个响应,正如您所观察到的,它只返回第一个 block 。
我还推荐使用 requests包裹。
