<分区> 分区>
我正在使用 scrapy 获取 URL 列表。一些 url 被重定向到另一个 <302>。我想要的是计算单个网址发生的重定向次数以及所有中间重定向网址的完整集合。例如
Fetching - http://ign.com
Redirected to - http://de.ign.com/
redirect_count = 1
url_set = ['http://ign.com', 'http://de.ign.com/']
<分区> 分区>
我正在使用 scrapy 获取 URL 列表。一些 url 被重定向到另一个 <302>。我想要的是计算单个网址发生的重定向次数以及所有中间重定向网址的完整集合。例如
Fetching - http://ign.com
Redirected to - http://de.ign.com/
redirect_count = 1
url_set = ['http://ign.com', 'http://de.ign.com/']