Skip to main content
 首页 » 编程设计

python之计算 Scrapy 中的重定向次数

2024年10月25日9telwanggs

<分区>

我正在使用 scrapy 获取 URL 列表。一些 url 被重定向到另一个 <302>。我想要的是计算单个网址发生的重定向次数以及所有中间重定向网址的完整集合。例如

Fetching - http://ign.com

Redirected to - http://de.ign.com/

redirect_count = 1

url_set = ['http://ign.com', 'http://de.ign.com/']