Skip to main content
 首页 » 编程设计

python之如何更改scrapy中的url长度

2025年05月04日8insus

我在 scrapy 中使用 FormRequest.from_response 模块来抓取一些总线信息。每当我运行我的蜘蛛时,它都会通过提供以下信息来忽略发布请求:

DEBUG: Ignoring link (url length > 2083): 

scrapy docs中提到的细节如下:

URLLENGTH_LIMIT 
Default: 2083 
Scope: contrib.spidermiddleware.urllength 

谁能告诉我如何更改此设置?

请您参考如下方法:

在scrappy的settings.py中 添加这个

URLLENGTH_LIMIT = (integer) 

了解更多 scrappy