我想用 scrapy 设置自定义 UserAgentMiddleware。但是我看到的时候并不知道request.headers.setdefault('User-Agent', ua)的 Action ，也没有找到scrapy和requests文档中的方法。
我在哪里可以找到关于它的任何解释？
请您参考如下方法:
headers 是一个普通的字典，因此 setdefault 将是一种为该字典设置值的方法如果该值不存在 已经。
解释是，仅当您尚未在蜘蛛进程中设置用户代理时，中间件才默认设置用户代理。
你可以在你的蜘蛛代码中设置这样的东西:
...
request.headers['User-Agent'] = 'My Custom User Agent'
yield request
这意味着当该代码到达中间件时，用户代理不会被覆盖或更改。
在此之前出现的其他中间件(或任何其他进程)也可以修改 User-Agent，并且不会被此代码更改，因为它尊重之前的那些设置。
