我正在尝试从此页面抓取搜索结果
根据 url 的语言是法语,这就是我在 scrapy shell 中看到的,在 'crawled (200) ' 之后
如果我尝试 response.url,我也会得到一个带有 lang=fr 的 url。
在浏览器中查看页面会显示法语结果。
但是,响应的正文是英文。
我已经尝试在我的 scrapy settings.py 文件中禁用 cookie。 我还将 DEFAULT_REQUEST HEADERS 设置为“Accept-Language”:“fr”。
有什么想法吗?
请您参考如下方法:
在网页的右上角有一个下拉框来选择网站的语言。选择 french 将向 url 添加另一个参数:&locale=fr。
因此 - 将该参数添加到您的 start_url。
