我正在尝试编写一个爬虫程序，它将获取某个搜索条目并保存一大堆与结果相关的 .CSV 文件。
我已经让爬虫登录，解析我需要的所有 html 数据，现在我要做的就是弄清楚如何保存我需要的文件。
所以搜索返回这样的链接 https://www.thissite.com/data/file_download.jsp?filetype=1&id=22944
然后在 Web 浏览器中提示您保存相关的 .csv 文件。我如何编写我的蜘蛛程序才能加载此页面并下载文件？或者有什么方法可以获取信息的静态链接？
请您参考如下方法:
如果您抓取了指向 CSV 文件的链接，您可以使用 wget 简单地下载它们，wget 也可以登录到页面。
您可以指定 --http-user 和 --http-passwd，或者按如下方式使用 cookie:
$ wget --cookies=on --keep-session-cookies --save-cookies=cookie.txt --post-data "login=USERNAME&password=PASSWORD" http://first_page
$ wget --referer=http://first_page --cookies=on --load-cookies=cookie.txt --keep-session-cookies --save-cookies=cookie.txt http://second_page
这取决于您的站点如何处理登录。还有一些其他方法可以使用 wget 登录页面，我相信您可以通过谷歌搜索找到这些方法。
我建议在特殊的 Scrapy Pipeline 中完成所有这些工作，所以这一切都是在 Scrapy 中完成的，而不是在外部脚本中。
