在 Scrapy 中,我想抓取一些包含大型 .zip 文件的页面,并检索有关这些文件的一些数据(大小、url 等)。我可以这样做的一种方法是产生对这些 url 的请求,但我认为这会下载文件。我怎样才能只从 zips 的 URL 中获取标题?最好不要抓取我想要标题的 URL,而是通过其他方式检索它吗?
请您参考如下方法:
yield Request(url, method="HEAD", callback=self.callback)
然后,在回调中从 response.headers 中读取 header :
def callback(self, response):
print response.headers
