Skip to main content
 首页 » 编程设计

python之Scrapy之从 URL 获取文件大小和类型而不下载文件

2024年10月25日10Terrylee

在 Scrapy 中,我想抓取一些包含大型 .zip 文件的页面,并检索有关这些文件的一些数据(大小、url 等)。我可以这样做的一种方法是产生对这些 url 的请求,但我认为这会下载文件。我怎样才能只从 zips 的 URL 中获取标题?最好不要抓取我想要标题的 URL,而是通过其他方式检索它吗?

请您参考如下方法:

产量 requests并指定 HEAD作为一种方法:

yield Request(url, method="HEAD", callback=self.callback) 

然后,在回调中从 response.headers 中读取 header :

def callback(self, response): 
    print response.headers