Skip to main content
 首页 » 编程设计

python之Scrapy:在输出中保留抓取项目的原始顺序

2024年10月25日13虾米姐

我有以下 Scrapy 蜘蛛从文件 url.txt 中的 url 列表中获取页面的状态

import scrapy 
from scrapy.contrib.spiders import CrawlSpider 
from pegasLinks.items import StatusLinkItem 
 
class FindErrorsSpider(CrawlSpider): 
    handle_httpstatus_list = [404,400,401,500] 
    name = "findErrors" 
 
    allowed_domains = ["domain-name.com"] 
    f = open("urls.txt") 
    start_urls = [url.strip() for url in f.readlines()] 
    f.close() 
 
    def parse(self, response): 
        item = StatusLinkItem() 
        item['url'] = response.url 
        item['status'] = response.status 
        yield item 

这是我的 items.py 文件:

import scrapy 
 
class StatusLinkItem(scrapy.Item): 
    url = scrapy.Field() 
    status = scrapy.Field() 

我使用以下命令获取 CSV 格式的项目输出:

scrapy crawl findErrors -o File.csv 

输出文件中的项目顺序与 urls.txt 文件中相应 url 的顺序不同。我怎样才能保留原始订单或使用某种全局变量向 items.py 添加另一个字段,该变量将代表 url 的 id,我以后可以用它恢复原始订单?

请您参考如下方法:

您不能依赖 start_urls 中的顺序或 url。

您可以执行以下操作。覆盖 start_requests在你的蜘蛛中添加类似 index 参数的方法到 meta创建的 Request 对象中的字典。

def start_requests(self): 
    for index, url in enumerate(self.start_urls): 
        yield  Request(url, dont_filter=True, meta={'index': index}) 

稍后您可以使用 response.meta 在 parse 函数中访问 meta .