我有以下 Scrapy 蜘蛛从文件 url.txt 中的 url 列表中获取页面的状态
import scrapy
from scrapy.contrib.spiders import CrawlSpider
from pegasLinks.items import StatusLinkItem
class FindErrorsSpider(CrawlSpider):
handle_httpstatus_list = [404,400,401,500]
name = "findErrors"
allowed_domains = ["domain-name.com"]
f = open("urls.txt")
start_urls = [url.strip() for url in f.readlines()]
f.close()
def parse(self, response):
item = StatusLinkItem()
item['url'] = response.url
item['status'] = response.status
yield item
这是我的 items.py 文件:
import scrapy
class StatusLinkItem(scrapy.Item):
url = scrapy.Field()
status = scrapy.Field()
我使用以下命令获取 CSV 格式的项目输出:
scrapy crawl findErrors -o File.csv
输出文件中的项目顺序与 urls.txt 文件中相应 url 的顺序不同。我怎样才能保留原始订单或使用某种全局变量向 items.py 添加另一个字段,该变量将代表 url 的 id,我以后可以用它恢复原始订单?
请您参考如下方法:
您不能依赖 start_urls 中的顺序或 url。
您可以执行以下操作。覆盖 start_requests在你的蜘蛛中添加类似 index 参数的方法到 meta创建的 Request 对象中的字典。
def start_requests(self):
for index, url in enumerate(self.start_urls):
yield Request(url, dont_filter=True, meta={'index': index})
稍后您可以使用 response.meta 在 parse 函数中访问 meta .
