我使用 urllib2 和 beautifulsoup 构建了一个简单的爬虫应用程序,现在我打算将其更改为 scrapy spider,但是我如何在运行爬虫时处理错误, 我当前的应用程序有一些这样的代码,
error_file = open('errors.txt','a')
finish_file = open('finishlink.txt','a')
try:
#Code for process each links
#if sucessfully finished link store into 'finish.txt' file
except Exception as e:
#link write into 'errors.txt' file with error code
因此,当我处理数千个链接时,成功处理的链接将存储到 finish.txt 中,错误的链接将存储在 errors.txt 中,因此我可以稍后运行错误的链接,直到成功处理。 那么我如何在这些代码中完成这些,
class DmozSpider(scrapy.Spider):
name = "dmoz"
allowed_domains = ["dmoz.org"]
start_urls = [
"http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
"http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
]
def parse(self, response):
filename = response.url.split("/")[-2]
with open('filename+'.txt', 'wb') as f:
f.write(response.body)
请您参考如下方法:
您可以创建一个 spider middleware并覆盖 process_spider_exception()方法,将链接保存在文件中。
蜘蛛中间件只是您扩展 Scrapy 行为的一种方式。 这是一个完整的示例,您可以根据需要对其进行修改:
from scrapy import signals
class SaveErrorsMiddleware(object):
def __init__(self, crawler):
crawler.signals.connect(self.close_spider, signals.spider_closed)
crawler.signals.connect(self.open_spider, signals.spider_opened)
@classmethod
def from_crawler(cls, crawler):
return cls(crawler)
def open_spider(self, spider):
self.output_file = open('somefile.txt', 'a')
def close_spider(self, spider):
self.output_file.close()
def process_spider_exception(self, response, exception, spider):
self.output_file.write(response.url + '\n')
将其放入模块中并在 settings.py 中进行设置:
SPIDER_MIDDLEWARES = {
'myproject.middleware.SaveErrorsMiddleware': 1000,
}
此代码将与您的蜘蛛一起运行,在适当时触发 open_spider()、close_spider()、process_spider_exception() 方法。
阅读更多:
