Skip to main content
 首页 » 编程设计

python之如何在 scrapy spider 中添加 try 异常

2024年10月25日8bluestorm

我使用 urllib2 和 beautifulsoup 构建了一个简单的爬虫应用程序,现在我打算将其更改为 scrapy spider,但是我如何在运行爬虫时处理错误, 我当前的应用程序有一些这样的代码,

error_file = open('errors.txt','a') 
finish_file = open('finishlink.txt','a') 
try: 
    #Code for process each links 
    #if sucessfully finished link store into 'finish.txt' file 
except Exception as e: 
    #link write into 'errors.txt' file with error code 

因此,当我处理数千个链接时,成功处理的链接将存储到 finish.txt 中,错误的链接将存储在 errors.txt 中,因此我可以稍后运行错误的链接,直到成功处理。 那么我如何在这些代码中完成这些,

class DmozSpider(scrapy.Spider): 
    name = "dmoz" 
    allowed_domains = ["dmoz.org"] 
    start_urls = [ 
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/", 
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/" 
    ] 
 
    def parse(self, response): 
        filename = response.url.split("/")[-2] 
        with open('filename+'.txt', 'wb') as f: 
            f.write(response.body) 

请您参考如下方法:

您可以创建一个 spider middleware并覆盖 process_spider_exception()方法,将链接保存在文件中。

蜘蛛中间件只是您扩展 Scrapy 行为的一种方式。 这是一个完整的示例,您可以根据需要对其进行修改:

from scrapy import signals 
 
 
class SaveErrorsMiddleware(object): 
    def __init__(self, crawler): 
        crawler.signals.connect(self.close_spider, signals.spider_closed) 
        crawler.signals.connect(self.open_spider, signals.spider_opened) 
 
    @classmethod 
    def from_crawler(cls, crawler): 
        return cls(crawler) 
 
    def open_spider(self, spider): 
        self.output_file = open('somefile.txt', 'a') 
 
    def close_spider(self, spider): 
        self.output_file.close() 
 
    def process_spider_exception(self, response, exception, spider): 
        self.output_file.write(response.url + '\n') 

将其放入模块中并在 settings.py 中进行设置:

SPIDER_MIDDLEWARES = { 
    'myproject.middleware.SaveErrorsMiddleware': 1000, 
} 

此代码将与您的蜘蛛一起运行,在适当时触发 open_spider()、close_spider()、process_spider_exception() 方法。

阅读更多: