我正在使用 Scrapy 创建一个非常简单的网站抓取工具。
如果我的 Spider 子类实现了一个构造函数并且我运行它,scrapy 会进入无限循环并且不会启动蜘蛛。
为什么会发生这种情况,我该如何解决?
class FinderSpiderTemp(Spider):
name = "temp"
allowed_domains = ["yellowpages.com.au"]
start_urls = []
# if I comment out this function then scrapy console executes happily
def __init__(self, category=None, *args, **kwargs):
super(FinderSpiderTemp, self).__init__(*args, **kwargs)
log.start("log.txt")
self.start_urls = ["http://www.yellowpages.com.au/search/listings?clue=abc&locationClue=8000&selectedViewMode=list&eventType=sort&sortBy=distance"] )
def parse(self, response):
return parse_business_list_page(response)
我在 scrapy 控制台中输入 scrapy crawl temp,它没有任何输出也没有响应。日志输出错误:
2015-05-19 15:28:02+1000 [-] ERROR: 2015-05-19 15:28:02+1000 [-] ERROR:
2015-05-19 15:28:02+1000 [-] ERROR: 2015-05-19 15:28:02+1000 [-] ERROR:
2015-05-19 15:28:02+1000 [-] ERROR: 2015-05-19 15:28:02+1000 [-] ERROR:
2015-05-19 15:28:02+1000 [-] ERROR: 2015-05-19 15:28:02+1000 [-] ERROR:
..... continues forever
请您参考如下方法:
关键问题是 log.start() 调用,Scrapy 开始自己记录(如果 LOG_ENABLED 是 True 这是由默认),除非您start the Crawler process manually,否则无需手动启动它也。相反,只需设置 LOG_FILE在 settings.py 中设置,或通过命令行设置:
scrapy crawl myspider -s LOG_FILE=scrapy.log
