我想运行一个抓取工具,将不同类型的项目保存到单独的 JSON 行文件中。
我的 settings.py 有这个:
ITEM_PIPELINES = {
'permits.pipelines.PermitTypePipeline': 300,
'permits.pipelines.PermitNumberPipeline': 301,
}
我的 pipelines.py 有这个:
class PermitTypePipeline(object):
def process_item(self, item, spider):
return item
class PermitNumberPipeline(object):
def process_item(self, item, spider):
return item
items.py 有这个:
class PermitType(scrapy.Item):
permitWebCode= scrapy.Field()
class PermitNumber(scrapy.Item):
permitNumber= scrapy.Field()
my_spider.py 有这个:
def parse(self,response):
## Some scraper code here ...
yield PermitType(permitWebCode=someScrapedVariable)
yield PermitNumber(permitNumber=anotherScrapedVariable)
如何将生成的 PermitType 对象保存到 permit_types.jl 并将 PermitNumber 对象保存到 permit_number.jl?
请您参考如下方法:
一种相当直率但实用的方法是创建一个管道来识别生成的项目的类型,然后将其存储在相应的 json 文件中。它可能看起来像这样:
import json
import ClassA
import ClassB
class JsonWriterPipeline(object):
def close_spider(self, spider):
self.file.close()
def process_item(self, item, spider):
if type(item) is ClassA:
self.file = open('classA.jl', 'w')
elif type(item) is ClassB:
self.file = open('classB.jl', 'w')
else:
return item
line = json.dumps(dict(item)) + "\n"
self.file.write(line)
return item
告诉我这是否有效,因为我自己没有尝试过。
