Skip to main content
 首页 » 编程设计

python之如何将抓取的项目保存到多个 .jl 文件

2025年01月19日8luoye11

我想运行一个抓取工具,将不同类型的项目保存到单独的 JSON 行文件中。

我的 settings.py 有这个:

ITEM_PIPELINES = { 
   'permits.pipelines.PermitTypePipeline': 300, 
   'permits.pipelines.PermitNumberPipeline': 301, 
} 

我的 pipelines.py 有这个:

class PermitTypePipeline(object): 
    def process_item(self, item, spider): 
        return item 
 
class PermitNumberPipeline(object): 
    def process_item(self, item, spider): 
        return item 

items.py 有这个:

class PermitType(scrapy.Item): 
    permitWebCode=  scrapy.Field() 
 
class PermitNumber(scrapy.Item): 
    permitNumber=   scrapy.Field() 

my_spider.py 有这个:

def parse(self,response): 
  ## Some scraper code here ...  
  yield PermitType(permitWebCode=someScrapedVariable) 
  yield PermitNumber(permitNumber=anotherScrapedVariable) 

如何将生成的 PermitType 对象保存到 permit_types.jl 并将 PermitNumber 对象保存到 permit_number.jl?

请您参考如下方法:

一种相当直率但实用的方法是创建一个管道来识别生成的项目的类型,然后将其存储在相应的 json 文件中。它可能看起来像这样:

import json 
import ClassA 
import ClassB 
 
class JsonWriterPipeline(object): 
 
def close_spider(self, spider): 
    self.file.close() 
 
def process_item(self, item, spider): 
    if type(item) is ClassA: 
        self.file = open('classA.jl', 'w') 
    elif type(item) is ClassB: 
        self.file = open('classB.jl', 'w') 
    else: 
        return item 
    line = json.dumps(dict(item)) + "\n" 
    self.file.write(line) 
    return item 

告诉我这是否有效,因为我自己没有尝试过。