Skip to main content
 首页 » 编程设计

python之Scrapy之解析一个 url 而不爬取

2025年05月04日17youxin

我有一个 url 列表,我想抓取并遵循所有相同的管道。我该如何开始呢?我什至不确定从哪里开始。

主要思想是我通过站点和页面进行抓取。然后它会解析页面并更新数据库。我现在想要实现的是现在解析数据库中所有现有 url 的页面,这些 url 当天没有被抓取。

我曾尝试使用 close_spider 方法在管道中执行此操作,但无法获取这些 url 以请求/解析。当我 yield 时,整个 close_spider 方法不再被调用。

def close_spider(self, spider): 
    for item in models.Items.select().where(models.Items.last_scraped_ts < '2016-02-06 10:00:00'): 
        print item.url 
        yield Request(item.url, callback=spider.parse_product, dont_filter=True) 

请您参考如下方法:

(重新阅读您的主题,我完全不确定我是否回答了您的问题...) 我在没有 scrapy 的情况下做了类似的事情,但是模块 lxml 和 request 网址:

listeofurl=['url1','url2']

或者如果 Url 有模式生成它们:

for i in range(0,10): 
    url=urlpattern+str(i) 

然后我做了一个循环来解析每个具有相同模式的 url: 导入 json 从 lxml 导入 html 导入请求

listeOfurl=['url1','url2'] 
mydataliste={}; 
 
for url in listeOfurl: 
    page = requests.get(url) 
    tree = html.fromstring(page.content) 
    DataYouWantToKeep= tree.xpath('//*[@id="content"]/div/h2/text()[2]') 
    data[url]=DataYouWantToKeep 
 
#and at the end you save all the data in Json 
with open(filejson, 'w') as outfile: 
    json.dump(data, outfile)