Skip to main content
 首页 » 编程设计

python之我如何知道我何时完成对域的抓取

2024年11月01日8bhlsheji

我用 Python 编写了一个函数来获取页面上的所有链接。 然后,我为第一个函数返回的所有链接运行该函数。

我的问题是,如果我以 CNN 为起点继续这样做,我怎么知道我何时抓取了 CNN 的所有(或大部分)网页?

这是爬虫的代码。

base_url = "http://www.cnn.com" 
title = "cnn" 
my_file = open(title+".txt","w") 
 
def crawl(site):  
    seed_url = site 
    br = Browser() 
 
    br.set_handle_robots(False) 
    br.set_handle_equiv(False) 
 
    br.open(seed_url) 
 
    link_bank = [] 
 
    for link in br.links(): 
        if link.url[0:4] == "http": 
            link_bank.append(link.url) 
        if link.url[0] == "/": 
            url = link.url 
            if url.find(".com") == -1: 
                if url.find(".org") == -1:  
                    link_bank.append(base_url+link.url) 
                else: 
                    link_bank.append(link.url) 
            else: 
                link_bank.append(link.url) 
 
        if link.url[0] == "#": 
            link_bank.append(base_url+link.url) 
 
    link_bank = list(set(link_bank)) 
 
    for link in link_bank: 
        my_file.write(link+"\n") 
 
    return link_bank 
 
my_file.close() 

请您参考如下方法:

我没有专门研究你的代码,但你应该看看如何实现广度优先搜索,以及如何将已经访问过的 URL 存储在 set 中。如果您在当前访问的页面中找到新的 URL,如果它不在 set 中,则将其附加到要访问的 URL 列表中。

您可能需要忽略查询字符串(URL 中问号后的所有内容)。