我用 Python 编写了一个函数来获取页面上的所有链接。 然后,我为第一个函数返回的所有链接运行该函数。
我的问题是,如果我以 CNN 为起点继续这样做,我怎么知道我何时抓取了 CNN 的所有(或大部分)网页?
这是爬虫的代码。
base_url = "http://www.cnn.com"
title = "cnn"
my_file = open(title+".txt","w")
def crawl(site):
seed_url = site
br = Browser()
br.set_handle_robots(False)
br.set_handle_equiv(False)
br.open(seed_url)
link_bank = []
for link in br.links():
if link.url[0:4] == "http":
link_bank.append(link.url)
if link.url[0] == "/":
url = link.url
if url.find(".com") == -1:
if url.find(".org") == -1:
link_bank.append(base_url+link.url)
else:
link_bank.append(link.url)
else:
link_bank.append(link.url)
if link.url[0] == "#":
link_bank.append(base_url+link.url)
link_bank = list(set(link_bank))
for link in link_bank:
my_file.write(link+"\n")
return link_bank
my_file.close()
请您参考如下方法:
我没有专门研究你的代码,但你应该看看如何实现广度优先搜索,以及如何将已经访问过的 URL 存储在 set 中。如果您在当前访问的页面中找到新的 URL,如果它不在 set 中,则将其附加到要访问的 URL 列表中。
您可能需要忽略查询字符串(URL 中问号后的所有内容)。
