Skip to main content
 首页 » 编程设计

Python 分页循环

2025年02月15日7lvdongjie

我正在做一些简单的网络抓取,需要找到一种更好的方法来循环访问目标站点上的分页。我能做到这一点的唯一方法是编写 10 个以上的“for 循环”来让它工作。 基本上我在 url 中寻找“下一个”图标,如果它存在,我需要获取图标图像的父链接并将其附加到 url,转到新的更新 url,并搜索相同的图标并重复直到我到达最后一页(图标将消失)。 如果不对一堆 for 循环进行硬编码,我该如何执行此操作?

        url = "http://www.somewebsite.com/" 
        r = requests.get(wurl) 
        soup = BeautifulSoup(r.text, "lxml") 
 
        for img in soup.findAll("img"): 
            if "/Next_Icon" in img["src"]: 
                link = img.find_parent("a", href=True) 
                extLink = (link["href"]) 
                url = "http://www.somewebsite.com/" + extLink 

请您参考如下方法:

url_stack = ["http://www.somewebsite.com/"] 
 
while url_stack: 
    wurl = url_stack.pop() 
    r = requests.get(wurl) 
    soup = BeautifulSoup(r.text, "lxml") 
 
    for img in soup.findAll("img"): 
        if "/Next_Icon" in img["src"]: 
            link = img.find_parent("a", href=True) 
            extLink = (link["href"]) 
            url = "http://www.somewebsite.com/" + extLink 
            url_stack.append(url) 

你应该使用列表来存储所有的 url