Skip to main content
 首页 » 编程设计

python之关注 Google 结果的前 5 页 Python Mechanize

2024年11月01日6jackei

我目前只抓取谷歌查询结果的第一页,但我想抓取前 5 页。

获取如下字符串:https://encrypted.google.com/search?hl=en&q=site%3Asomedomain.com&start=0

变量 urls 获取第一页的所有 10 个结果,但我开始添加条件以检查第一页上的 10 个 url,如果是这样并且有 10 个 url,我想要它继续转到下一个网址,例如(假设下一个 url 也有 10 个结果)使用类似 follow_link() 和以下 urls 的东西:

https://encrypted.google.com/search?hl=en&q=site%3Asomedomain.com&start=10 
https://encrypted.google.com/search?hl=en&q=site%3Asomedomain.com&start=20 
https://encrypted.google.com/search?hl=en&q=site%3Asomedomain.com&start=30 
https://encrypted.google.com/search?hl=en&q=site%3Asomedomain.com&start=40 
https://encrypted.google.com/search?hl=en&q=site%3Asomedomain.com&start=50 

我该怎么做呢?谁能帮帮我?

请您参考如下方法:

您可以使用 BeautifulSoup 来定位带有下一页链接的元素:

from mechanize import Browser 
from bs4 import BeautifulSoup 
 
br = Browser() 
br.set_handle_robots(False) 
br.addheaders = [('User-agent', 'Mozilla/5.0 (Windows NT 6.2;\ 
                    WOW64) AppleWebKit/537.11 (KHTML, like Gecko)\ 
                    Chrome/23.0.1271.97 Safari/537.11')] 
 
url = "https://encrypted.google.com/search?hl=en&q=site%3Asomedomain.com&start=0" 
 
r = br.open(url) 
 
soup = BeautifulSoup(r) 
 
nextpage = soup.find("a", {"id": "pnnext"}) 
print nextpage['href'] 

输出:

/search?q=site:somedomain.com&hl=en&ei=NJ4HUo2yM-TK4ATJlYGICQ&start=10&sa=N 

现在您有了指向下一页的链接。如果未找到元素,则它是最后一页