Skip to main content
 首页 » 编程设计

python之BeautifulSoup 迭代不起作用

2025年05月04日11lyj

from bs4 import BeautifulSoup 
import requests 
s=requests.Session() 
r=s.get('http://www.virginiaequestrian.com/main.cfm?action=greenpages&GPType=8') 
soup=BeautifulSoup(r.text,'html5lib') 
 
DataGrid=soup.find('tbody') 
test=[] 
for tr in DataGrid.find_all('tr')[:3]: 
        for td in tr.find_all('td'): 
            print td.string 

您好,我正在尝试解析此网站 (http://www.virginiaequestrian.com/main.cfm?action=greenpages&GPType=8) 的 html 并获取表格数据。我试图从我的结果中排除前三个表行,但由于某种原因我无法让解析器执行此操作。这是我第一次专业的抓取尝试,我完全不知道如何让它工作。我猜这可能与我正在使用的 html5lib 解析器有关,但老实说我不知道​​。有人可以告诉我如何让它工作吗?

作为一个很好的测试,从前三行中提取数据将非常有用。这样我就可以确信完成的查询将从除这些以外的任何内容中提取。

例如,表格中的第一行是“马术网站”

请您参考如下方法:

您只取前三个而不忽略 [:3],它从列表中切出前三个元素:

 DataGrid.find_all('tr')[:3] # first three elements 

应该是 DataGrid.find_all('tr')[3:] # 除了前三个元素之外的所有元素

from bs4 import BeautifulSoup 
import requests 
 
r=requests.get('http://www.virginiaequestrian.com/main.cfm?action=greenpages&GPType=8') 
soup=BeautifulSoup(r.content) 
 
tbl = soup.find("table") 
for tag in tbl.find_all("tr")[3:]: 
    for td in tag.find_all('td'): 
        print td.text 

上面的 tbl.find_all("tr") 当切片并使用两个不同的解析器输出时:

In [20]: soup=BeautifulSoup(r.content,"html.parser") 
 
In [21]: tbl = soup.find("table") 
 
In [22]: len(tbl.find_all("tr")) 
Out[22]: 364 
 
In [23]: len(tbl.find_all("tr")[3:]) 
Out[23]: 361 
 
In [24]: soup=BeautifulSoup(r.content,"lxml") 
 
In [25]: tbl = soup.find("table") 
 
In [26]: len(tbl.find_all("tr")[3:]) 
Out[26]: 361 
 
In [27]: len(tbl.find_all("tr")) 
Out[27]: 364 

如果你真的想要more hrefs那么你应该这样做,为每个tr获取a标签,还有6 tr 在您真正想要的行之前,因此您需要跳过 6:

tbl = soup.find("table") 
out = (tag.find('a') for tag in tbl.find_all("tr")[6:]) 
 
for a in out: 
    print(a["href"]) 

输出:

main.cfm?action=greenpages&sub=view&ID=9068 
main.cfm?action=greenpages&sub=view&ID=9504 
main.cfm?action=greenpages&sub=view&ID=10868 
main.cfm?action=greenpages&sub=view&ID=10261 
main.cfm?action=greenpages&sub=view&ID=10477 
main.cfm?action=greenpages&sub=view&ID=10708 
main.cfm?action=greenpages&sub=view&ID=11712 
main.cfm?action=greenpages&sub=view&ID=12402 
main.cfm?action=greenpages&sub=view&ID=12496 
.................. 

要使用链接,只需在主 url 前面加上:

for a in out: 
    print("http://www.virginiaequestrian.com/{}".format(a["href"])) 

输出:

http://www.virginiaequestrian.com/main.cfm?action=greenpages&sub=view&ID=9068 
http://www.virginiaequestrian.com/main.cfm?action=greenpages&sub=view&ID=9504 
http://www.virginiaequestrian.com/main.cfm?action=greenpages&sub=view&ID=10868 
http://www.virginiaequestrian.com/main.cfm?action=greenpages&sub=view&ID=10261 
http://www.virginiaequestrian.com/main.cfm?action=greenpages&sub=view&ID=10477 
http://www.virginiaequestrian.com/main.cfm?action=greenpages&sub=view&ID=10708 
http://www.virginiaequestrian.com/main.cfm?action=greenpages&sub=view&ID=11712 
http://www.virginiaequestrian.com/main.cfm?action=greenpages&sub=view&ID=12402 
http://www.virginiaequestrian.com/main.cfm?action=greenpages&sub=view&ID=12496 
http://www.virginiaequestrian.com/main.cfm?action=greenpages&sub=view&ID=12633 
http://www.virginiaequestrian.com/main.cfm?action=greenpages&sub=view&ID=13528 

如果您打开第一个,您将进入马术网站,即您想要的第一个数据。