Skip to main content
 首页 » 编程设计

Python Data Scraping之提取表中存在标签 'td>' 的行

2024年11月24日13davidwang456

我一直致力于网络抓取,并且在根据我正在抓取的网页准备表格方面取得了很大进展。

问题是我无法获取仅包含数据的条目(以“< td >”开头的行)。我的代码如下:

url = requests.get('https://en.wikipedia.org/wiki/Demographics_of_Toronto_neighbourhoods') 
 
soup = BeautifulSoup(url.text,'lxml') 
print(soup.prettify()) 
 
table_classes = {'class':'sortable'} 
raw_table = soup.findAll("table", table_classes) 
print(raw_table) 

放置代码的嵌套行会导致错误'ResultSet object has no attribute 'find_all'。您可能将项目列表视为单个项目。当你打算调用 find() 时,你调用了 find_all() 吗?:

td_tags = raw_table.find_all('<td>') 
td_tags 

查看数据类型,然后尝试使用 find(),但它仍然导致相同的错误,因此我尝试使用以下代码遍历每一行:

for line in raw_table: 
    if line.get_text().find('<td>') > -1: 
        line 

当我运行这个循环时,没有任何反应。如果我把它放在“if”循环之外,那么它只会返回表“Canada_table_raw”中的每一行

如何获取带有 '' 标签的条目,以便将结果放入 pandas 数据框中?

请您参考如下方法:

您缺少一段让解析器运行的代码。

url = requests.get( 
    'https://en.wikipedia.org/wiki/Demographics_of_Toronto_neighbourhoods') 
 
soup = BeautifulSoup(url.text, 'lxml') 
 
table_classes = {'class': 'sortable'} 
raw_table = soup.findAll("table", table_classes) 
#print(raw_table) 
for td in raw_table: 
    print(td.findAll('td')) 

正如错误代码所说。您正在返回一个 ResultSet 对象。因此,您需要遍历对象以获取所需的特定元素。在这种情况下,我们将返回 ResultsSet 中的所有 td 元素,输出如下:

[<td><b>Toronto <a class="mw-redirect" href="/wiki/Census_metropolitan_area" title="Census metropolitan area">CMA</a> Average</b> 
</td>, <td> 
</td>, <td>All 
</td>, <td><b>5,113,149</b> 
</td>, <td><b>5903.63</b> 
</td>, <td><b>866</b> 
</td>, <td><b>9.0</b> 
</td>, <td><b>40,704</b> 
</td>, <td><b>10.6</b> 
</td>, <td><b>11.4</b> 
</td>, <td> 
</td>, <td> 
</td>, <td> 
</td>, <td><a href="/wiki 
........ 

现在您只需决定要查找的元素并编辑 td 以获得所需的结果。