我一直致力于网络抓取,并且在根据我正在抓取的网页准备表格方面取得了很大进展。
问题是我无法获取仅包含数据的条目(以“< td >”开头的行)。我的代码如下:
url = requests.get('https://en.wikipedia.org/wiki/Demographics_of_Toronto_neighbourhoods')
soup = BeautifulSoup(url.text,'lxml')
print(soup.prettify())
table_classes = {'class':'sortable'}
raw_table = soup.findAll("table", table_classes)
print(raw_table)
放置代码的嵌套行会导致错误'ResultSet object has no attribute 'find_all'。您可能将项目列表视为单个项目。当你打算调用 find() 时,你调用了 find_all() 吗?:
td_tags = raw_table.find_all('<td>')
td_tags
查看数据类型,然后尝试使用 find(),但它仍然导致相同的错误,因此我尝试使用以下代码遍历每一行:
for line in raw_table:
if line.get_text().find('<td>') > -1:
line
当我运行这个循环时,没有任何反应。如果我把它放在“if”循环之外,那么它只会返回表“Canada_table_raw”中的每一行
如何获取带有 '' 标签的条目,以便将结果放入 pandas 数据框中?
请您参考如下方法:
您缺少一段让解析器运行的代码。
url = requests.get(
'https://en.wikipedia.org/wiki/Demographics_of_Toronto_neighbourhoods')
soup = BeautifulSoup(url.text, 'lxml')
table_classes = {'class': 'sortable'}
raw_table = soup.findAll("table", table_classes)
#print(raw_table)
for td in raw_table:
print(td.findAll('td'))
正如错误代码所说。您正在返回一个 ResultSet 对象。因此,您需要遍历对象以获取所需的特定元素。在这种情况下,我们将返回 ResultsSet 中的所有 td 元素,输出如下:
[<td><b>Toronto <a class="mw-redirect" href="/wiki/Census_metropolitan_area" title="Census metropolitan area">CMA</a> Average</b>
</td>, <td>
</td>, <td>All
</td>, <td><b>5,113,149</b>
</td>, <td><b>5903.63</b>
</td>, <td><b>866</b>
</td>, <td><b>9.0</b>
</td>, <td><b>40,704</b>
</td>, <td><b>10.6</b>
</td>, <td><b>11.4</b>
</td>, <td>
</td>, <td>
</td>, <td>
</td>, <td><a href="/wiki
........
现在您只需决定要查找的元素并编辑 td 以获得所需的结果。
