我正在查询网站并从结果页面上的表格中抓取数据。有时会有不止一张 table (我事先不知道)。 HTML 代码看起来像这样:
<div id="containter1" class="rank-container"
<table class="ysr-list" id="ysr-list1">
<thead></thead>
<tbody>
<tr class="name1"></tr>
<tr class="name2"></tr>
<tr class="name3"></tr>
</tbody>
有时看起来像这样
<div id="containter1" class="rank-container"
<table class="ysr-list" id="ysr-list1">
<thead></thead>
<tbody>
<tr class="name1"></tr>
<tr class="name2"></tr>
<tr class="name3"></tr>
</tbody>
bla bla bla
<div id="containter2" class="rank-container"
<table class="ysr-list" id="ysr-list2">
<thead></thead>
<tbody>
<tr class="name1"></tr>
<tr class="name2"></tr>
<tr class="name3"></tr>
</tbody>
我目前正在做的是
Table = soup.find('table', {'id':'ysr-list1'})
但是,这显然错过了第二张 table 。我想做的是以某种方式将表组合成一个 BS 对象
Table1 = soup.find('table', {'id':'ysr-list1'})
Table2 = soup.find('table', {'id':'ysr-list2'})
Table = Table1 + Table2
其中 Table 是 bs4.element.Tag 类型(这是 Table1 和 Table2 的类型) 这样我就可以通过
TableRows = Table.find_all('tr')
我还想就自动确定存在多少个具有 id=ysr-listX 的表的最佳方法提出优雅的建议,其中 X 是表的数量在页面上并将它们全部收集到 bs4.element.Tag 对象中,如上所述。
谢谢
请您参考如下方法:
你可以使用 lxml结合cssselect然后使用 CSS 选择器 通过返回元素列表的类名搜索两个表的语义。
这是一个例子:
>>> html = open("test.html", "r").read()
>>> from lxml.html import fromstring
>>> import cssselect
>>> doc = fromstring(html)
>>> doc.cssselect("table.ysr-list")
[<Element table at 0x1044606b0>, <Element table at 0x104460710>]
