Skip to main content
 首页 » 编程设计

python之如何将两个表组合成一个漂亮的汤对象

2024年11月01日7linjiqin

我正在查询网站并从结果页面上的表格中抓取数据。有时会有不止一张 table (我事先不知道)。 HTML 代码看起来像这样:

<div id="containter1" class="rank-container" 
    <table class="ysr-list" id="ysr-list1"> 
        <thead></thead> 
        <tbody> 
            <tr class="name1"></tr> 
            <tr class="name2"></tr> 
            <tr class="name3"></tr> 
        </tbody> 

有时看起来像这样

<div id="containter1" class="rank-container" 
    <table class="ysr-list" id="ysr-list1"> 
        <thead></thead> 
        <tbody> 
            <tr class="name1"></tr> 
            <tr class="name2"></tr> 
            <tr class="name3"></tr> 
        </tbody> 
 
bla bla bla 
 
<div id="containter2" class="rank-container" 
    <table class="ysr-list" id="ysr-list2"> 
        <thead></thead> 
        <tbody> 
            <tr class="name1"></tr> 
            <tr class="name2"></tr> 
            <tr class="name3"></tr> 
        </tbody> 

我目前正在做的是

Table = soup.find('table', {'id':'ysr-list1'}) 

但是,这显然错过了第二张 table 。我想做的是以某种方式将表组合成一个 BS 对象

Table1 = soup.find('table', {'id':'ysr-list1'}) 
Table2 = soup.find('table', {'id':'ysr-list2'}) 
 
Table = Table1 + Table2 

其中 Table 是 bs4.element.Tag 类型(这是 Table1 和 Table2 的类型) 这样我就可以通过

获取给定页面上所有表的所有行
TableRows = Table.find_all('tr') 

我还想就自动确定存在多少个具有 id=ysr-listX 的表的最佳方法提出优雅的建议,其中 X 是表的数量在页面上并将它们全部收集到 bs4.element.Tag 对象中,如上所述。

谢谢

请您参考如下方法:

你可以使用 lxml结合cssselect然后使用 CSS 选择器 通过返回元素列表的类名搜索两个表的语义。

这是一个例子:

>>> html = open("test.html", "r").read() 
>>> from lxml.html import fromstring 
>>> import cssselect 
>>> doc = fromstring(html) 
>>> doc.cssselect("table.ysr-list") 
[<Element table at 0x1044606b0>, <Element table at 0x104460710>]