Skip to main content
 首页 » 编程设计

python之XML 未按预期使用 BeautifulSoup 进行解析

2024年10月24日15mengfanrong

我正在尝试从网站解析 XML。如果格式不正确,我无法控制内容。下面是一个非常简化的 XML 数据示例。

<?xml version="1.0" encoding="UTF-8" standalone="yes"?> 
<items:items itemId="1"> 
    <parameter name="param1" value="A"/> 
    <parameter name="param2" value="B"/> 
    <product productid="test1"> 
        <parameter name="prodinfo1" value="Q"/> 
        <parameter name="prodinfo2" value="R"/> 
    </product> 
    <product productid="test2"> 
        <parameter name="prodinfo1" value="S"/> 
        <parameter name="prodinfo2" value="T"/> 
    </product> 
</items:items> 
<items:items itemId="2"> 
    <parameter name="param1" value="C"/> 
    <parameter name="param2" value="D"/> 
    <product productid="test3"> 
        <parameter name="prodinfo1" value="U"/> 
        <parameter name="prodinfo2" value="V"/> 
    </product> 
    <product productid="test4"> 
        <parameter name="prodinfo1" value="W"/> 
        <parameter name="prodinfo2" value="X"/> 
    </product> 
</items:items> 

我使用 BeautifulSoup 3.2.1 编写了一个简短的 Python 2.7 脚本来解析 XML(我不得不使用这些版本,所以不幸的是升级不是一个选项)。

from BeautifulSoup import BeautifulStoneSoup 
 
def main(): 
    fieldList = ('param1','param2') 
    prodFieldList = ('prodinfo1','prodinfo2') 
    xmlfile = 'test.xml' 
    xmldata = open(xmlfile).read() 
    soup = BeautifulStoneSoup(xmldata) 
    print soup.prettify() 
 
    for message in soup.findAll('items:items', recursive=False): 
        report = {} 
        for field in fieldList: 
            report[field] = '{}'.format(message.find(attrs={"name" : field})['value']) 
        for product in message.findAll('product', recursive=False): 
            prodreport = {} 
            for field in prodFieldList: 
                prodreport[field] = '{}'.format(product.find(attrs={"name" : field})['value']) 
 
if __name__ == "__main__": 
    main() 

由于某种原因,<product></product> 中的参数例如 prodinfo1 和 prodinfo2 不会出现。当我查看 soup.prettify() 的输出时,而不是像我上面的 XML 文件中显示的那样缩进,我可以看到产品参数列在 <product></product> 之外。标签,因此它们与特定产品的身份丢失了:

<?xml version='1.0' encoding='utf-8'?> 
<items:items itemid="1"> 
 <parameter name="param1" value="A"> 
 </parameter> 
 <parameter name="param2" value="B"> 
  <product productid="test1"> 
  </product> 
 </parameter> 
 <parameter name="prodinfo1" value="Q"> 
 </parameter> 
 <parameter name="prodinfo2" value="R"> 
  <product productid="test2"> 
  </product> 
 </parameter> 
 <parameter name="prodinfo1" value="S"> 
 </parameter> 
 <parameter name="prodinfo2" value="T"> 
 </parameter> 
</items:items> 
<items:items itemid="2"> 
 <parameter name="param1" value="C"> 
 </parameter> 
 <parameter name="param2" value="D"> 
  <product productid="test3"> 
  </product> 
 </parameter> 
 <parameter name="prodinfo1" value="U"> 
 </parameter> 
 <parameter name="prodinfo2" value="V"> 
  <product productid="test4"> 
  </product> 
 </parameter> 
 <parameter name="prodinfo1" value="W"> 
 </parameter> 
 <parameter name="prodinfo2" value="X"> 
 </parameter> 
</items:items> 

我一直在寻找,但没有找到有同样问题的人。为什么会这样,我该怎么做才能正确解析这个 XML?感谢您的宝贵时间。

请您参考如下方法:

进行 3 次更改后它对我有用:

  • 0) 我正在使用 bs4(这是我安装的唯一版本)

  • 1) BeautifulSoup(xmldata, features="xml") 而不是 BeautifulStoneSoup(xmldata),BeautifulStoneSoup 在bs4

  • 2) 我将 soup.findAll('items:items', recursive=False) 更改为 soup.findAll(True, {"itemId":True}, recursive =假)

    from bs4 import BeautifulSoup 
     
    xmldata = #load your data  
     
    if __name__ == "__main__": 
     
        fieldList = ('param1','param2') 
        prodFieldList = ('prodinfo1','prodinfo2') 
        soup = BeautifulSoup(xmldata, features="xml")# <- notice this 
        print soup.prettify(), "\n" 
     
        for message in soup.findAll(True, {"itemId":True}, recursive=False):# <- and this 
     
            report = {} 
            for field in fieldList: 
                report[field] = '{}'.format(message.find(attrs={"name" : field})['value']) 
                print report 
     
            for product in message.findAll('product', recursive=False): 
                prodreport = {} 
                for field in prodFieldList: 
                    prodreport[field] = '{}'.format(product.find(attrs={"name" : field})['value']) 
                print prodreport 
    

输出:

    <?xml version="1.0" encoding="utf-8"?> 
    <items itemId="1"> 
     <parameter name="param1" value="A"/> 
     <parameter name="param2" value="B"/> 
     <product productid="test1"> 
      <parameter name="prodinfo1" value="Q"/> 
      <parameter name="prodinfo2" value="R"/> 
     </product> 
     <product productid="test2"> 
      <parameter name="prodinfo1" value="S"/> 
      <parameter name="prodinfo2" value="T"/> 
     </product> 
    </items>  
 
    {'param1': 'A'} 
    {'param2': 'B', 'param1': 'A'} 
    {'prodinfo1': 'Q', 'prodinfo2': 'R'} 
    {'prodinfo1': 'S', 'prodinfo2': 'T'}