Skip to main content
 首页 » 编程设计

带有异常空格的 Python BeautifulSoup 和 HTML

2024年11月01日10cyq1162

我正在尝试通过从网站上抓取产品价格来更新产品价格。但是我遇到了一种不寻常的 html 格式,这给我带来了一些麻烦。我试图在没有空格的情况下返回价格。目前我的代码引入了所有空格。

<p class='product__price'> == $0 
    <span class='visuallyhidden'>Regular price</span> 
    " 
 
 
             £9.99 
 
            " == $0 
</p> 

我正在尝试以下操作:

soup = BeautifulSoup(web_page, "html.parser") 
 
for product in soup.find_all('div', class_="product-wrapper"): 
    # Get product name 
    product_title = product.find('p', class_='h4 product__title').text 
    # Get product price 
    product_price = product.find('p', class_='product__price').text 
    product_price.strip() 
 

但不幸的是,使用 .strip() 方法不起作用,脚本会返回带有一堆空格和“正常价格”的价格。

关于如何准确获得“9.99 英镑”有什么想法吗?

请您参考如下方法:

这不起作用的原因是 p 元素包含两个子元素:

  • span 元素
  • 一个文本节点

当您在父级 p 元素上添加 .text 时,您将删除“span”标签。除此之外,内容包含引号,这将使 strip() 忽略这些引号内的空格。

要解决此问题,您必须首先将文本内容与 span 节点隔离,您可以使用 .children< 深入到 span 节点来实现这一点.

最后,您可以告诉 .strip() 要删除哪些字符。

因此,假设 p 元素内的结构总是这样,我们可以执行以下操作:

from bs4 import BeautifulSoup 
data = """ 
<div> 
<p class='product__price'> 
    <span class='visuallyhidden'>Regular price</span> 
    " 
 
 
             £9.99 
 
            " 
</p> 
</div> 
""" 
 
soup = BeautifulSoup(data, "html.parser") 
 
for product in soup.find_all('div'): 
    # Get product price 
    product_price = product.find('p', class_='product__price') 
    raw_data = list(product_price.children)[-1] 
 
    # Remove spaces, newlines and quotes 
    cleaned = raw_data.strip(' \n"') 
    print(repr(cleaned))