Skip to main content
 首页 » 编程设计

python之抓取内容中的标签必须与原始 HTML 文件中的标签顺序相同

2024年11月24日10cmt

我尝试构建一个网络抓取工具。我的抓取工具必须找到与所选标签相对应的所有行,并将它们以与原始 HTML 相同的顺序保存到新的 file.md 中。文件。

标签在数组中指定:

list_of_tags_you_want_to_scrape = ['h1', 'h2', 'h3', 'p', 'li'] 

然后这只给我指定标签内的内容:

soup_each_html = BeautifulSoup(particular_page_content, "html.parser") 
inner_content = soup_each_html.find("article", "container") 

假设这是结果:

<article class="container"> 
  <h1>this is headline 1</h1> 
  <p>this is paragraph</p> 
  <h2>this is headline 2</h2> 
  <a href="bla.html">this won't be shown bcs 'a' tag is not in the array</a> 
</article> 

然后我有方法负责向 file.md 写入一行如果数组中的标签存在于内容中

with open("file.md", 'a+') as f: 
    for tag in list_of_tags_you_want_to_scrape: 
        inner_content_tag = inner_content.find_all(tag) 
 
        for x in inner_content_tag: 
            f.write(str(x)) 
            f.write("\n") 

确实如此。但问题是,它遍历数组(对于每个)并将保存所有 <h1>首先,全部<h2>在第二位,等等。那是因为这是 list_of_tags_you_want_to_scrape 中指定的顺序数组。

结果是这样的:

<article class="container"> 
  <h1>this is headline 1</h1> 
  <h2>this is headline 2</h2> 
  <p>this is paragraph</p> 
</article> 

所以我想让它们像原始 HTML 那样按正确的顺序排列。先后<h1>应该是 <p>元素。

这意味着我可能还需要为每个循环执行 inner_content并检查此 inner_content 中的每一行是否至少等于数组中的一个标签。如果是,则保存,然后移至另一行。我尝试这样做,并为每个 inner_content 逐行获取,但它给了我一个错误,我不确定它是否是正确的方法。 (第一天使用 BeautifulSoup 模块)

关于如何修改我的方法以实现此目的的任何提示或建议?谢谢!

请您参考如下方法:

要保持 html 输入的原始顺序,您可以使用递归循环遍历 soup.contents 属性:

from bs4 import BeautifulSoup as soup 
def parse(content, to_scrape = ['h1', 'h2', 'h3', 'p', 'li']): 
   if content.name in to_scrape: 
      yield content 
   for i in getattr(content, 'contents', []): 
      yield from parse(i) 

例子:

html = """    
<html> 
  <body> 
      <h1>My website</h1> 
      <p>This is my first site</p> 
      <h2>See a listing of my interests below</h2> 
      <ul> 
         <li>programming</li> 
         <li>math</li> 
         <li>physics</li> 
      </ul> 
      <h3>Thanks for visiting!</h3> 
  </body> 
</html> 
""" 
 
result = list(parse(soup(html, 'html.parser'))) 

输出:

[<h1>My website</h1>, <p>This is my first site</p>, <h2>See a listing of my interests below</h2>, <li>programming</li>, <li>math</li>, <li>physics</li>, <h3>Thanks for visiting!</h3>] 

如您所见,html 的原始顺序保持不变,现在可以写入文件:

with open('file.md', 'w') as f: 
   f.write('\n'.join(map(str, result))) 

每个 bs4 对象包含一个 name 和 contents 属性,等等。 name 属性是标签名称本身,而 contents 属性存储所有子 HTML。 parse 使用 generator首先检查传递的 bs4 对象是否有属于 to_scrape 列表的标签,如果是,yield 就是那个值。最后,parse 遍历 content 的内容,并在每个元素上调用自身。