我有一些简单的代码...
from bs4 import BeautifulSoup, SoupStrainer
text = """<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<div></div>
<div class='detail'></div>
<div></div>
<div class='detail'></div>
<div></div>"""
for div in BeautifulSoup(text, 'lxml', parse_only = SoupStrainer('div', attrs = { 'class': 'detail' })):
print(div)
...我希望打印两个带有“detail”类的 div。相反,出于某种原因,我得到了两个 div 和文档类型:
html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"
<div class="detail"></div>
<div class="detail"></div>
这里发生了什么?如何避免匹配文档类型?
编辑
这是我发现的一种过滤方法:
from bs4 import BeautifulSoup, SoupStrainer, Doctype
...
for div in BeautifulSoup(text, 'lxml', parse_only = SoupStrainer('div', attrs = { 'class': 'detail' })):
if type(div) is Doctype:
continue
仍然想知道如何避免在使用 SoupStrainer 时必须过滤掉文档类型的情况。
我想使用 SoupStrainer 而不是 find_all 的原因是 SoupStrainer 快了几乎两倍,加起来大约 30 秒与仅 1000 个已解析页面的差异:
def soup_strainer(text):
[div for div in BeautifulSoup(text, 'lxml', parse_only = SoupStrainer('div', attrs = { 'class': 'detail' })) if type(div) is not Doctype]
def find_all(text):
[div for div in BeautifulSoup(text, 'lxml').find_all('div', { 'class': 'detail' })]
from timeit import timeit
print( timeit('soup_strainer(text)', number = 1000, globals = globals()) ) # 38.091634516923584
print( timeit('find_all(text)', number = 1000, globals = globals()) ) # 65.1686057066947
请您参考如下方法:
我认为您不需要为此任务使用 SoupStrainer。相反,内置的 findAll 方法应该做你想做的。这是我测试过的代码,似乎工作正常:
[div for div in BeautifulSoup(text, 'lxml').findAll('div', {'class':'detail'})]
这将创建您要查找的 div 的列表,不包括 DOCTYPE
希望这对您有所帮助。
