我在 python 中使用 lxml 实现 HTML 和 XML 解析。 像这样设置一个解析器
parser = lxml.etree.HTMLParser()
并从 HTML 源(字符串)返回一棵树
tree = lxml.etree.fromstring(html, parser).getroottree() # Returns a XML tree
根据 lxml 文档,这应该返回一个 DOM 树 (XML)
我想找到某些带有标签的元素,例如“a”、“div”、“span”等。
如何使用标签名称获取所有可能元素的 XPath?
编辑:我实际上正在开发一个 AJAX 爬虫,所以我需要 Selenium 来点击某些可以改变 DOM 状态的元素。我将 HTML 源代码发送到 lxml 进行分析。
例如,获取列表中的默认元素,如
["a", "button", "li", "nav", "ol", "span", "ul", "header", "footer", "section"]
我需要获取上述元素的 xpath,以便我可以将它们传递给 Selenium 以进行点击和其他事件触发器。
请您参考如下方法:
您真的不需要使用单独的解析器,selenium 本身在 Locating Elements 方面非常强大:
from selenium import webdriver
browser = webdriver.Firefox()
browser.get('url_goes_here')
list_of_elements = ["a", "button", "li", "nav", "ol", "span", "ul", "header", "footer", "section"]
for tag_name in list_of_elements:
for element in browser.find_elements_by_tag_name(tag_name):
print element
