我正在努力使用户可以轻松地从网页输入数字。我能想到的最简单的事情就是让他们提供一个 url 和一个与该号码相关联的 xpath。然后我的代码可以去获取数字。 xpath 的概念并不广为人知(对于非编码人员),但使用 Chrome 的检查和开发工具查找 xpath 是微不足道的。那太好了。
问题是来自 Chrome 和 Firefox 的 xpath 并不总能为您提供用于 html 解析器的有效 xpath,如下所述: Why does this xpath fail using lxml in python?
基本上,浏览器会将源代码更改为技术上更正确的形式,然后它们会将更改后的形式显示给用户,并将其 xpath 基于该形式。
如果有一种自动方式让您的代码看到的不是页面源代码,而是 Chrome 对页面源代码的再现,则可以修复此问题。是否有一种高效、自动的方法来执行此操作?
再一次,更简洁和准确:我如何将 Chrome 生成的更改后的 HTML 文档而不是要解析的原始源文档提供给 python?
请您参考如下方法:
我看到的唯一方法是实际运行一个网络引擎...
对于 QtWebKit QWebFrame,您可以使用 setHtml 和 toHtml会返回WebKit适配的源码...
显然这是一个很大的依赖,但只需安装 PySide将为您提供所需的一切。
所以这比我预期的要脏得多,至少是将 Qt 与其他代码隔离开来所需要的部分。使用 setHtml 似乎并不能让您立即使用 toHtml;必须发生一些异步加载...
寻找一些更简单的 WebKit 绑定(bind)可能更有意义。
因此,load_source 既从 URL 下载数据,又返回 WebKit 修改后的 HTML。它用异步事件包装了 Qt 的事件循环,并且是一个阻塞函数。
这里的setUrl可以换成setHtml,如果要单独下载的话。
from PySide.QtCore import QObject, QUrl, Slot
from PySide.QtGui import QApplication
from PySide.QtWebKit import QWebPage, QWebSettings
qapp = QApplication([])
def load_source(url):
page = QWebPage()
page.settings().setAttribute(QWebSettings.AutoLoadImages, False)
page.mainFrame().setUrl(QUrl(url))
class State(QObject):
src = None
finished = False
@Slot()
def loaded(self, success=True):
self.finished = True
if self.src is None:
self.src = page.mainFrame().toHtml()
state = State()
# Optional; reacts to DOM ready, which happens before a full load
def js():
page.mainFrame().addToJavaScriptWindowObject('qstate$', state)
page.mainFrame().evaluateJavaScript('''
document.addEventListener('DOMContentLoaded', qstate$.loaded);
''')
page.mainFrame().javaScriptWindowObjectCleared.connect(js)
page.mainFrame().loadFinished.connect(state.loaded)
while not state.finished:
qapp.processEvents()
return state.src
使用链接问题中的示例进行演示。现在它真的有效了...
from lxml import html
url = 'http://www.makospearguns.com/product-p/mcffgb.htm'
xpath = '//*[@id="v65-product-parent"]/tbody/tr[2]/td[2]/table[1]/tbody/tr/td/table/tbody/tr[2]/td[2]/table/tbody/tr[1]/td[1]/div/table/tbody/tr/td/font/div/b/span/text()'
src = load_source(url)
tree = html.fromstring(src)
text = tree.xpath(xpath)
