Skip to main content
 首页 » 编程设计

python之您如何将 Chrome 版本的网页提供给 python

2024年10月25日40bjzhanghao

我正在努力使用户可以轻松地从网页输入数字。我能想到的最简单的事情就是让他们提供一个 url 和一个与该号码相关联的 xpath。然后我的代码可以去获取数字。 xpath 的概念并不广为人知(对于非编码人员),但使用 Chrome 的检查和开发工具查找 xpath 是微不足道的。那太好了。

问题是来自 Chrome 和 Firefox 的 xpath 并不总能为您提供用于 html 解析器的有效 xpath,如下所述: Why does this xpath fail using lxml in python?

基本上,浏览器会将源代码更改为技术上更正确的形式,然后它们会将更改后的形式显示给用户,并将其 xpath 基于该形式。

如果有一种自动方式让您的代码看到的不是页面源代码,而是 Chrome 对页面源代码的再现,则可以修复此问题。是否有一种高效、自动的方法来执行此操作?

再一次,更简洁和准确:我如何将 Chrome 生成的更改后的 HTML 文档而不是要解析的原始源文档提供给 python?

请您参考如下方法:

我看到的唯一方法是实际运行一个网络引擎...

对于 QtWebKit QWebFrame,您可以使用 setHtml 和 toHtml会返回WebKit适配的源码...

显然这是一个很大的依赖,但只需安装 PySide将为您提供所需的一切。


所以这比我预期的要脏得多,至少是将 Qt 与其他代码隔离开来所需要的部分。使用 setHtml 似乎并不能让您立即使用 toHtml;必须发生一些异步加载...

寻找一些更简单的 WebKit 绑定(bind)可能更有意义。

因此,load_source 既从 URL 下载数据,又返回 WebKit 修改后的 HTML。它用异步事件包装了 Qt 的事件循环,并且是一个阻塞函数。

这里的setUrl可以换成setHtml,如果要单独下载的话。

from PySide.QtCore import QObject, QUrl, Slot 
from PySide.QtGui import QApplication 
from PySide.QtWebKit import QWebPage, QWebSettings 
 
qapp = QApplication([]) 
 
def load_source(url): 
    page = QWebPage() 
    page.settings().setAttribute(QWebSettings.AutoLoadImages, False) 
    page.mainFrame().setUrl(QUrl(url)) 
 
    class State(QObject): 
        src = None 
        finished = False 
 
        @Slot() 
        def loaded(self, success=True): 
            self.finished = True 
            if self.src is None: 
                self.src = page.mainFrame().toHtml() 
    state = State() 
 
    # Optional; reacts to DOM ready, which happens before a full load 
    def js(): 
        page.mainFrame().addToJavaScriptWindowObject('qstate$', state) 
        page.mainFrame().evaluateJavaScript(''' 
            document.addEventListener('DOMContentLoaded', qstate$.loaded); 
        ''') 
    page.mainFrame().javaScriptWindowObjectCleared.connect(js) 
 
    page.mainFrame().loadFinished.connect(state.loaded) 
 
    while not state.finished: 
        qapp.processEvents() 
 
    return state.src 

使用链接问题中的示例进行演示。现在它真的有效了...

from lxml import html 
 
url = 'http://www.makospearguns.com/product-p/mcffgb.htm' 
xpath = '//*[@id="v65-product-parent"]/tbody/tr[2]/td[2]/table[1]/tbody/tr/td/table/tbody/tr[2]/td[2]/table/tbody/tr[1]/td[1]/div/table/tbody/tr/td/font/div/b/span/text()' 
 
src = load_source(url) 
 
tree = html.fromstring(src) 
text = tree.xpath(xpath)