我正在开发一个 scrapy 应用程序来抓取网页上的一些数据
但是有一些数据是通过ajax加载的，因此python无法执行它来获取数据。
是否有模拟浏览器行为的库？
请您参考如下方法:
为此，您必须使用成熟的 Javascript 引擎(如 Chrome 中的 Google V8)，才能获得浏览器的真正功能及其交互方式。但是，您可能会通过查找源中的所有 URL 并向每个 URL 发出请求来获取一些信息，希望获得一些有效数据。但总的来说，您在没有完整的 Javascript 引擎的情况下陷入困境。
类似于 python-spidermonkey . Mozilla 的 Javascript 引擎的包装器。然而，使用它可能相当复杂，但这取决于您的具体应用。
您基本上必须构建一个浏览器，但似乎使用 Python 的人已经使它变得简单了。用PyWebkitGtk您将获得 dom 并使用之前提到的 python-spidermonkey 或 PyV8 Duncan 提到，理论上您可以获得浏览器/网络爬虫所需的全部功能。
