python之如何使用 Python 抓取 PHP Ajax

我是 python 的初学者，我正在尝试构建一个 python 程序，它将从 http://turnpikeshoes.com/shop/TCF00003 中抓取产品描述。 . Python 有很多库，我相信有很多方法可以实现我的目标。我已经使用请求完成了一些成功的抓取，但是我正在寻找的字段没有显示出来，使用 chrome 检查器我发现了一个 Ajax POST 请求。

这是我的代码

from lxml import html 
import requests 
 
url = 'http://turnpikeshoes.com/shop/TCF00003' 
#URL 
headers = {'user-agent': 'my-app/0.0.1'} 
#Header info sent to server 
page = requests.get(url, headers=headers) 
#Get response 
tree = html.fromstring(page.content) 
#Page Content 
 
 
ShortDsc = tree.xpath('//span[@itemprop="reviewBody"]/text()') 
 
LongDsc = tree.xpath('//li[@class="productLongDescription"]/text()') 
 
print 'ShortDsc:', ShortDsc 
print 'LongDsc:', LongDsc 

我想我需要直接向 admin-ajax.php 发送请求

非常感谢任何帮助

请您参考如下方法:

如果你想抓取 javascript 内容，你应该在这种情况下尝试使用 selenium:

from selenium import webdriver 
import time 
 
driver = webdriver.PhantomJS() 
driver.get("http://turnpikeshoes.com/shop/TCF00003") 
time.sleep(5) 
 
LongDsc = driver.find_element_by_class_name("productLongDescription").text 
 
print 'LongDsc:', LongDsc 

顺便说一句，你还应该安装 PhantomJS 作为 headless 浏览器。